ЭКСПЕРТНАЯ ОЦЕНКА ПРОГРАММНЫХ ПРОДУКТОВ ДЛЯ ГОЛОСОВОГО ВВОДА ТЕКСТА

№58-1,

Технические науки

В статье рассмотрено описание функциональных возможностей Web-ресурсов, направленных на голосовой ввод текста. Представлены результаты сравнительного анализа выбранных Web-ресурсов, с позиции решения задачи распознавания голосовых сообщения.

Похожие материалы

Распознавание речи – это определение речи говорящего с последующей оцифровкой и записью в виде текста. На данный момент существует множество систем, направленных на распознавание голосовых сообщений и вывода распознанного текста на экран. Такие системы используются для ускоренного ввода текста в строке поискового запроса, примером может послужить Google.ru. Также подобные системы используются как интернет–дневники, например — Web–ресурс August4u.net/?speech2text. Подобный интернет–дневник после распознавания записывает и сохраняет текст. Пользователь может, в случае необходимости, копировать сохраненный текст из дневника, например, с целью заполнения отчетности, написания рефератов и т.д [10].

Распознавание речевых сообщений может широко использоваться и значительно упростить работу офисных сотрудников. Также голосовой ввод текста может использоваться в таких сферах как робототехника, связь и ранее упомянутый поиск информации в сети [9]. Благодаря уровню современных аппаратных и программных средств распознавание голосовых сообщений и голосовой ввод текста могут быть реализованы и использоваться на обычном компьютере. В этой работе будут рассмотрены Web-ресурсы, предоставляющие возможность голосового ввода текста [9,10].

Цель данной работы заключается в исследовании Web-ресурсов, предоставляющих возможность голосового ввода текста и их экспертной оценке по некоторым критериям качества [6,7].

В основу количественной оценки программ положены иерархическая аналитическая процедура Саати, используемая для определения весовых коэффициентов критериев качества [1,4], а также метод экспертных оценок, задачей которого является получение количественных значений критериев качества [2,4,5].

Для исследования идентификации голосовых сообщений используем следующие Web-ресурсы: Google.ru, Speechpad.ru, Speech-to-text-online.com, August4u.net/?speech2text, Vorabota.ru/voice.html. Проведем сравнительный анализ данных Web–ресурсов с точки зрения их применения для решения задачи распознавания речи [3].

Основываясь на потребностях пользователей по отношению к программным средствам [9], обеспечивающих распознавание голосовых сообщений выберем следующие показатели в качестве критериев для сравнительного анализа Web–ресурсов:

  1. A1 - Точность идентификации звуков
  2. A1 - Количество неправильно распознанных звуков при вводе длинных сообщений
  3. A3 - Скорость выполнения идентификации
  4. A4 - Возможность добавления новых слов в словарь
  5. A5 - Сохранение истории

Используем аналитическую иерархическую процедуру Саати для определения веса каждого критерия качества [3,4,6].

Правила заполнения матрицы парных сравнений представлены в таблице 1.

Таблица 1. Значения коэффициентов матрицы парных сравнений

Xij

Значение

1

i-ый критерий примерно равноценен j-му

3

i-ый критерий немного предпочтительнее j-го

5

i-ый критерий предпочтительнее j-го

7

i-ый критерий значительно предпочтительнее j-го

9

i-ый критерий явно предпочтительнее j-го

Матрица парных сравнений, средние геометрические и веса критериев представлены в таблице 2.

Таблица 2. Матрица парных сравнений, средние геометрические и веса критериев.

A1

A2

A3

A4

A5

Среднее геометрическое

Веса критериев

A1

1

1

5/1

3/1

7/1

2,53

0,38

A2

1

1

5/1

3/1

3/1

2,14

0,32

A3

1/5

1/5

1

1/7

1/3

0,29

0,04

A4

1/3

1/3

7/1

1

3/1

1,18

0,18

A5

1/7

1/3

3/1

1/3

1

0,54

0,08

Диаграмма весовых коэффициентов для критериев A1, A2, A3, A4, A5 представлена на рисунке 1.

Весовые коэффициенты критериев качества
Рисунок 1. Весовые коэффициенты критериев качества

Проведем проверку матрицы парных сравнений на непротиворечивость.

Суммы столбцов матрицы парных сравнений:

R1=2.68; R2=2.87; R3=21; R4=7.48; R5=14.33.

Рассчитаем вспомогательную величину L, просуммировав произведения сумм столбцов матрицы и весовые коэффициенты: L = 4.36.

Индекс согласованности ИС = (L-N)/(N-1) = 0.13.

Величина случайной согласованности для размерности матрицы парных сравнений: СлС = 1.12.

Отношение согласованности ОС=ИС/СлС = 0.11. не превышает 0.2, поэтому уточнение матрицы парных сравнений не требуется.

Используя полученные коэффициенты, определим интегральный показатель качества для следующих Web-ресурсов, направленных на идентификацию голосовых сообщений:

  1. Google.ru;
  2. Speechpad.ru;
  3. Speech-to-text-online.com;
  4. August4u.net/?speech2text;
  5. Vorabota.ru/voice.html.

Выберем категориальную шкалу от 0 до 7 (где 0 – качество не удовлетворительно, 7 – предельно достижимый уровень качества) для функциональных возможностей выбранных Web-ресурсов.[3,4,8]

Значения весовых коэффициентов ai , соответствующие функциональным возможностям Web–ресурсов:

  1. Точность идентификации звуков: a1 = 0.38;
  2. Количество неправильно распознанных звуков при вводе длинных сообщений: a2 = 0.32;
  3. Скорость выполнения идентификации: a3 = 0.04;
  4. Возможность добавления новых слов в словарь: a4 = 0.18;
  5. Сохранение истории: a5 = 0.08;

где ∑ai = 1.

По выбранной шкале определим количественные значения функциональных возможностей Xij (таблица 3) и вычислим интегральные показатели качества для выбранных Web-ресурсов.

Таблица 3. Интегральные показатели качества.

Критерии

Весовые коэффициенты

Web-ресурсы

Базовые значения

Google.ru

Speechpad.ru

Speech-to-text-online.com

August4u.net/?speech2text

Vorabota.ru/voice.html

Точность идентификации звуков

0.38

5

4

4

3

4

3.8

Количество неправильно распознанных звуков при вводе длинных сообщений

0.32

6

5

6

5

4

5.2

Скорость выполнения идентификации

0.04

6

5

4

5

4

4.8

Возможность добавления новых слов в словарь

0.18

0

0

0

0

0

0

Сохранение истории

0.08

7

0

0

0

0

1.75

Интегральные показатель качества Q

4.63

3.27

3.63

2.89

2.92

3.47

где Qj=∑ai*Xij – интегральный показатель качества для j-го Web-ресурса.

Построим лепестковую диаграмму интегрального показателя качества каждого Web-ресурса (рисунок 2).

Лепестковая диаграмма интегральных показателей качества Web-ресурсов
Рисунок 2. Лепестковая диаграмма интегральных показателей качества Web-ресурсов

Значения характеристик функциональных возможностей (критериев) представлена в виде лепестковой диаграммы на рисунке 3.

Лепестковая диаграмма значений функциональных характеристик
Рисунок 3. Лепестковая диаграмма значений функциональных характеристик

Сравнительный анализ Web-ресурсов для идентификации голосовых сообщений показал, что из всех программных аналогов только Google.ru имеет значение интегрального показателя качества, превышающий базовое значение, а у остальных программных аналогов оно оказалось ниже. Предлагаемая методика экспертной оценки Web-ресурсов позволила количественно оценить их качество с точки зрения уровня реализуемых функций и показала, что во всех Web-ресурсах отсутствует возможность добавления новых слов в словарь.

Список литературы

  1. Богушенков А.С., Рыбанов А.А. Разработка и исследование алгоритмов автоматизированной системы учета и поиска информации по пакетам труб на основе технологии QR-кода // Молодой ученый. 2015. № 4 (84). С. 47-52.
  2. Кондрацкий Д.Е., Рыбанов А.А. Исследование методов и алгоритмов автоматизированной системы оценки альтернативных вариантов методом Т.Саати // NovaInfo.Ru. 2016. Т. 3. № 46. С. 107-116.
  3. Рыбанов А. Определение весовых коэффициентов сложности тем учебного курса на основе алгоритма Cаати // Педагогические измерения. 2014. № 4. С. 21-28.
  4. Рыбанов А.А., Макушкина Л.А. Технология определения весовых коэффициентов сложности тем дистанционного курса на основе алгоритма Саати // Открытое и дистанционное образование. 2016. № 1 (61). С. 69-79.
  5. Сова Е. В., Рыбанов А. А. Сравнительный анализ библиотек генерации отчётов в веб-ориентированных информационных системах // Международный журнал прикладных и фундаментальных исследований. -2012. -№ 7. -C. 167.
  6. Моисеев Ю.И., Рыбанов А.А. Подходы к автоматизации деятельности автошкол и количественной оценке навыков вождения // NovaInfo.Ru. 2016. Т. 2. № 43. С. 17-21.
  7. Рыбанов А.А., Усмонов М.С.О., Попов Ф.А., Ануфриева Н.Ю., Бубарева О.А. Информационные системы и технологии // Научный редактор: И. А. Рудакова; Редакционная коллегия: Рудакова И.А., Гребенщиков Г.Ф., Акутина С.П., Краснолуцкий В.П. / Центр научной мысли (г. Таганрог). Москва, 2013. Том Часть 4 Информационные системы и технологии.
  8. Морозов А.О., Рыбанов А.А. Экспертная оценка программных продуктов для расчета метрических характеристик физической схемы базы данных // Современные научные исследования и инновации. 2015. № 1-1 (45). С. 97-102.
  9. Грачев, А.М. Адаптивные алгоритмы распознавания речевого сигнала / Грачев, А.М. // Вестник Нижегородского государственного лингвистического университета им. Н.А. Добролюбова. 2013. № 22. С. 32-39.
  10. Деркач, С.В. Фонетические свойства гласных в спонтанной речи / Деркач, С.В. // экспериментально-фонетическое исследование на материале американского варианта английского языка. Благовещенск, 2014. С. 70-50.