Сравнительный анализ существующих программных средств оценки восприятия человеком зрительной информации

№56-3,

технические науки

В статье рассматриваются наиболее известные программные средства оценки восприятия человеком зрительной информации. Проведен сравнительный анализ программных продуктов на основе нескольких критериев: качества оценки зрительной памяти; скорость оценки; гибкость настройки параметров тестирования; полнота сформированных отчетов; удобство интерфейса. Данный анализ показал, что только три программных продукта имеют значения интегрального показателя качества, превышающего базовое значение.

Похожие материалы

Современные компьютеризированные рабочие места обладают большим уровнем автоматизации, практическим отсутствием специализированных органов управления, индикаторов и различных табло и наличием больших интегрированных средств отображения информации и плазменных и/или матричных экранов, используемых в центрах управления [10].

От качества восприятия оператором представленной на этих экранах информации определяется эффективность его работы. Существует множество программных средств, которые позволяют оценить восприятие человеком зрительной информации. Рассмотрим наиболее популярные из них:

Usability.com – популярный интернет ресурс позволяющий оценить представление информации на веб-сайте. Система включает в себя три различных типа тестирования:

  • Five-second test
  • Click test
  • Nav flow test

По окончании тестирования пользователь получает отчет на основе всех тестов, например в отчете теста «Click test» содержится тепловая карта щелчков пользователей [11].

Ocular – Программа для тестирования и оценки функционального состояния зрительной системы у пользователя персонального компьютера. Тестирование основано на результатах уникальных клинических и эргономических исследований. Система включает в себя тест функционального состояния зрительного анализатора. По окончании тестирования пользователь получает отчет, содержащий трехмерную диаграмму чувствительности и экспертное заключение [12].

BGD – Программа для тестирования восприятия символьной информации. Суть тестирования заключается в определении возможности пользователя запоминать за короткий промежуток времени некоторый набор символов, вид представления которых является настраиваемым. Система включает в себя тест восприятия символьной информации. По окончании тестирования пользователь получает отчет, содержащий таблицу полученных результатов и график.

Osu! – ​Программа для тестирования восприятия зрительной информации и оценки скорости реакции пользователя. В ходе тестирования возможно использование различных устройств ввода. Так например в стандартном режиме используется только мышь, а в режиме «mania» клавиатура. Включает в себя тесты на реакцию с использованием мыши, клавиатуры. На тесты могут накладываться определенные модификаторы такие как:

  • Сокращение зоны видимости пользователя
  • Исчезновение контрольных точек
  • Ускорение/замедление появления контрольных точек

По окончанию тестирования пользователь получает отчет, содержащий график прохождения теста и количество набранных баллов [13].

Effecton Studio – Комплекс тестов и упражнений для анализа восприятия зрительной информации. В ходе тестирования определяются точностные и скоростные качества восприятия информации. Система включает в себя множество тестов:

  • Тестирование точностных качеств
  • Тестирование скоростных качеств
  • Тестирование надежностных качеств
  • Тестирование основных свойств внимания
  • Тестирование основных видов памяти

По окончанию тестирования пользователь получает отчет, содержащий таблицу полученных результатов и экспертное заключение [14].

В качестве критериев для сравнительного анализа программных продуктов, выберем следующие:

A1 – Качество оценки зрительной памяти;
A2 – Скорость оценки;
A3 – Гибкость настройки параметров тестирования;
A4 – Полнота сформированных отчетов;
A5 – Удобство интерфейса.

Определим веса критериев. Для этого воспользуемся аналитической иерархической процедурой Саати. Правила заполнения матрицы парных сравнений представлены в таблице 1.

Таблица 1. Значения коэффициентов матрицы парных сравнений

Xij

Значение

1

i-ый и j-ый критерий примерно равноценны

3

i-ый критерий немного предпочтительнее j-го

5

i-ый критерий предпочтительнее j-го

7

i-ый критерий значительно предпочтительнее j-го

9

i-ый критерий явно предпочтительнее j-го

Таблица 2. Матрица парных сравнений, средние геометрические и веса критериев

A1

A2

A3

A4

A5

Среднее геометрическое

Веса критериев

A1

1

7

5

3

9

3.93

0.45

A2

1/7

1

1/3

1/5

9

0.61

0.08

A3

1/5

3

1

1/3

9

1.12

0.1

A4

1/3

5

3

1

9

2.14

0.35

A5

1/9

1/9

1/9

1/9

1

0.17

0.02

Сумма

7.97

1

Весовые коэффициенты критериев качества
Рисунок 1. Весовые коэффициенты критериев качества

Проведем проверку матрицы попарных сравнений на непротиворечивость [9]. Суммы столбцов матрицы парных сравнений: R1=1.79; R2=16.1; R3=9.44; R4=4.5; R5=37.

Путем суммирования произведений сумм столбцов матрицы на весовые коэффициенты альтернатив определяется вспомогательная величина L = 5.35.

Затем рассчитывается индекс согласованности ИС = (L-N)/(N-1) = 0.09.

Величина случайной согласованности для размерности матрицы парных сравнений: СлС = 1.12.

Отношение согласованности ОС=ИС/СлС = 0.08 не превышает показателя, равного 0.2, следовательно уточнение матрицы парных сравнений не требуется.

Выберем категориальную шкалу от 0 до 7 (где 0 – качество не удовлетворительно, 7 – предельно достижимый уровень качества на современном этапе) для функциональных возможностей программных продуктов.

Значения весовых коэффициентов ai соответствующие функциональным возможностям продуктов:

  • Оценка зрительной памяти a1 = 0.45;
  • Скорость оценки; a2 = 0.08;
  • Гибкость настройки параметров тестирования; a3 = 0.1;
  • Полнота сформированных отчетов; a4 = 0.35;
  • Удобство интерфейса. a5 = 0.02;

Определим (по введенной шкале) количественные значения функциональных возможностей Xij (таблица 3). Вычислим интегральный показатель качества для каждого программного продукта.

Таблица 3. Интегральные показатели качества

Критерии

Весовые коэффициенты

Программные продукты

Базовые значения

usability.com

ocular

BGD

osu!

Effecton Studio

Качество оценки зрительной памяти

0.45

4

6

3

2

4

3.8

Скорость оценки

0.08

5

1

2

3

5

3.2

Гибкость настройки параметров тестирования

0.1

2

0

5

3

3

2.6

Полнота сформированных отчетов

0.35

0

2

0

3

2

1.4

Удобство интерфейса

0.02

6

1

1

5

5

3.6

Интегральный показатель качества Q

3.4

2

2.2

3.2

3.8

2.92

Интегральный показатель качества равен: Qj=∑ai*Xij (для j-го программного продукта) [10].

Лепестковая диаграмма интегральных показателей качества программных продуктов
Рисунок 2. Лепестковая диаграмма интегральных показателей качества программных продуктов

Сравнительный анализ инструментальных средств показал, что только usability.com, Effecton Studio, Osu! имеют значения интегрального показателя качества, равные 3.4, 3.2, 3.8, которые превышают базовое значение.

Лепестковая диаграмма значений функциональных характеристик
Рисунок 3. Лепестковая диаграмма значений функциональных характеристик

Результаты анализа показывают, что ocular и BGD являются устаревшими и не актуальными, так как показатели первой программы, за исключением «Качества оценки зрительной памяти», по всем критериям неудовлетворительны, а показатели второй программы, за исключением «Гибкость настройки параметров тестирования», так же являются неудовлетворительными. Интегральный показатель качества данных систем меньше интегрального показателя качества базового значения, что подтверждает их устарелость. Остальные продукты хоть и не являются устаревшими, но были выделены их недостатки, которые требуют существенных доработок:

  • главными недостатками usability.com являются неудовлетворительная полнота сформированных отчетов и плохая гибкость настройки параметров тестирования, остальные же критерии находятся на хорошем уровне.
  • главным недостатком osu! является плохое качество оценки зрительной информации, остальные же критерии находятся на уровне ниже среднего.
  • главными недостатками Effecton Studio являются плохая гибкость настройки параметров тестирования и недостаточная полнота сформированных отчетов, остальные же критерии находятся на хорошем уровне.

Список литературы

  1. Рыбанов А.А., Коростелев Р.А., Киселев В.В. Idef1x-модель базы данных web-ориентированной информационной системы оценки семантического качества меню пользователя // Молодой ученый. 2013. № 5. С. 170-172.
  2. Рыбанов А.А., Усмонов М.С.О., Попов Ф.А., Ануфриева Н.Ю., Бубарева О.А. Информационные системы и технологии/Научный ред. И. А. Рудакова/Центр научной мысли (г. Таганрог). Москва, 2013. Том Часть 4. С. 90.
  3. Сержантова Е.О., Рыбанов А.А. Повышение эффективности интерфейса приложения на примере системы регистрации пользовательских ресурсов в ОФЭРНИО // Современная техника и технологии. 2013. № 12 (28). С. 8.
  4. Rybanov A., Tretyakova V. Application of fitts's law to the assessment of users' skills of work with computer devices of targeting // В сборнике: Pedagogical and psychological problems of the modern society: scientific approaches to the study and overcoming practices 2nd edition: research articles . Science editor: A. Burkov. San Francisco, California, USA, 2015. С. 39-47.
  5. Билялова В.М., Рыбанов А.А. Применение закона Фиттса к оценке навыков работы пользователей с компьютерными устройствами целеуказания // NovaInfo.Ru. 2015. Т. 2. № 32. С. 9-14.
  6. Рыбанов А.А. Применение метода сортировки карточек при проектировании навигационного меню информационной системы // NovaInfo.Ru. 2016. Т. 2. № 40. С. 15-21.
  7. Третьякова В.М., Рыбанов А.А. Анализ применения технологии ай-трекинга // Современные научные исследования и инновации. 2016. № 7 (63). С. 110-114.
  8. Рыбанов А. Определение весовых коэффициентов сложности тем учебного курса на основе алгоритма Саати // Педагогические измерения. 2014. № 4. С. 21-28.
  9. Рыбанов А.А., Макушкина Л.А. Технология определения весовых коэффициентов сложности тем дистанционного курса на основе алгоритма Саати // Открытое и дистанционное образование. 2016. № 1 (61). С. 69-79.
  10. Моисеев Ю.И., Рыбанов А.А. Подходы к автоматизации деятельности автошкол и количественной оценке навыков вождения // NovaInfo.Ru. 2016. Т. 2. № 43. С. 17-21.
  11. Петухов И.В., Чаусов Д.Н., Беляев В.В., Курасов П.А., Танрывердиев И.О. Зрительное утомление человека-оператора в процессе восприятия информации с электронных дисплеев // Вестник Московского государственного областного университета. Серия: Физика-математика. 2014. № 2. С. 87-94.
  12. UsabilityHub – Сообщество дизайнеров, веб-мастеров и тестировщиков. – URL: https://usabilityhub.com
  13. Ocular – Программа исследования функционального состояния зрительной системы. – URL: http://ocular.ru
  14. Osu! – Ритм игра, предназначенная для тестирования скорости реакции. – URL: https://osu.ppy.sh
  15. Effecton Studio – Комплекс психологических тестов. – URL: http://www.effecton.ru