Современные компьютеризированные рабочие места обладают большим уровнем автоматизации, практическим отсутствием специализированных органов управления, индикаторов и различных табло и наличием больших интегрированных средств отображения информации и плазменных и/или матричных экранов, используемых в центрах управления [10].
От качества восприятия оператором представленной на этих экранах информации определяется эффективность его работы. Существует множество программных средств, которые позволяют оценить восприятие человеком зрительной информации. Рассмотрим наиболее популярные из них:
Usability.com – популярный интернет ресурс позволяющий оценить представление информации на веб-сайте. Система включает в себя три различных типа тестирования:
- Five-second test
- Click test
- Nav flow test
По окончании тестирования пользователь получает отчет на основе всех тестов, например в отчете теста «Click test» содержится тепловая карта щелчков пользователей [11].
Ocular – Программа для тестирования и оценки функционального состояния зрительной системы у пользователя персонального компьютера. Тестирование основано на результатах уникальных клинических и эргономических исследований. Система включает в себя тест функционального состояния зрительного анализатора. По окончании тестирования пользователь получает отчет, содержащий трехмерную диаграмму чувствительности и экспертное заключение [12].
BGD – Программа для тестирования восприятия символьной информации. Суть тестирования заключается в определении возможности пользователя запоминать за короткий промежуток времени некоторый набор символов, вид представления которых является настраиваемым. Система включает в себя тест восприятия символьной информации. По окончании тестирования пользователь получает отчет, содержащий таблицу полученных результатов и график.
Osu! – Программа для тестирования восприятия зрительной информации и оценки скорости реакции пользователя. В ходе тестирования возможно использование различных устройств ввода. Так например в стандартном режиме используется только мышь, а в режиме «mania» клавиатура. Включает в себя тесты на реакцию с использованием мыши, клавиатуры. На тесты могут накладываться определенные модификаторы такие как:
- Сокращение зоны видимости пользователя
- Исчезновение контрольных точек
- Ускорение/замедление появления контрольных точек
По окончанию тестирования пользователь получает отчет, содержащий график прохождения теста и количество набранных баллов [13].
Effecton Studio – Комплекс тестов и упражнений для анализа восприятия зрительной информации. В ходе тестирования определяются точностные и скоростные качества восприятия информации. Система включает в себя множество тестов:
- Тестирование точностных качеств
- Тестирование скоростных качеств
- Тестирование надежностных качеств
- Тестирование основных свойств внимания
- Тестирование основных видов памяти
По окончанию тестирования пользователь получает отчет, содержащий таблицу полученных результатов и экспертное заключение [14].
В качестве критериев для сравнительного анализа программных продуктов, выберем следующие:
A1 – Качество оценки зрительной памяти;
A2 – Скорость оценки;
A3 – Гибкость настройки параметров тестирования;
A4 – Полнота сформированных отчетов;
A5 – Удобство интерфейса.
Определим веса критериев. Для этого воспользуемся аналитической иерархической процедурой Саати. Правила заполнения матрицы парных сравнений представлены в таблице 1.
Таблица 1. Значения коэффициентов матрицы парных сравнений
Xij |
Значение |
1 |
i-ый и j-ый критерий примерно равноценны |
3 |
i-ый критерий немного предпочтительнее j-го |
5 |
i-ый критерий предпочтительнее j-го |
7 |
i-ый критерий значительно предпочтительнее j-го |
9 |
i-ый критерий явно предпочтительнее j-го |
Таблица 2. Матрица парных сравнений, средние геометрические и веса критериев
A1 |
A2 |
A3 |
A4 |
A5 |
Среднее геометрическое |
Веса критериев |
|
A1 |
1 |
7 |
5 |
3 |
9 |
3.93 |
0.45 |
A2 |
1/7 |
1 |
1/3 |
1/5 |
9 |
0.61 |
0.08 |
A3 |
1/5 |
3 |
1 |
1/3 |
9 |
1.12 |
0.1 |
A4 |
1/3 |
5 |
3 |
1 |
9 |
2.14 |
0.35 |
A5 |
1/9 |
1/9 |
1/9 |
1/9 |
1 |
0.17 |
0.02 |
Сумма |
7.97 |
1 |
|||||
Проведем проверку матрицы попарных сравнений на непротиворечивость [9]. Суммы столбцов матрицы парных сравнений: R1=1.79; R2=16.1; R3=9.44; R4=4.5; R5=37.
Путем суммирования произведений сумм столбцов матрицы на весовые коэффициенты альтернатив определяется вспомогательная величина L = 5.35.
Затем рассчитывается индекс согласованности ИС = (L-N)/(N-1) = 0.09.
Величина случайной согласованности для размерности матрицы парных сравнений: СлС = 1.12.
Отношение согласованности ОС=ИС/СлС = 0.08 не превышает показателя, равного 0.2, следовательно уточнение матрицы парных сравнений не требуется.
Выберем категориальную шкалу от 0 до 7 (где 0 – качество не удовлетворительно, 7 – предельно достижимый уровень качества на современном этапе) для функциональных возможностей программных продуктов.
Значения весовых коэффициентов ai соответствующие функциональным возможностям продуктов:
- Оценка зрительной памяти a1 = 0.45;
- Скорость оценки; a2 = 0.08;
- Гибкость настройки параметров тестирования; a3 = 0.1;
- Полнота сформированных отчетов; a4 = 0.35;
- Удобство интерфейса. a5 = 0.02;
Определим (по введенной шкале) количественные значения функциональных возможностей Xij (таблица 3). Вычислим интегральный показатель качества для каждого программного продукта.
Таблица 3. Интегральные показатели качества
Критерии |
Весовые коэффициенты |
Программные продукты |
Базовые значения |
||||
usability.com |
ocular |
BGD |
osu! |
Effecton Studio |
|||
Качество оценки зрительной памяти |
0.45 |
4 |
6 |
3 |
2 |
4 |
3.8 |
Скорость оценки |
0.08 |
5 |
1 |
2 |
3 |
5 |
3.2 |
Гибкость настройки параметров тестирования |
0.1 |
2 |
0 |
5 |
3 |
3 |
2.6 |
Полнота сформированных отчетов |
0.35 |
0 |
2 |
0 |
3 |
2 |
1.4 |
Удобство интерфейса |
0.02 |
6 |
1 |
1 |
5 |
5 |
3.6 |
Интегральный показатель качества Q |
3.4 |
2 |
2.2 |
3.2 |
3.8 |
2.92 |
|
Интегральный показатель качества равен: Qj=∑ai*Xij (для j-го программного продукта) [10].
Сравнительный анализ инструментальных средств показал, что только usability.com, Effecton Studio, Osu! имеют значения интегрального показателя качества, равные 3.4, 3.2, 3.8, которые превышают базовое значение.
Результаты анализа показывают, что ocular и BGD являются устаревшими и не актуальными, так как показатели первой программы, за исключением «Качества оценки зрительной памяти», по всем критериям неудовлетворительны, а показатели второй программы, за исключением «Гибкость настройки параметров тестирования», так же являются неудовлетворительными. Интегральный показатель качества данных систем меньше интегрального показателя качества базового значения, что подтверждает их устарелость. Остальные продукты хоть и не являются устаревшими, но были выделены их недостатки, которые требуют существенных доработок:
- главными недостатками usability.com являются неудовлетворительная полнота сформированных отчетов и плохая гибкость настройки параметров тестирования, остальные же критерии находятся на хорошем уровне.
- главным недостатком osu! является плохое качество оценки зрительной информации, остальные же критерии находятся на уровне ниже среднего.
- главными недостатками Effecton Studio являются плохая гибкость настройки параметров тестирования и недостаточная полнота сформированных отчетов, остальные же критерии находятся на хорошем уровне.