Информатизация образования как приоритетное направление развития системы образования, инициирует процесс создания и использования дистанционных систем компьютерного тестирования для оценки уровня знаний обучаемых.
Ошибка измерения уровня знаний с помощью компьютерного тестирования описывается следующим уравнением:
,
где T — истинный тестовый балл, который бы получил пользователь при отсутствии ошибки компьютерного тестирования; T' — наблюдаемый тестовый балл, фактически полученный пользователем в процессе компьютерного тестирования; – ошибка компьютерного тестирования.
Ошибка компьютерного тестирования включает систематическую и случайную составляющие:
.
Систематическая ошибка компьютерного тестирования порождается нарушением репрезентативности теста, недостаточным качеством тестовых заданий и алгоритмов обработки, ошибками в априорных данных.
Случайная ошибка зависит от нарушений технологии тестирования, психологического состояния испытуемого и определяет уровень воспроизводимости (повторяемости) результатов тестирования. В работах [3, 5] приведен обзор проблем, влияющих на величину при проведении итогового компьютерного тестирования знаний.
В настоящее время большое внимание уделяется вопросам повышения точности компьютерной оценки знаний пользователей веб-ориентированных систем электронного обучения.
Основные направления повышения качества и достоверности результатов компьютерного тестирования, и, как следствие, снижение , можно представить следующими группами:
- Разработка инновационных форм тестовых заданий [3, 6], сочетающих отдельные элементы основных форм. Инновации в форме тестового задания заключаются в использовании мультимедиа для моделирования предметной области и действий пользователя в ней, описывающих процесс построения свободно конструируемого ответа. Инновационные тестовые задания способствуют уменьшению влияния эффекта случайного угадывания и направлены на повышение информативности и точности педагогических измерений;
- Разработка методов повышения качества тестовых заданий [6];
- Разработка методов и алгоритмов количественной и качественной оценки результатов компьютерного тестирования, создание диагностического инструментария оценки уровня сформированности универсальных учебных действий [1, 2, 4];
- Разработка адаптивных стратегий компьютерного тестирования [5], ориентированных на уровень знаний обучаемых и позволяющих получать более точные оценки, используя меньшее количество тестовых заданий по сравнению с неадаптивными стратегиями тестирования.
Рассмотрим сравнительный анализ эффективности адаптивного теста (Computer Adaptive Test) и теста, построенного на основе случайно выбранных тестовых заданий (RandomTest). На рис. 1 показано уменьшение стандартных ошибок, усредненных для пользователей, имеющих различные баллы.
При использовании адаптивного теста происходит более быстрое уменьшение стандартной ошибки. Например, при использовании 20 тестовых заданий при стратегии адаптивного тестирования достигается таже самая эффективность, что и при неадаптивном тесте с длинной 50 тестовых заданий. При использовании 50 тестовых заданий, средняя стандартная ошибка для адаптивной стратегии тестирования приблизительно вдвое меньше, чем для неадаптивного теста.
Проведенный анализ подходов к повышению качества и достоверности компьютерного тестирования показал, что пробелом является отсутствие в функции итоговой оценки критериев динамики процесса формирования пользователем конечных ответов на тестовые задания.