Тестовые задания закрытого типа

Педагогический тест представляет собой систему дидактических заданий специфической формы, позволяющей оценить уровень обученности учащихся: совокупность их представлений об объекте познания, знания, умения и навыки в той или ионной области содержания.

Отнеся педагогическое тестирование к инновационным методам оценивания, выделим следующие его преимущества:

1. Более высокая объективность контроля.
2. Оценка знаний становится более дифференцированной (больше градаций оценки, возможность переводить полученную оценку в любую шкалу оценивания).
3. Более высокая эффективность (можно проводить контроль одновременно на больших группах учащихся).
4. Обработка результатов проводится быстрее (особенно в случае компьютерного тестирования).

На основе исследований Федерального института педагогических измерений (США) и ряда отечественных тестологов выделим основные этапы конструирования педагогических тестов:

1. Этап целепологания ( определяем вид, ресурсные возможности, источники финансирования, бюджет, круг привлекаемых специалистов).
2. Подготовительный этап (анализ и отбор содержания проверяемого материала, определение типов и количество используемых знаний, установка требований времени проверки, определение системы оценивания, выработка условий проведения).
3. Этап составления теста.
   1. Разработка и апробация тестовых заданий (в репрезентативных группах).
   2. Определение и расчет показателей качества созданных заданий (валидность, надежность),.
   3. Анализ результатов проведенной апробации.
4. Этап проведения теста и анализа полученных результатов
   1. Стандартизация теста (единообразие процедуры проведения и оценки выполнения тестовых заданий).
   2. Подготовительные работы по техническому оснащению.
   3. Отслеживание проведения теста.
   4. Обработка результатов, получение статистических данных для анализа. Подготовка итогового отчета.

Тестовые задания бывают нескольких типов. Самый популярный из них – тип тестовых заданий закрытого типа, они получили широкое распространение в основном из-за легкости автоматизации. Задания закрытого типа предполагают выбор одного или нескольких правильных ответов из нескольких предложенных вариантов. Основной недостаток таких заданий – возможность угадывания.

Выделим основные правила составления тестовых заданий:

1. Начинайте формулировать вопрос с правильного ответа.
2. Содержание задания должно отвечать программным требованиям и отражает содержание обучения.
3. Вопрос должен содержать одну законченную мысль.
4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все» и «никогда».
5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше».
6. Избегайте вводных фраз и предложений имеющих мало связи с основной мыслью.
7. Неправильные ответы должны быть разумными, не должно быть явных неточностей.
8. Реже используйте отрицание в основной части. Избегайте двойных отрицаний («Почему нельзя не делать?»).
9. Лучше использовать длинный вопрос и короткий ответ.
10. Из текста заданий необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа путем угадывания.
11. Из числа тестовых заданий закрытого типа исключайте задания требующие громоздких вычислений.
12. Используемая терминология не должна выходить за рамки учебного курса.
13. Текст заданий и варианты ответов должны быть записаны разными шрифтами, для быстрого их отличения друг от друга при выполнении.
14. В начале каждого теста должна быть предусмотрена инструкция по его применению.

Дистрактором в тестовых заданиях закрытого типа назовем вариант неверного ответа. Слово «дистрактор» произошло от английского слова «distract», которое переводится как «отвлекать». Таким образом, дистракторы – это неправильные ответы, которые отвлекают и сбивают с толка испытуемого.

Выделим требования к дистракторам:

1. В основной части задания должно быть больше ключевых слов, в ответах не более трех наиболее ключевых слов.
2. Ответы к одному заданию должны приблизительно одной длины.
3. Все дистракторы к каждому заданию должны быть равнопривлекательными.
4. Дистракторы не должны быть неполными правильными ответами, превращающимися в правильные при определенных условиях.
5. Не должно быть неработающих дистракторов (их обязательно должны выбирать).
6. Частота выбора дистракторов должна быть примерно одинакова.
7. Из ответов необходимо исключить повторяющиеся слова путем ввода их в основной текст задания.
8. В ответах не рекомендуется использовать слова: «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все вышеперечисленные». В отдельных случаях они способствуют угадыванию правильного ответа.
9. Из числа дистракторов исключают ответы вытекающие один из другого.
10. Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания.
11. Желательно не использовать в ответах следующие слова: «да/нет», «верно/неверно». Рекомендуется создавать более содержательные ответы.
12. Если номер ответа совпадает с его числовым значением, то они обязательно пишутся в одной строке (1. 1 Бит, 2. 2 Бит, 3. 8 Бит, 4. 4 Бит). Если дистракторы это слова, то их желательно расположить в алфавитном порядке.

Заметим, что большое количество дистракторов уменьшает вероятность угадывания, но требует большего времени при разработке. Плохо знающие материал учащиеся пытаются найти правильный ответ путем угадывания по «формальным» признакам: самый длинный ответ, самый умный ответ, хорошо обоснованный ответ).

Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Фасетный тест представляет собой большой массив элементов – фасеток, из которых путем различных сочетаний конструируются тестовые задания.

Приведем небольшие примеры фасетного теста:

1. В одном килобайте {мегабайте, гигабайте} содержится байт:
   1.  
   2.  
   3.  
2. Дата начала Советско-финской войны {Второй Мировой войны, Великой Отечественной войны}
   1.  
   2.  
   3.  

Таким образом, для снижения вероятности угадывания мы можем порекомендовать:

1. Увеличение количества дистракторов в задание до 4-х.
2. Использование фасетов заданий.
3. Жесткое временное ограничение на выполнение задание.
4. Использовать формулы для коррекции баллов с учетов возможности угадывания.

Оценивать результаты проведенного тестирования можно по-разному.

Алгоритмы оценки выполнение тестового задания:

• Дихотомическая оценка выполнения задания. Термин «дихотомически оцениваемые тестовые задания» означает, что ответ экзаменующегося находится только в одной из двух возможных категорий, правильный (за него выставляют 1 балл), или неправильный (0 баллов).
• Политомическая оценка выполнения задания. Термин «политомически оцениваемые тестовые задания» означает, что за разные ответы на задание проставляют несколько различных чисел

Рассмотрим несколько методов оценивания заданий закрытой формы.

1. Традиционный метод. Данный метод подсчета баллов заключается в следующем: суммируются все баллов по каждому заданию.
   1. Оценка с весовым коэффициентом. При условии выбора испытуемым только правильных ответов начисляется полный балл, в противном случае начисляется ноль баллов. Недостаток данного способа заключается в снижении дифференцирующей способности задания, т.к. испытуемые с «частичным набором знаний» и испытуемые с «полным отсутствием знаний» практически не различимы.
   2. Метод частичного балла. Суть данного метода заключается в следующем: частично баллы начисляются в случае выбора даже не полного ответа, но в случае выбора в сочетании с правильными ответами некого дистрактора – баллы обнуляются полностью или частично уменьшаются.
2. Коррекция баллов с учетом возможного угадывания. По данному методу производятся вычисления по следующей формуле: Zi=Xi-Wi/(k-1), где Zi - скорректированный тестовый балл i-го испытуемого, Xi – тестовый бал i-го испытуемого без коррекции, Wi - число ошибочных ответов у i-го испытуемого , k – количество ответов в заданиях (должна быть постоянная величина). Например: В тесте было 30 заданий, на каждое давалось по 4 ответа. Испытуемый на 20 заданий ответил правильно, 10 заданий выполнено с ошибками. Вычисляем балл по форме оценки с весовым коэффициентом, но с учетом коррекции по угадыванию: Zi=20-10/(4-1)=16,7.
3. Метод коррекции «Правильный + пропуск». Формула, основанная на модели случайного угадывания, которая корректирует " эффект угадывания ", имеет вид: Zi=Xi+Hi/k, где Xi –- скорректированный индивидуальный балл i-го испытуемого, Xi - число правильных ответов i-го испытуемого, Нi - число пропущенных заданий у i-го испытуемого, k - число вариантов ответов в каждом задании (все задания должны иметь k вариантов). Предположим, что студент А и студент Б сдают некоторый тест. Тест состоит из 150 заданий закрытой формы с четырьмя вариантами ответов. Студент А правильно ответил на 90 заданий, а оставшиеся 60 заданий он пропустил (так как не был уверен в выборе ответа). Студент Б также правильно ответил на 90 заданий, однако на остальные 60 заданий он ответил путем простого угадывания. Так как студент Б имеет шанс в 25% угадать правильный ответ, то он может набрать 15 дополнительных баллов только путем угадывания. При традиционном подсчете баллов студент А наберет 90 баллов, в то время как студенту Б будет начислено 105 баллов. Таким образом, индивидуальные баллы у этих двух студентов имеют значительную разницу, которая не отражает однако уровень их подготовки, а является лишь функцией склонности к угадыванию правильного ответа. Эта разница должна учитываться, так как тестирование проводится, как правило, однократно, а его результаты существенно влияют на аттестацию. Если же мы применим к подсчету баллов метод коррекции «Правильный+пропуск», то мы получим одинаковое количество баллов у данных студентов (105). Таким образом данный способ позволить правильно дифференцировать студентов по их уровню знаний.

Резюмирую все вышесказанное, отметим, что задания закрытого типа в педагогических тестах широко распространены. Основная причина такого широкого распространения это лёгкость как компьютерной автоматизации, так и ручного анализа. Для данного типа заданий выработаны методы конструирования содержания и весь необходимый инструментарий правильного оценивания испытуемых с учетом всех возможных погрешностей, в том числе фактора угадывания.

Читайте также

• Матрица результатов тестирования

  1. Векслер В.А.

  В статье рассматриваются особенности создания матрицы собирающей результаты проведенного педагогического теста и позволяющей вычислять статистические характеристики тестирования.

  NovaInfo 38, 30 ноября 2015, Педагогические науки

• Использование программных средств тестирования в педагогической практике

  1. Векслер В.А.

  В статье рассматриваются особенности педагогического компьютерного тестирования: недостатки и достоинства, требования к системам проектирования тестов, дидактические особенности практического применения данных форм контроля в образовательной деятельности.

  NovaInfo 38, 27 ноября 2015, Педагогические науки

• Особенности определения валидности педагогического теста

  1. Векслер В.А.
  2. Рейдель Л.Б.

  В статье рассматривается понятие валидности, ее виды, приводится вычислительный алгоритм проверки качества педагогического теста с помощью коэффициента валидности.

  NovaInfo 36, 30 сентября 2015, Педагогические науки

• Особенности проектирования нестандартных тестовых заданий

  1. Векслер В.А.
  2. Рейдель Л.Б.

  В статье рассматривается вопрос разработки заданий для тестов: открытого типа со свободно конструированным содержимым, на соответствие и установки правильной последовательности. Определяются требования, выявляются преимущества и недостатки данных типов заданий при организации контроля знаний.

  NovaInfo 35, 9 июля 2015, Педагогические науки

• Психолого-педагогические аспекты тестирования

  1. Векслер В.А.
  2. Коноваленко О.Л.

  В статье определено понятие тестирования, как инструмента педагогического измерения. Приводятся ряд психолого-педагогических аспектов тестирования и рассматриваются существенные отличия в природе и методах проведения педагогических и психологических тестов.

  NovaInfo 35, 8 июля 2015, Педагогические науки