Создание компьютерных тестов и диалоговых тренажёров
Шрифт:
• количество предоставляемых попыток прохождения теста;
• наличие или отсутствие ограничений по времени ответа на вопросы;
• траекторию отображения вопросов (произвольную, по темам, в зависимости от результата ответа на предыдущие вопросы, возможность или невозможность пропускать вопросы и изменять уже принятые ответы и т. д.);
• систему начисления баллов за различные варианты ответов (полные, неполные, частично правильные, удельный вес вопросов в зависимости от сложности, количество использованных попыток для получения правильного варианта и т. п.);
• критерии оценки успешности тестирования (проходной
Каждый ответ на вопрос в тесте оценивается в баллах. Вы можете управлять начислением баллов, определяя свои правила в пределах принятых ограничений технической реализации.
В общем случае у Вас имеется следующий арсенал оценивания ответов:
• начислять баллы за правильный ответ;
• начислять или не начислять баллы за частично правильный ответ;
• начислять, не начислять или вычитать баллы за неправильный ответ.
Количество начисляемых баллов в каждом случае определяет автор теста. Это открывает широкие возможности дифференцированной оценки ответов на вопросы разного уровня сложности, учета частично правильных ответов, а также влияния на итоговый результат теста грубых ошибок. При допущении грубых ошибок тест может быть завершен досрочно с отрицательным результатом.
Для того, чтобы рассмотреть механизм реализации такого варианта завершения тестирования рассмотрим более общую категорию – траекторию отображения тестовых вопросов.
3. Траектория тестирования
При создании тестов на бумаге мы привыкли к тому, что вопросы следуют в прямом порядке, одинаковом для всех экземпляров теста внутри одного варианта.
Основным гарантом достоверности полученных в ходе такого тестирования результатов является контроль за соблюдением условий его проведения и защиты материалов от копирования, а также последующего анализа и распространения.
В условиях современного уровня развития компьютерных и коммуникационных технологий вопрос защиты контрольно-измерительных материалов от их несанкционированного копирования и распространения становится все более сложно выполнимым. Поэтому на первый план выходят приемы, сводящие ценность обладания ключами к тесту к минимуму – не дающие существенных преимуществ обладателю правильных ответов перед другими участниками тестирования.
Среди таких приемов:
• случайный порядок отображения вопросов;
• случайный порядок отображения вариантов ответов;
• случайный отбор вопросов из банков вопросов по разным темам;
• зависимость набора вопросов от выданных ответов;
• ограничение времени на ответ и др.
Траектория тестирования – это порядок, в котором следуют вопросы теста на экране компьютера.
У каждой разновидности траектории есть свои сильные и слабые стороны.
Например, траектория отображения вопросов в прямой последовательности без возможности исправления уже выданного ответа вполне оправдана, когда последующий вопрос содержит в себе подсказку для ответа на предыдущий. Очевидно, что и применение «шпаргалок» для такого рода тестов будет наиболее эффективно.
Другой пример – изменение траектории тестирования в зависимости от результата ответа. Применение такого принципа позволяет, в частности, сократить количество вопросов в тесте: если обучаемый правильно отвечает на очень сложный вопрос, то можно не задавать ему простейшие вопросы по данной теме, сократив общий объем теста без потери
При постановке траектории тестирования в зависимость от выбранного варианта ответа можно строить многоходовые задания для создания сложных кейсов.
В последних двух случаях применение «шпаргалок» будет не очень эффективно ввиду сложности поиска ответов на заданных вопрос.
Обобщенно варианты выбора траектории тестирования представлены на рисунке 1.
Один из распространенных приемов реализации выборочного контроля знаний с сохранением репрезентативности контроля по всем изученным темам – это формирование «банка» (или группы) вопросов для каждой темы с последующей случайной выборкой определенного количества вопросов из каждой группы.
Пример возможной реализации таких настроек представлен на рисунке 2.
Траектория тестирования может изменяться в зависимости от результата ответа на вопрос, в том числе – приводить к досрочному завершению теста.
Пример возможной реализации таких настроек представлен на рисунке 3.
4. Дистракторы
В компьютерном тестировании технологически допустимо применять как закрытые, так и открытые вопросы. Однако, для целей автоматизированного контроля, безусловно, удобнее использовать различные вариации закрытых вопросов.
Для того, чтобы тест не превращался в примитивную «угадайку», в закрытые вопросы вводят дистракторы.
Дистрактор (от англиского «distract» – отвлекать) – неправильный, но правдоподобный вариант ответа в тестовых заданиях.
Дистракторы используются для отвлечения внимания участников оценки, которые либо плохо знакомы с предметом, либо совсем не знают правильный ответ и пытаются его угадать.
Для эффективной разработки необходимо понимать логику участника оценки:
• плохо знающие участники пытаются найти знакомые и подходящие к теме ответы;
• участники, полностью не знающие ответ, пытаются угадать ответ по формальным признакам (самый длинный ответ, самый умный ответ и т. п.).
Разработчик тестового задания должен создать дистракторы для обеих категорий участников.
Частая ошибка при разработке дистракторов – это «частичная правильность»: ситуация, когда «неправильный» ответ кажется неправильным только автору тестового задания. При этом непредвзятый анализ ответов может показать, что с определённой точки зрения дистрактор вполне можно назвать правильным ответом. Другая распространенная ошибка – это создание абсурдных или очевидных дистракторов.