Контроль качества обучения при аттестации: компетентностный подход
Шрифт:
(6.6)
где pjl – доля испытуемых, выполнивших правильно оба задания с номерами j и l, т.е. доля тех, кто получил 1 балл по обоим заданиям; pj – доля испытуемых, правильно выполнивших j– е задание, qj = 1 – pj; pl – доля испытуемых, правильно выполнивших l– е задание теста, ql = 1 – pl.
Например,
Результаты подсчета значений коэффициента корреляции между всеми заданиями для примера матрицы сведены в табл. 6.4.
Анализ значений коэффициента корреляции в табл. 6.4 позволяет выделить в категорию «плохих» 3-е и 8-е задания теста. Задание 3 отрицательно коррелирует с заданиями 7, 8, 9 и 10. О том, что «виновато» 3-е, а не другие задания теста, свидетельствует анализ значений коэффициента корреляции в столбцах с номерами 7, 9 и 10. В них просматривается только один минус на месте, соответствующем заданию теста 3, которое в свою очередь отрицательно коррелирует с четырьмя заданиями теста. Аналогичная ситуация наблюдается для задания 8. Отрицательные значения коэффициента корреляции указывают на определенный просчет разработчиков в содержании заданий, которые рекомендуется из теста удалить. Наиболее распространенная причина появления отрицательной корреляции – отсутствие предметной чистоты содержания – нередко встречается при разработке самых разных тестов.
Понятно, что предметная чистота – скорее, идеализируемое, чем реальное требование к содержанию любого теста. Например, в тесте по физике всегда встречаются задания с большим количеством математических преобразований, в тесте по биологии – задания, требующие серьезных знаний по химии, в тесте по истории – задания, рассчитанные на выявление культурологических знаний, и т.п. Поэтому можно лишь стремиться к тому, чтобы при выполнении каждого задания доминировали знания по проверяемому предмету.
Таблица 6.4 Коэффициенты корреляции заданий
Анализ 9-го столбца табл. 6.4 с максимальной суммой 4,6495, приведенной в конце, указывает на наличие ряда довольно высоких значений коэффициента корреляции (9,8 = 0,6124; 9,7 = 0,7638; 9,10 = 0,6667), которые могут получить различную трактовку в зависимости от вида разрабатываемого теста. Для тематических тестов высокая корреляция между заданиями неизбежна, так как они в большинстве своем имеют слабо варьирующее исходное содержание, что вполне объяснимо назначением теста. Однако для итоговых тестов высокой корреляции между заданиями по возможности стараются избегать, поскольку вряд ли имеет смысл включать в итоговый тест несколько заданий, оценивающих одинаковые содержательные элементы. Поэтому в итоговых аттестационных тестах обычно стремятся к невысокой положительной корреляции, когда значения коэффициента варьируют в интервале (0; 0,3), и каждое задание привносит свой специфический вклад в общее содержание теста.
Далее с помощью подсчета значений точечного бисериального коэффициента корреляции можно оценить валидность отдельных заданий теста. Бисериальный коэффициент корреляции используется в том случае, когда один набор значений распределения задается в дихотомической шкале, а другой – в интервальной. Под эту ситуацию подпадает подсчет корреляции между результатами выполнения каждого задания (дихотомическая шкала) и суммой баллов испытуемых (интервальная или квазиинтервальная шкала) по заданиям теста.
Формула для вычисления значения точечного бисериального коэффициента rpbis, имеет вид:
(6.7)
где (X1)j — среднее значение индивидуальных баллов испытуемых, выполнивших верно j-е задание теста; (X0) – среднее значение индивидуальных баллов испытуемых, выполнивших неверно j– е задание теста; Sx — стандартное отклонение по множеству значений индивидуальных баллов; (N1)j – число испытуемых, выполнивших верно j-е задание теста; (N0)j — число испытуемых, выполнивших неверно j– е задание теста; N — общее число испытуемых, N = N1 + N0.
Применение формулы (6.7) для данных по 5-му заданию рассматриваемого примера матрицы дает достаточно высокое значение точечного бисериального коэффициента.
так как 1, 4, 5, 9 и 10-й испытуемые выполнили задание 5 верно.
так как 2, 3, 6, 7 и 8-й испытуемые выполнили задание 5 неверно. Стандартное отклонение, подсчитанное для рассматриваемого примера ранее, Sx 2,6; (N1)5 = (N0)5 = 5; N = 10. Поэтому
Значения бисериального коэффициента корреляции десяти заданий с суммой баллов по тесту rbis, рассчитанные с помощью компьютерных программ для данных матрицы, приводятся в табл. 6.5
Таблица 6.5 Значения коэффициента бисериальной корреляции
Анализ значений коэффициента бисериальной корреляции в табл. 6.5 указывает на два довольно неудачных задания теста – 3-е [(rbis)3 = 0,26] и 8-е [(rbis)8 = 0,24], которые имеют низкую валидность и должны быть удалены из теста. В целом задание можно считать валидным, когда значение (rbis)j 0,5 или выше этого числа. Оценка валидности задания позволяет судить о том, насколько оно пригодно для работы в соответствии с общей целью создания теста. Если эта цель – дифференциация студентов по уровню подготовки, то валидные задания должны четко отделять хорошо подготовленных от слабо подготовленных испытуемых тестируемой группы.
Решающую роль в оценке валидности задания играет разность (X1)j – (X0)j, находящаяся в числителе дроби формулы (6.7). Чем выше значение этой разности, тем лучше работает задание на общую цель дифференциации испытуемых. Значения, близкие к нулю, указывают на низкую дифференцирующую способность заданий теста. В том случае, когда в разности доминирует вклад (X0), а не (X1), задание следует просто удалить из теста. В нем побеждают слабые испытуемые, а сильные выбирают неверный ответ либо пропускают задание при выполнении теста. Таким образом, подлежат удалению все задания, у которых rbis < 0.
Оценка трудности тестовых заданий в классической теории получается по формуле
pj = Rj / N
где pj — доля правильных ответов на j– е задание; Rj — количество студентов, выполнивших j– е задание верно; N — число студентов в тестируемой группе; j – номер задания теста, j = 1, 2, …, n. Трудность задания нередко выражают в процентах, тогда оценку, полученную по формуле (6.8), умножают на 100%.