Контроль качества обучения при аттестации: компетентностный подход

Челышкова Марина Борисовна

Если ранжируются не отдельные объекты, а целые классы объектов, то внутри каждой группы порядок не устанавливается. Поэтому часто говорят о том, что порядковая шкала обладает слабым дифференцирующим эффектом, особенно в тех случаях, когда оценивается подготовленность довольно большого числа студентов. Каждой группе объектов присваивается определенный порядковый номер, который позволяет отличить ее представителей от представителей другого класса.

Если упорядочение объектов требует определения некоторого направления возрастания или убывания измеряемой характеристики, то в порядковой шкале производят выбор условного нуля. Однако даже в тех случаях, когда на основе соглашения введена условная нулевая точка, в порядковых шкалах отсутствуют единицы измерения, поэтому никакие количественные выводы о степени отличия в проявлении измеряемого свойства не могут иметь место. Например, по оценкам в порядковой шкале

можно ранжировать студентов от слабых к сильным или наоборот, но сделать вывод о том, на сколько один подготовлен лучше другого, нельзя в силу отсутствия единицы измерения. Одинаковым интервалам между присвоенными оценками свойства в порядковой шкале не соответствуют одинаковые интервалы между размерами измеряемой величины. По этой же причине неправомерны арифметические действия с числами, приписанными ранжированным объектам измерения. С помощью этих чисел можно найти вероятности, моды, медианы, квантили, но их нельзя использовать для сложения, вычитания и других арифметических операций.

При измерении признака в порядковой шкале возможны только монотонные преобразования, допускающие умножение на постоянный множитель, возведение в степень и извлечение корня, а также некоторые статистические операции. В частности, в порядковой шкале:

• в качестве средней оценки используют медиану;

• в качестве меры рассеяния применяют квантили;

• в качестве меры связи двух признаков используют ранговый коэффициент корреляции.

Интервальная шкала – количественная. Она используется для упорядочения объектов, свойства которых удовлетворяют отношениям эквивалентности, порядка и аддитивности. В ней определено расстояние между объектами и предусмотрена общая для всех объектов единица измерения, а началом отсчета является условно выбранная нулевая точка. Благодаря существованию единицы измерения, в интервальной шкале возможны все арифметические действия над числами, кроме операции деления, в силу отсутствия абсолютного нуля. В ней также допустимы почти все статистические операции, кроме тех, которые предполагают знание «истинно» нулевой точки.

В интервальной шкале достигается корректная сравнимость результатов педагогических измерений. Хотя она лишена недостатков номинальной и порядковой шкал, в ней остается неизвестной естественная точка отсчета – абсолютный нуль. Поэтому при интерпретации результатов тестирования с помощью интервальной шкалы нуль верных ответов не означает полного отсутствия подготовленности обучаемых.

Для построения интервальной шкалы в педагогических измерениях необходимо обращение к современной теории тестов IRT. Ее возможности, связанные с инвариантностью оценок параметров подготовленности обучаемых, и трудности заданий теста в сочетании со специальными преобразованиями эмпирических результатов тестирования позволяют ввести единицу измерения и перевести баллы испытуемых из порядковой шкалы в интервальную [28, 35, 44].

Шкала отношений отображает свойства объектов, удовлетворяющие отношениям эквивалентности, порядка, аддитивности и пропорциональности. Последнее свойство появляется благодаря наличию в шкале отношений однозначного естественно определенного критерия нулевого проявления измеряемого свойства – абсолютного нуля. Другими словами можно сказать, что шкала отношений является интервальной с естественным, а не с условным началом отсчета, расширяющим возможности преобразований чисел, приписанных объектам. По сравнению со всеми ранее рассмотренными шкалами последняя (шкала отношений) обеспечивает самый высокий уровень измерений. В ней можно выполнять все арифметические и статистические операции, в том числе интерпретировать отношение чисел, приписываемых различным объектам.

Использование шкалы отношений в образовании невозможно в силу отсутствия абсолютного нуля, поэтому на сегодняшний день ее удалось реализовать только в рамках физических измерений. Общая типология уровней измерения приведена на рис. 2.8.

Рис. 2.8. Типология уровней измерения и соответствующих шкал

Помимо четырех уровней измерений, принятых согласно классификации Стивенса, в отечественной литературе по проблемам измерений иногда выделяют пятый уровень и вводят так называемые абсолютные шкалы. Под ними понимают шкалы отношений, обладающие не только естественно выбранным абсолютным нулем, но и естественно определенными единицами измерения, не зависящими от условных соглашений. Такие шкалы не встречаются в образовании, они характерны для оценивания относительных величин в физических измерениях.

Поскольку количественные шкалы предпочтительнее качественных в тех случаях, когда результаты педагогического измерения используются для принятия административно-управленческих решений, то возникает вопрос о необходимых условиях для получения данных на количественном уровне измерений. Такие условия можно разбить на две части, одна из которых относится к самому измерителю, а другая – к методам обработки данных при их шкалировании.

Не нуждается в доказательстве тот факт, что традиционные средства и методы контроля, включающие экзамены, контрольные работы, устные опросы и другое, позволяют получать баллы испытуемых только на качественном уровне в номинальной либо порядковой шкале. Точка зрения на возможности тестов для построения количественных шкал менялась по мере развития теории педагогических измерений и совершенствования технологии разработки тестов. Вначале, когда тесты только появились в образовании, педагогам казалось, что (не понятно, кто они: педагоги или тесты, нельзя удалять) они обеспечивают оценки в количественной шкале. Такое впечатление создавалось в силу того, что при тестировании получались баллы учащихся, подсчитанные на основе количества правильно выполненных заданий теста. Впоследствии возникли серьезные аргументы, подвергающие сомнению количественный характер результатов выполнения тестов.

Действительно, для тестовых баллов нельзя ввести единицу измерения в связи с зависимостью баллов от различной трудности заданий теста. Исключением мог бы стать тот случай, когда в тесте используются задания одинаковой трудности, но это нереально, поскольку не согласуется ни с основными положениями теории педагогических измерений, ни с потребностями учебного процесса. В любой оценке трудности задания всегда присутствуют ошибочные компоненты, поэтому с точки зрения теории измерений невозможно выбрать одинаково трудные задания в тесте. Да они и не нужны, поскольку все студенты отличаются по своей подготовленности, и для оценивания их учебных достижений необходимы различные по трудности задания, адекватные возможностям обучаемых. К тому же специфика содержания отдельных элементов учебного материала никогда не позволит сделать одинаковые по трудности контролирующие задания в любой форме, в том числе и в форме теста.

Таким образом, по мере развития теории и практики тестирования пришло осознание того, что результаты тестирования обучаемых позволяют установить отношение равенства или отношение «больше-меньше», а разность наблюдаемых (сырых) тестовых баллов при интерпретации отличий в подготовленности студентов не имеет никакого смысла.

Прогресс, достигнутый в 80-е гг. XX в. в методологии педагогических измерений и завершившийся созданием теории IRT, привел к новым возможностям шкалирования результатов тестирования [38]. В отличие от классической теории тестов, в рамках которой можно повысить сопоставимость сырых баллов путем их преобразования без изменения природы порядковой шкалы, IRT позволяет перевести наблюдаемые баллы обучаемых из порядковой в количественную шкалу интервального характера. Такое преобразование осуществляется путем введения специальной единицы измерения – логита – и получения оценок подготовленности студентов, не зависящих от трудности заданий теста.

Таким образом, для перехода на количественный уровень измерений необходимо использовать стандартизованные тесты с выбором ответов, автоматизированные формы проверки и обработки данных, а разработку тестов и шкалирование результатов их выполнения вести только на основе теории IRT. Несмотря на снижение объективности, возникающее за счет привлечения экспертов в тех случаях, когда в стандартизованном тесте есть задания со свободно конструируемым ответом, шкалу тестовых баллов, построенную на основе теории IRT по таким заданиям, также относят к количественным измерениям, что не вполне корректно. Для качественных измерений разрабатывают портфолио и анкеты, проводят интервью, собеседования, устные опросы и экзамены в традиционной форме. Иногда при аккредитации учебных заведений привлекается анализ документов, отражающих ход и результаты учебного процесса.

В целом можно отметить, что количественный и качественный уровни измерений имеют существенные отличия по проявлению совокупности свойств оцениваемых характеристик объектов, способам измерения, формам представления результатов, группам допустимых преобразований и операций с различными математическими и статистическими величинами, характеризующими измеряемые признаки. Количественные оценки обычно представляют в виде чисел на шкале, чтобы дифференцировать различные величины переменной. По результатам качественного измерения для оценочных характеристик выбирают дескрипторы в виде слов или символов, хотя нередко в образовании роль символов для удобства размещения на шкале отводят условно выбираемым числам.