Тестовый контроль в образовании

Ефремова Надежда

Глава 5

МЕТОДЫ АНАЛИЗА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

Статистика – это математическая теория, позволяющая познать мир через опыт.

В. Томпсон

5.1. Формирование образовательной статистики

Последний компонент измерений – обработка результатов с целью представления их в форме, удобной для пользователей, и интерпретации согласно задачам педагогического контроля. Этап обработки результатов нередко включает преобразование первичной шкалы, построенной непосредственно по числу выполненных заданий, в другую – для повышения удобства при интерпретации результатов измерения. Всегда, когда

ставится задача измерения, то имеется в виду получение истинной величины оцениваемой характеристики, которую можно определить как предел последовательности результатов ее измерения при числе измерений, стремящемся к бесконечности. Нередко истинную величину называют латентным параметром, акцентируя внимание на ее единственности для характеристики данного объекта и инвариантности относительно качества средств и методов измерения. Основываясь на изложенных выше общих сведениях, педагогическое измерение можно определить как процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда. При педагогическом измерении обычно в качестве характеристик обучаемых выступают знания и умения, освоенные учащимися на момент выполнения теста. Роль единицы измерения играют калиброванные тестовые задания, объектом оценивания являются сами обучаемые, а результатом измерения – баллы тестируемых учеников или студентов на единой шкале оценок.

Образовательная статистика формируется как на федеральном, так и на региональном, территориальном и школьном уровнях. Как правило, данные массового тестирования являются репрезентативными и могут обеспечить наиболее достоверную картину качества обучения по различным предметным областям и образовательным системам. Они систематизируются и выдаются в одинаковом формате для объектов наблюдения всех уровней.

Для мониторинга и анализа учебных достижений используются одни и те же показатели:

• общее число участников ЕГЭ по стране, региону, районам, образовательным учреждениям;

• средние тестовые баллы ЕГЭ по регионам и территориям;

• средние тестовые баллы ЕГЭ по пунктам проведения экзамена (ППЭ) в регионе;

• плотность распределения учащихся, набравших соответствующий тестовый балл по России и региону;

• доля учащихся (в %), выполнивших тестовые задания по структуре теста;

• статистические результаты ЕГЭ по пятибалльной шкале по России и региону;

• средние тестовые баллы по предметам ЕГЭ;

• число участников ЕГЭ, не приступавших к выполнению заданий «С» по каждому предмету и каждой территории;

• процент выполнения выпускниками заданий «А», «В» и «С» генеральной выборки и отдельными группами участников;

• количество выпускников, получивших баллы в интервале от 90 до 100.

Очень важными при многоуровневом анализе являются выбор комплекса показателей качества образовательного процесса по уровню подготовленности учащихся и обеспечение объективного и целостного представления о состоянии системы образования и ее составляющих. При этом большое значение имеют используемые методы и способы педагогического анализа результатов и их интерпретации, регулярность и периодичность тестового контроля. Суждения, выводы, доводы и оценки, сделанные в результате мониторинга, должны способствовать совершенствованию объекта.

Мониторинговые исследования по результатам массового тестирования и ЕГЭ могут проводиться по следующим направлениям:

1. Сравнительный анализ средних тестовых баллов выпускников разных регионов по всем предметам со средними показателями по России, средних тестовых баллов по территориям и образовательным учреждениям со средними по России и региону, по оценкам в аттестатах и на ЕГЭ, количеству заявленных медалистов и подтвердивших результаты на ЕГЭ.

2. Содержательный анализ усвоения учебного материала по дисциплинам, включенным в ЕГЭ, по различным уровням обобщения данных и управления образованием (федеральному, региональному, территориальному, школьному).

3. Анализ качества обучения по совокупности учебных дисциплин по видам образовательных учреждений и категориям выпускников.

4. Тематический анализ учебных достижений по процентам выполненных тестовых заданий по различным дисциплинам, территориям, образовательным учреждениям.

5. Определение рейтинга выпускников общеобразовательных учреждений, отдельных территорий, регионов, вузов и специальностей по уровню подготовленности абитуриентов на основе сопоставимости результатов массового тестирования.

6. Динамический анализ качества контрольных измерительных материалов и подготовки выпускников по годам.

7. Интерпретация результатов мониторинговых исследований и выводы о достигнутом качестве подготовленности выпускников и состоянии образовательных систем.

В качестве объектов анализа могут быть выбраны любые массивы участников единого государственного экзамена: учащиеся, классы, школы, районы, города, регионы и все выпускники регионов–участников. Для каждой такой выборки используется соответствующий уровень обобщения статистических данных. Оценка качества подготовленности учащихся в той или иной предметной области средствами педагогического тестирования и мониторинга ориентирована на обеспечение постоянным потоком сопоставимой образовательной информации большого числа пользователей (учащиеся, учителя, родители, работники управления образованием и др.). Однако абсолютные данные в большинстве случаев не дают полного представления о качестве исследуемого объекта, более информативным является сопоставление показателей исследуемой выборки с нормами или объектами более высокого уровня обобщения результатов (парные или множественные сравнения).

Для всестороннего анализа результатов тестового контроля данные представляются в таблицах, на графиках, гистограммах и диаграммах, наиболее полно отображающих количественные и качественные показатели исследуемых массивов участников контрольно–оценочного процесса.

Таблицы. При статистической обработке данных тестирования результаты представляются в виде дихотомических таблиц, протоколов первичных и тестовых баллов, сводных таблиц по различным массивам испытуемых (табл. 4). За каждое выполненное задание ставится «1», за каждое невыполненное – «0».

Таблица 4

Примечание. Часть «А» – область закрытых заданий теста с выбором одного варианта ответа из числа предложенных; часть «В» – задания со свободным кратким ответом; часть «С» – задания, требующие конструирования развернутого ответа в свободной форме. При необходимости в протоколе могут быть отражены паспортные данные или другие сведения об участниках тестирования.

Дихотомические таблицы дают для каждого испытуемого первичные баллы в числе выполненных заданий теста «А», «В» и «С» без учета уровня их трудности. Внизу таблицы, как правило, приводятся сводные данные о процентах выполнения каждого задания данной выборкой испытуемых.

Сводные таблицы по разным массивам выпускников могут содержать обобщенные данные. Основное назначение таких таблиц – сравнение результатов исследуемой выборки с общероссийскими показателями. Для примера приведены результаты одного из ЕГЭ по математике выпускников нескольких школ сельских районов региона (табл. 5).

Таблица 5 

Чтобы оценить качество подготовленности выпускников данного района анализ проводится по распределению первичных баллов по интервалам и разделам теста в сравнении с аналогичными данными по России с указанием стандартного отклонения и вариации (табл. 6).