Голая статистика. Самая интересная книга о самой скучной науке
Шрифт:
Ученые полностью опровергли ложную зависимость между тимеросалом и РАС. Когда тимеросал изъяли из вакцины КСК, заболеваемость аутизмом не снизилась; к тому же в странах, где эта вакцина никогда не применялась, заболеваемость аутизмом не ниже, чем в странах, где она регулярно используется. Тем не менее эта ложная связь укоренилась в сознании людей, что заставило некоторых родителей отказаться от вакцинации своих детей. Ирония судьбы в том, что это не обеспечивает защиты от аутизма, но зато подвергает детей риску подхватить другие серьезные болезни (и способствует их распространению среди остального населения).
Аутизм – одна из величайших медицинских и социальных проблем нашего времени. А мы так мало знаем о нем по сравнению с его огромным (и, возможно, растущим) влиянием на наше общее благополучие. Исследователи используют буквально каждый из инструментов, описанных в этой книге (а также многие другие), чтобы изменить нынешнее положение вещей.
Как выявить и наградить хороших преподавателей и хорошие школы?
Безусловно, нам нужны хорошие школы, так же как нам нужны и хорошие преподаватели, без которых такие школы невозможны. Следовательно, нам нужно вознаграждать хороших преподавателей и хорошие школы, а также увольнять плохих преподавателей и закрывать плохие школы.
Но как выявить хороших преподавателей и хорошие школы?
Результаты сдачи экзаменов могут служить объективным показателем успеваемости учащихся. Тем не менее мы знаем, что некоторые ученики сдают стандартизованные тесты лучше своих сверстников по причинам, не имеющим ничего общего с тем, что происходит в стенах конкретного класса или школы. Казалось бы, самым простым решением здесь стало бы оценивание школ и преподавателей на основе прогресса, которого добиваются учащиеся за определенный период времени. Как изменились их знания с момента начала их занятий в определенном классе у конкретного преподавателя? Какими они были год назад? Разница между этими объемами знаний представляет собой «добавленную стоимость» соответствующего класса.
Чтобы получить более точное представление об этой «добавленной стоимости», мы можем воспользоваться статистическими инструментами, приняв во внимание демографические характеристики учащихся в конкретном классе, такие как расовая принадлежность, уровень дохода в семье и успеваемость по другим тестам (что может быть показателем сообразительности). Если преподаватель добился значительных успехов в работе с учащимися, которые не блистали знаниями в прошлом, то его следует считать весьма эффективным.
Вот так-то! Теперь мы можем оценить качество учителя со статистической точностью. А хорошие школы – это, безусловно, школы, где работают такие учителя.
Как эти удобные статистические оценки функционируют на практике? В 2012 году городские власти Нью-Йорка проявили инициативу и опубликовали рейтинги всех 18 000 преподавателей государственных школ на основе «оценки добавленной стоимости», измеренной по результатам сдачи экзаменов учениками с учетом их различных характеристик {106} . Газета Los Angeles Times опубликовала аналогичную совокупность рейтингов преподавателей Лос-Анджелеса в 2010 году.
106
Fernanda Santos and Robert Gebeloff, Teacher Quality Widely Diffused, Ratings Indicate, New York Times, February 24, 2012.
И в Нью-Йорке, и в Лос-Анджелесе реакция на эти публикации была бурной и противоречивой. Арни Дункан, министр образования США, в целом поддержал такого рода оценки на основе «добавленной стоимости», заявив, что они хороши хотя бы тем, что позволяют получить какую-то информацию в областях, где раньше ее вообще не было. После публикации данных по Лос-Анджелесу Арни Дункан сказал газете The New York Times: «Молчание – это вообще не вариант». Администрация Обамы предоставила штатам финансовые средства для разработки показателей добавленной стоимости, на основе которых можно было бы оплачивать труд преподавателей и продвигать их по службе. Сторонники данных способов оценивания подчеркивают, что это огромный шаг вперед по сравнению с системами, в которых труд всех преподавателей оплачивается в соответствии с единой шкалой окладов, не учитывающей такие «мелочи», как профессионализм.
С другой стороны, многие эксперты предупреждают, что подобные системы оценивания характеризуются большими допустимыми пределами погрешности и могут давать ошибочные результаты. Профсоюз преподавателей Нью-Йорка потратил более 100 000 долларов на рекламную кампанию в газетах, проводившуюся под лозунгом «Так оценивать работу преподавателей нельзя» {107} . Оппоненты утверждают, что «оценивание добавленной стоимости» создает ложное впечатление высокой точности, причем такие оценки могут вольно трактоваться родителями и государственными чиновниками, не понимающими ограничений подобного оценивания.
107
Winnie Hu, With Teacher Ratings Set to Be Released, Union Opens Campaign to Discredit Them, New York Times, February 23, 2012.
Похоже, это тот самый случай, когда правы – в определенной степени – и те и другие. Даг Стайгер, экономист Дартмутского колледжа, широко использующий в работе данные «добавленной стоимости» преподавателей, предостерегает, что в этих данных, в силу самой их природы, многовато «шума». Результаты по конкретному учителю зачастую основываются на результатах одного экзамена. При этом действие множества разнообразных факторов – от особенно «трудной» группы учащихся до сломавшегося в день сдачи экзамена кондиционера в классе – может вести к флуктуациям. Корреляция в эффективности отдельно взятого преподавателя, которая использует эти индикаторы, от года к году составляет лишь 0,35. (Интересно, что корреляция в эффективности игроков Высшей бейсбольной лиги от года к году также составляет примерно 0,35; для хиттеров она измеряется средним уровнем достижений, а для питчеров – средним числом зачетных перебежек.) {108}
108
T. Schall and G. Smith, Do Baseball Players Regress to the Mean? American Statistician 54 (2000): 231–35.
По мнению Стайгера, данные об эффективности учителей полезны, но это лишь один из инструментов, применяемых в процессе оценивания их профессионализма. Эти данные оказываются «менее шумными», когда исследователи располагают информацией по конкретному преподавателю за много лет, особенно если он работал с разными группами учащихся (точно так же, как мы можем сделать более достоверные выводы о достижениях спортсмена, имея данные о большем числе игр и сезонов, в которых он участвовал). В случае рейтингов преподавателей Нью-Йорка руководство системы образования предупреждало о необходимости правильного использования данных «добавленной стоимости» и о присущей им ограниченности. Однако широкой общественности не было известно об этих предупреждениях. В результате предложенные оценки учителей зачастую рассматриваются как определитель «хороших» и «плохих» преподавателей, заслуживающий полного доверия. Нам вообще нравятся рейтинги – вспомните хотя бы рейтинги колледжей, опубликованные в U.S. News & World Report, – даже когда соответствующие данные не поддерживают такую точность.
Стайгер делает предупреждение несколько иного рода: нам следовало заранее удостовериться в том, что оцениваемые нами исходы (например результаты стандартизированного теста) действительно соответствуют тому, что нас интересует в долгосрочной перспективе. Некоторые уникальные данные, которые приводит Академия ВВС США, свидетельствуют о том, что блестящие результаты экзаменов в будущем могут такими не казаться. Академия ВВС США, подобно другим военным учебным заведениям, произвольно распределяет своих кадетов по разным секциям стандартизированных базовых курсов, таких как введение в математический анализ. Подобная рандомизация устраняет любое влияние потенциального отбора при сравнении эффективности преподавателей; спустя какое-то время мы можем исходить из того, что все преподаватели получают студентов с примерно одинаковыми способностями (в отличие от большинства университетов, где студенты с разными способностями могут выбирать для себя те или иные курсы). Кроме того, Академия ВВС США использует в каждой части конкретного курса одинаковые учебные программы и экзамены. Скотт Каррелл и Джеймс Уэст, профессора Калифорнийского университета в Дэвисе и Академии ВВС США, воспользовались этой элегантной системой организации процесса подготовки студентов, чтобы ответить на один из самых важных вопросов в высшем образовании: какие из профессоров самые эффективные? {109}
109
Scott E. Carrell and James E. West, Does Professor Quality Matter? Evidence from Random Assignment of Students to Professors, National Bureau of Economic Research Working Paper 14081, June 2008.