Голая статистика. Самая интересная книга о самой скучной науке

Уилан Чарльз

Источник: http://qoo.by/bz6.

Хотя основная задача статистики – представить содержательную картину интересующих нас явлений, во многих случаях мы также рассчитываем опираться на эти данные. Командам NFL требуется какой-либо простой показатель эффективности действий куортербека, с помощью которого можно было бы находить и включать в свои составы талантливых игроков из высших учебных заведений. Компании оценивают эффективность действий своих работников, чтобы продвигать по службе тех, кто приносит им наибольшую пользу, и увольнять тех, кто абсолютно бесполезен. В бизнесе популярен такой афоризм: «Вы не можете управлять тем, что не в состоянии измерить». И это

действительно так. Однако вы должны быть твердо уверены в следующем: то, что вы измеряете, действительно является тем, чем вы пытаетесь управлять.

Рассмотрим вопрос качества школ, которое очень важно уметь измерять, поскольку, с одной стороны, это позволило бы поощрять и ставить в пример хорошие школы, а с другой – наказывать плохие и исправлять ситуацию в них. (А в рамках каждой школы перед нами стоит аналогичная цель – измерить качество преподавания.) Ключевым показателем качества школ и работы преподавателей являются результаты экзаменов. Если по итогам хорошо продуманного стандартизованного теста учащиеся демонстрируют впечатляющие баллы, то у нас есть все основания полагать, что учителя и школа отлично справляются со своей задачей. И наоборот, плохие результаты теста – это четкий сигнал о том, что многих преподавателей соответствующей школы нужно уволить, причем чем раньше, тем лучше. Такие статистические данные способны помочь улучшить государственную систему образования, не так ли?

Нет, не так. Любое оценивание школ и учителей, которое базируется исключительно на результатах экзаменов, представит очень неточную картину. У каждого учащегося свой жизненный опыт и способности, и они могут сильно разниться между собой. Нам известно, например, что уровень образования и величина дохода родителей ученика существенно влияют на его успеваемость, в какой бы школе он ни учился. Оказывается, только статистика, которой мы в данном случае не располагаем, а именно в какой мере успеваемость ученика (какой бы она ни была – хорошей или плохой) обусловливается происходящим в его школе (или классе, где он учится), имеет для нас значение.

Ученики из обеспеченных семей с высоким образовательным уровнем, как правило, демонстрируют хорошие результаты тестов буквально с первых и до последних дней учебы. Обратное также верно. Есть немало школ, где учатся исключительно дети из бедных семей и где преподаватели буквально творят чудеса, стремясь передать ученикам максимум знаний, но даже в этом случае трудно рассчитывать на хорошие баллы при сдаче тестов (хотя если бы в таких школах работали посредственные учителя, итоги экзаменов были бы еще плачевнее). Итак, нам необходим некий показатель «добавленной стоимости» на школьном уровне, или даже уровне класса. Нам не нужно знать абсолютный уровень успеваемости ученика – мы лишь хотим знать, в какой мере его успеваемость определяется образовательными факторами, которые мы пытаемся оценить.

На первый взгляд это кажется довольно легкой задачей, поскольку мы можем просто предложить ученику сдать сначала предварительный тест, а затем – заключительный. Если нам известен результат предварительного теста, который сдается при поступлении в определенную школу или класс, то мы можем оценить успеваемость ученика в момент окончания учебы в этой школе или классе, а разницу результатов «до» и «после» объяснить полученными им знаниями.

Увы, опять ничего не выйдет. Ученики с разными способностями, к тому же выходцы из семей с полярно разными уровнями дохода и образования, могут и знания усваивать с разной скоростью. Кто-то из учеников схватывает материал буквально на лету, а кому-то приходится объяснять по нескольку раз, причем все это не имеет никакого отношения к качеству преподавания. Таким образом, если ученики в Школе состоятельных родителей A и ученики в Школе бедных родителей B начинают изучать алгебру в одно и то же время и с одного и того же исходного уровня, то объяснить тот факт, что через год ученики школы A сдали экзамен по алгебре лучше, чем ученики школы B, можно либо тем, что в школе A преподают более квалифицированные учителя, либо тем, что в школе A учатся более способные ученики, быстрее усваивающие учебный материал, либо и тем и другим одновременно. Исследователи пытаются разработать статистические методы, которые при измерении качества преподавания учитывали бы способности учеников, а также материальное положение и образовательный уровень их родителей. А тем временем наши попытки выявить «наилучшие» школы могут оказаться до смешного несостоятельными.

Каждую осень несколько чикагских газет и журналов публикуют рейтинги лучших школ региона, основанные на результатах сдачи стандартизованного теста штата Иллинойс. Вот один из выводов, совершенно смехотворных с точки зрения статистики: поступление в несколько школ, постоянно занимающих высокие места

в рейтинге, возможно лишь на конкурсной основе; для этого нужно предварительно подать соответствующие документы, причем в школу будет зачислена лишь малая часть из тех, кто их подал. Одним из важнейших критериев для поступления в такие школы являются результаты сдачи стандартизованных тестов. Итак, подведем итоги: 1) эти школы считаются «лучшими», потому что их ученики имеют высокие баллы на экзаменах; 2) чтобы попасть в такую школу, нужно иметь высокие баллы стандартизованных тестов. Это, по сути, то же самое, как если бы вы наградили баскетбольную команду за то, что в ее составе выступают очень рослые ребята.

Даже при наличии надежного индикатора того, что вы пытаетесь измерить и чем пытаетесь управлять, проблемы не заканчиваются. Хорошей новостью будет то, что «управление посредством статистики» способно изменить к лучшему поведение соответствующего человека или учреждения. Если вы можете определить долю бракованных изделий, сходящих с производственного конвейера, и эти дефекты обусловлены ситуацией на заводе, то выплата работникам премии за сокращение количества бракованных изделий должна, по-видимому, надлежащим образом изменить их поведение. Каждый из нас реагирует на стимулы, даже если это просто похвала или предоставление более удобного места для парковки автомобиля. Статистика измеряет важные для нас результаты; стимулы подталкивают нас к их улучшению.

Или, в отдельных случаях, к приукрашиванию статистики. А вот это – плохо.

Если работа школьной администрации оценивается (и, возможно, даже оплачивается) исходя из процента учеников в определенном учебном округе, получивших аттестат об окончании школы, то ей следует сосредоточить усилия на увеличении количества выпускников. Разумеется, наряду с этим можно заняться и вопросом повышения доли учеников, окончивших школу (это не то же самое, что количество выпускников). Например, ученики, досрочно бросившие школу и не получившие аттестата, могут быть классифицированы как «сменившие место жительства», а не как бросившие учебу. Это вовсе не гипотетический пример; обвинение именно в таких манипуляциях было предъявлено бывшему министру образования Роду Пейджу во время его пребывания в должности школьного инспектора Хьюстона. Президент Джордж Буш назначил Рода Пейджа министром образования США под впечатлением его выдающихся успехов в Хьюстоне, суть которых заключалась в снижении доли учеников, досрочно бросивших школу, и резком улучшении результатов тестов.

Если вы коллекционируете афоризмы, могу поделиться собственным: «Если сегодня к вам в офис заглянули люди из программы 60 Minutes («60 минут»), то это определенно не лучший день в вашей жизни». Дэн Разер и команда создателей программы 60 Minutes II побывали в Хьюстоне и пришли к выводу, что манипулирование статистикой в этом учебном округе производит гораздо большее впечатление, чем повышение уровня образования {19} . Учеников, бросающих учебу в школе, обычно включали в число тех, кто переводится в какую-то другую школу, возвращается к себе на родину (в другую страну) или желает получить General Equivalency Diploma (GED) – диплом об общем образовании, который выдается сдавшим тесты по программе средней школы. Ни один из этих вариантов не трактовался в официальной статистике как отказ от учебы в школе. В тот год администрация хьюстонского учебного округа рапортовала о снижении доли учеников, бросивших учебу в школе, до 1,5 %. Хотя, согласно подсчетам 60 Minutes, этот показатель на самом деле находился между 25 % и 50 %.

19

Rebecca Leung, The ‘Texas Miracle’: 60 Minutes II Investigates Claims That Houston Schools Falsified Dropout Rates, CBSNews.com, August 25, 2004.

Статистические манипуляции с тестовыми баллами были не менее впечатляющими. Один из способов добиться улучшения результатов тестов (в Хьюстоне или где-либо еще) – повысить качество образования, чтобы учащиеся углубляли свои знания и лучше сдавали экзамены. Это самый честный способ. Другой (менее честный) способ заключается в отстранении от их сдачи самых слабых учеников, поскольку в этом случае средний балл соответствующей школы или учебного округа повысится, даже если остальные ученики не продемонстрируют никакого прогресса. В Техасе единый тест штата проводится для десятиклассников. Есть свидетельства того, что руководство хьюстонских школ пыталось избавиться от отстающих учащихся еще до их перехода в десятый класс. В одном из особенно вопиющих случаев ученик провел три года в девятом классе, а затем его сразу перевели в одиннадцатый класс – такой вот хитроумный способ отстранения ученика от сдачи экзамена в десятом классе, не принуждая его бросить учебу (что плохо сказалось бы на другом статистическом показателе).