Голая статистика. Самая интересная книга о самой скучной науке
Шрифт:
Был ли замешан Род Пейдж в этих статистических махинациях во время пребывания в должности школьного инспектора Хьюстона, выяснить не удалось, однако именно он добился внедрения программы строгой отчетности, которая предусматривала выплату денежных премий директорам школ, выполнявшим плановые показатели по результатам экзаменов и досрочному прекращению учебы в школе, и наказание вплоть до увольнения или понижения в должности директорам школ, не обеспечившим выполнение этих плановых показателей. Директора школ хорошо уяснили, что от них требуется, – и это должно послужить для нас еще одним важным уроком. Однако нужно понимать, что те, чью деятельность пытаются оценивать подобными способами, не могут ослушаться начальства, поскольку в противном случае рискуют предстать перед ним не в самом лучшем (со статистической точки зрения) виде.
Усвоение этой истины обошлось штату Нью-Йорк слишком дорого. Власти штата внедрили «оценочные таблицы», с помощью которых намеревались оценивать уровень смертности среди пациентов кардиохирургов, занимающихся коронарной ангиопластикой (восстановлением сосудов) – типичным способом лечения заболеваний сердца {20} .
20
Marc Santora, Cardiologists Say Rankings Sway Surgical Decisions, New York Times, January 11, 2005.
Кардиологи, конечно же, будут заботиться о состоянии своих «оценочных таблиц». Однако простейший способ, с помощью которого кардиохирург может сократить смертность, состоит вовсе не в стремлении сохранить жизнь как можно большему числу людей (у нас есть все основания полагать, что большинство врачей и без того делают в этом плане все от них зависящее), а в отказе оперировать самых тяжелых больных. Согласно результатам опроса, проведенного факультетом медицины и стоматологии Рочестерского университета, «оценочные таблицы», которые якобы служат благу пациентов, могут также приносить им вред: 83 % опрошенных кардиохирургов сказали, что из-за оглашения данных о смертности часть пациентов, которые могли бы поправить здоровье с помощью ангиопластики, просто откажутся от такой операции; 79 % кардиохирургов признались, что на некоторые их профессиональные решения повлияло знание того, что данные о смертности предаются огласке. Печальный парадокс этой, на первый взгляд полезной, описательной статистики заключается в том, что кардиохирурги реагировали на нее вполне рационально, отказываясь делать операции пациентам, которые больше всего в них нуждались.
Любой статистический индекс обладает всеми потенциальными подводными камнями, характерными практически для каждой описательной статистики, – плюс искажения, вносимые вследствие объединения нескольких индикаторов в единое обобщающее число. Любой индекс по определению зависит от того, как именно он сконструирован; на него оказывает влияние и то, какие показатели в него входят, и то, какой весовой коэффициент присвоен каждому из этих показателей. Почему, например, рейтинг пасующего, которым принято оценивать эффективность пасующих в NFL, не включает какой-либо показатель «завершений с третьей попытки»? Если же мы говорим об индексе развития человеческого потенциала (Human Development Index), то каким должен быть вес уровня грамотности населения в этом индексе по сравнению с уровнем дохода на душу населения? И наконец, еще один немаловажный вопрос: должны ли простота и легкость применения, обеспечиваемые объединением многих показателей в одно число (индекс), иметь для нас большее значение, чем неточность, внутренне присущая такому объединению? Подчас приходится давать отрицательный ответ на этот вопрос, что возвращает нас (как и было обещано выше) к рейтингам высших учебных заведений, приведенным в журнале U.S. News & World Report (USNWR).
Для определения рейтингов USNWR используются шестнадцать показателей, с помощью которых оцениваются и распределяются в рейтинге по местам американские колледжи, университеты и профессиональные учебные заведения. Например, в рейтинге национальных университетов и гуманитарных колледжей за 2010 год на долю такого показателя, как «избирательный подход к приему в учебное заведение», приходилось 15 % этого индекса; данный показатель, в свою очередь, вычислялся на основе нормы приема для той или иной школы, доли поступивших студентов, которые в выпускном классе своей школы входили в «лучшие 10 %», а также средних баллов SAT [16] и ACT [17] поступивших студентов. Преимущество рейтингов USNWR заключается в том, что они позволяют простым и доступным способом получить исчерпывающую информацию о тысячах учебных заведений. Даже критики вынуждены согласиться с тем, что большой объем информации об американских колледжах и университетах представляет немалую ценность. Потенциальные студенты должны знать о месте того или иного учебного заведения в рейтинге и средней величине учебной группы.
16
SAT (Scholastic Aptitude Test) – тест на умение грамотно излагать свои мысли в устной форме и тест математических способностей, используемые при поступлении в американские колледжи. Прим. перев.
17
ACT (American College Testing) – стандартизированный тест для поступления в колледжи и университеты США. Прим. перев.
Разумеется, предоставление значимой информации имеет мало общего с ее объединением в общий индекс, который претендует на авторитетность. По мнению критиков, такие рейтинги неуклюже сконструированы, способны вводить в заблуждение и вредить долгосрочным интересам студентов. «Проблема в том, что это – не более чем перечень, в котором каждому учебному заведению присвоен определенный порядковый номер. Данные, на основе которых он определяется, не обеспечивают требуемой точности», – говорит Майкл Макферсон, бывший президент Макалистерского колледжа в Миннесоте {21} . Почему
21
Интервью на National Public Radio, August 20, 2006, http://www.npr.org/templates/story/story.php?storyId=5678463.
Согласно U.S. News & World Report, «каждому показателю на основе наших собственных представлений о его важности присваивается определенный весовой коэффициент (выраженный в процентах)» {22} . Представления – это что-то одно, а произвол и субъективизм – нечто другое. Показателем, имеющим в рейтинге национальных университетов и гуманитарных колледжей самый большой вес, является «научная репутация». Она определяется исходя из «опроса представителей научного сообщества» (анкету заполняют администраторы других колледжей и университетов) и опроса консультантов-психологов, работающих в школах. Критикуя рейтинги, публикуемые U.S. News & World Report, Малкольм Гладуэлл в пух и прах разносит (правда, с изрядной долей юмора) методологию «опроса представителей научного сообщества». Он цитирует опросник, разосланный бывшим председателем Верховного суда штата Мичиган примерно сотне юристов, в сопроводительном письме к которому тот просит юристов расположить десять юридических учебных заведений в порядке убывания их качества. Одним из таких вузов в списке был указан Пенсильванский университет: юристы поместили его примерно в середину перечня. Фишка в том, что на тот момент Пенсильванский университет не имел юридического факультета {23} .
22
См. http://www.usnews.com/education/articles/2010/08/17/frequently-asked-questions-college-rankings#4.
23
Gladwell, Order of Things.
Какими бы обширными ни были собранные данные, вовсе не факт, что рейтинги USNWR измеряют именно то, что должно интересовать потенциальных студентов: какой объем знаний можно получить в том или ином учебном заведении. Футбольные болельщики могут спорить по поводу показателей, входящих в состав индекса распасовщика, но никто из них не станет отрицать того, что составные части этого индекса – коэффициент удачного завершения, среднее число ярдов на каждую попытку паса, процент тачдаун-пасов на каждую попытку паса и коэффициент перехватов мяча – важная составляющая эффективности действий куортербека. Это вовсе не обязательно относится к критериям USNWR, большинство из которых фокусируется на исходных данных (например, какого рода учащихся принимают в учебное заведение, каков уровень оплаты преподавателей, какой процент штатных преподавателей), а не образовательных результатах. Двумя важными исключениями являются процент студентов первого курса, продолживших обучение, и процент выпускников, но даже они не позволяют оценить объем знаний, полученных студентом за время учебы. Как указывает Майкл Макферсон: «В действительности из рейтингов U.S. News & World Report невозможно понять, насколько за четыре года учебы в колледже или университете студенты фактически увеличили свои знания или развили способности».
Все это было бы довольно безобидным занятием, если бы его инициаторы не поощряли действия, не всегда направленные на благо учащихся и учебных заведений. Например, одним из статистических показателей, используемых для вычисления рейтингов, является величина финансовых ресурсов, выделяемых на обучение одного студента; проблема в данном случае – в отсутствии показателя, позволяющего оценить эффективность использования этих финансов. Учебное заведение, меньше расходующее средств в расчете на одного студента, автоматически ухудшает свой рейтинг даже в случае, если эти средства распределяются гораздо эффективнее, чем в других колледжах или университетах. Кроме того, колледжи и университеты заинтересованы в подаче документов как можно большим количеством абитуриентов – в том числе и теми, у кого практически нет шансов пройти по конкурсу, – поскольку высокий конкурс при поступлении также свидетельствует о престижности учебного заведения. Это оборачивается напрасной тратой ресурсов учебными заведениями и бесполезными затратами времени теми абитуриентами, которые изначально не имели никаких шансов на поступление.
Поскольку мы уже почти добрались до главы о вероятности, я готов биться об заклад, что с высокой вероятностью в обозримом будущем рейтинги, публикуемые U.S. News & World Report, по-прежнему будут пользоваться популярностью. Как сказал Леон Ботстейн, президент колледжа Bard College: «Люди предпочитают получать простые и легкие ответы. Какое место самое лучшее? Конечно же, первое» {24} .
Вывод, который можно сделать по прочтении этой главы, что «статистические преступления» не являются следствием математических ошибок. Скорее, наоборот: заумные математические расчеты подчас способны скрыть неблаговидные намерения. То, что вы правильно подсчитали среднее значение, не отменяет тот факт, что медиана представляет собой более точный индикатор. Здравое суждение и честный подход к делу оказываются более важными условиями для выяснения истины. Глубокое знание статистики не мешает нечистым на руку людям манипулировать данными точно так же, как хорошее знание уголовного кодекса не мешает преступникам заниматься своими темными делишками. И в том и в другом случаях «плохие парни» зачастую очень хорошо понимают, что они делают!
24
Интервью на National Public Radio, February 22, 2007, http://www.npr.org/templates/story/story.php?storyId=7383744.