Голая статистика. Самая интересная книга о самой скучной науке

Уилан Чарльз

Нам неизвестно, каков эффект от учебы в таких учебных заведениях, как Гарвардский или Йельский университет. Их выпускники преуспевают в жизни потому, что просто необыкновенно талантливы? Или это университеты и колледжи сделали этих изначально талантливых молодых людей еще более продуктивными? Или, может быть, сыграло свою роль то и другое?

Мы не можем провести рандомизированный эксперимент, чтобы ответить на этот вопрос. Вряд ли среди выпускников средней школы найдется много желающих попасть в какой-либо выбранный наугад колледж; весьма сомнительно и то, что Гарвардский и Дартмутский университеты обрадуются идее произвольного набора студентов. Похоже, у нас нет какого-либо механизма проверки ценности эффекта рассматриваемого нами активирования. Талант под угрозой! Но экономисты Стейси Дейл и Алан Крюгер нашли способ ответить на этот вопрос, воспользовавшись [76] тем фактом, что многие из выпускников средней школы подают документы сразу в несколько колледжей {92} . Некоторых выпускников принимают в то или иное элитное учебное заведение, и они решают поступить именно в него; другие в аналогичной ситуации выбирают менее престижный колледж или университет. Замечательно! Теперь у нас есть подопытная группа (студенты, которые предпочли элитные колледжи и университеты) и неэквивалентная контрольная группа (достаточно талантливые студенты, тем не менее решившие поступить в менее престижный колледж или университет) [77] .

76

Исследователям нравится слово «воспользоваться» (exploit). Оно, в частности, применяется в значении «воспользоваться какой-либо возможностью, связанной с данными». Например, когда исследователи обнаруживают какой-либо натурный эксперимент, который создает подопытную и контрольную группу, они пишут, как собираются «воспользоваться разбросом в соответствующих данных».

92

Stacy Berg Dale and Alan Krueger, Estimating the Payoff to Attending a More Selective College: An Application of Selection on Observables and Unobservables, Quarterly Journal of Economics 117, no. 4 (November 2002): 1491–527.

77

Здесь существует вероятность ошибки. Обе группы студентов достаточно талантливы для того, чтобы быть принятыми в один из элитных колледжей или университетов. Однако одна группа студентов решила поступить в элитное учебное заведение, а другая предпочла менее престижный колледж или университет. Вторая группа студентов может быть менее мотивирована, менее трудолюбива или может отличаться в каких-то других, ненаблюдаемых отношениях. Если бы Дейл и Крюгер обнаружили, что студенты, поступившие в элитные учебные заведения, впоследствии зарабатывали больше, чем студенты, принятые в одно из элитных учебных заведений, но выбравшие менее престижный вуз, мы все же не могли бы быть уверены, что разница в их будущих доходах объясняется учебой в элитном учебном заведении, а не особенностями человека, получившего шанс поступить в элитное учебное заведение и воспользовавшегося им. Но в исследовании Дейла и Крюгера эта потенциальная ошибка не играет существенной роли. Дейл и Крюгер обнаружили, что студенты, которые поступили в элитные учебные заведения, впоследствии зарабатывали ненамного больше тех, кто выбрал какой-либо другой вариант продолжения учебы, несмотря на то обстоятельство, что студенты, отказавшиеся поступить в элитные учебные заведения, могли обладать другими (помимо образования) особенностями, которые мешали им зарабатывать больше. Как бы то ни было, упомянутая мною ошибка заставляет авторов данного исследования скорее преувеличивать денежные выгоды учебы в элитных колледжах и университетах, которые в любом случае оказываются несущественными.

Дейл и Крюгер изучили повторные данные о доходах в обеих группах. Это нельзя назвать идеальным сравнением яблок с яблоками, а уровень доходов, конечно же, не самое главное жизненное достижение человека, однако результаты, полученные Дейлом и Крюгером, должны развеять тревоги переутомленных напряженной учебой старшеклассников и их родителей. Выпускники элитных колледжей зарабатывают приблизительно столько же, сколько выпускники менее престижных учебных заведений – если, конечно, речь идет о людях примерно одинаковых способностей. Единственное исключение – студенты из малоимущих семей, которые зарабатывали больше, если учились в элитных колледжах или университетах. Подход Дейла и Крюгера кажется мне весьма элегантным способом отделить эффект активирования (четырехлетняя учеба в элитном учебном заведении) от эффекта престижности учебного заведения (в эти учебные заведения принимают самых способных студентов). Подводя итоги исследования в статье для The New York Times, Алан Крюгер косвенно ответил на вопрос, поставленный в подзаголовке этой главы: «Вам придется признать тот факт, что ваша собственная мотивация, амбиции и способности будут определять ваш успех в большей степени, чем название колледжа в вашем дипломе» {93} .

93

Alan B. Krueger, Children Smart Enough to Get into Elite Schools May Not Need to Bother, New York Times, April 27, 2000.

Разница в различиях. Один из наилучших способов наблюдать причину и следствие – это сделать что-то, а затем посмотреть, к чему это действие приведет. Именно так маленькие дети (а подчас и взрослые) познают окружающий мир. Например, мои дети довольно быстро поняли, что если бросать куски пищи из одного конца кухни в другой (причина), то собака будет носиться как угорелая по кухне за этими кусками (следствие). Вполне возможно, что та же сила наблюдения помогает человеку в течение жизни. Если сокращение налогов приводит к оздоровлению экономики, значит, оно помогло исправить в ней ситуацию.

Может быть, может быть… Весьма внушительный подводный камень такого подхода заключается в том, что жизнь, как правило, гораздо сложнее швыряния обглоданных куриных ножек из одного конца кухни в другой. Да, на каком-то этапе мы могли сократить налоги, однако примерно на том же этапе развертывались другие «активизации». В колледжи могло поступить большее число женщин, интернет и другие технологические новшества привели к повышению производительности американских рабочих, стоимость китайской национальной валюты оказалась заниженной, профессиональный бейсбольный клуб Chicago Cubs уволил своего генерального менеджера и т. д. Все, что произойдет после сокращения налогов, нельзя приписывать исключительно сокращению налогов. Проблема любого анализа, который можно отнести к категории «до и после», заключается в том, что если одно событие (событие A) произошло после какого-то другого (события B), то это отнюдь не означает, что событие B послужило причиной события A.

Подход, который мы обозначили как «разница в различиях», может помочь идентифицировать последствия некоторой активизации при выполнении двух условий. Во-первых, мы анализируем данные «до» и «после» для той группы или юрисдикции (подведомственной области), которые получили соответствующее активирование, например данные по безработице для округа, реализовавшего программу обучения новым профессиям. Во-вторых, сравниваем эти данные с показателями безработицы за тот же период времени для какого-либо похожего округа, который не реализовал данную программу.

Предполагается (что довольно важно), что две группы, используемые для такого анализа, в целом сопоставимы – за исключением активирования; таким образом, любое значимое различие в исходах между этими группами может быть обусловлено оцениваемой нами программой или политикой. Допустим, что один округ в штате Иллинойс реализует программу обучения новым профессиям в надежде снизить уровень безработицы. Однако в течение двух последующих лет безработица продолжает расти. Означает ли это, что программа провалилась? Как это выяснить?

Разумеется, на этой арене могут действовать множество экономических сил, в том числе и вероятность продолжительного экономического спада. Подход «разница в различиях» сравнил бы изменение уровня безработицы в течение какого-то времени в оцениваемом нами округе с уровнем безработицы в каком-либо из соседних округов, где не реализуется программа обучения новым профессиям. Эти два округа должны быть похожи во всех остальных важных аспектах, таких как структура промышленности, демографическая картина и т. п. Как уровень безработицы в округе, где реализуется программа обучения новым профессиям, изменяется со временем в сравнении с округом, в котором такая программа не внедрена? Мы можем оценить эффект данной программы, сравнив изменения в этих округах за время, в течение которого проводилось данное исследование («разница в различиях»). Другой округ в этом исследовании действует, по сути, как контрольная группа, что позволяет нам воспользоваться данными, собранными до и после воздействия. Если контрольная группа выбрана правильно, то она будет подвергаться воздействию тех же более широких сил, что и подопытная группа. Подход «разница в различиях» может быть особенно поучителен, когда активирование сперва оказывается неэффективным (после начала реализации программы обучения новым профессиям уровень безработицы повышается), хотя контрольная группа показывает, что в отсутствие активации эта тенденция могла быть еще хуже.

Анализ на основе разрывности. Один из способов создать подопытную и контрольную группы – сравнить исходы для какой-то группы, которая едва подходит для воздействия или активирования, с исходами для группы, которая едва превысила порог непригодности и не получает активирования. Те, кто окажется чуть выше или чуть ниже некоторого случайно выбранного предела, например результата сдачи экзаменов или минимального дохода семьи, будут почти идентичны во многих важных отношениях; то обстоятельство, что одна группа получила активирование, а другая – нет, является, по сути, делом случая. В итоге мы можем сравнить их исходы таким способом, который позволял бы сделать значимые выводы относительно эффективности соответствующего воздействия.

Допустим, какому-то учебному округу требуется летняя школа, в которой могли бы заниматься отстающие ученики. Руководство округа хотело бы знать, представляет ли собой какую-либо долгосрочную учебную ценность такая программа летнего обучения. Как обычно, простое сравнение учеников, посещающих и не посещающих эту школу, было бы не только бесполезно, но даже вредно. Ученики, которые посещают такую школу, ходят туда именно потому, что являются отстающими. Даже если программа обучения в этой школе весьма эффективна, успеваемость ее учеников в долгосрочной перспективе все же, по-видимому, будет хуже, чем успеваемость учеников, не нуждающихся в дополнительных занятиях. Мы хотим знать, какой будет успеваемость отстающих учеников после посещения летней школы по сравнению с их успеваемостью в случае, если бы они ее не посещали. Да, мы могли бы провести нечто вроде управляемого эксперимента, в ходе которого случайным образом отобрали бы отстающих учеников для посещения летней школы, и, соответственно, отстающих учеников, которые не будут в нее ходить (контрольная группа). Однако это бы предполагало отказ контрольной группе в доступе к программе обучения в летней школе, между тем как мы предполагаем, что обучение в летней школе будет полезно всем отстающим ученикам.

Вместо этого подопытная и контрольная группы создаются путем сравнения учеников, которые оказались чуть ниже порога для летней школы, с учениками, которые находятся чуть выше этого порога. Это можно представлять себе так: ученики, провалившие экзамены по итогам полугодия, существенно отличаются от учеников, которые успешно их сдали. Но ученики, набравшие 59 % от максимальной суммы баллов (что не дает им права перейти в следующий класс), не столь уж сильно отличаются от учеников, у которых 60 % от максимальной суммы баллов (проходной балл). Если для тех, кто провалил экзамены по итогам полугодия, организовать некую программу обучения (например, обязательная подготовка к выпускным экзаменам под руководством преподавателя), то у нас появились бы приемлемые подопытная и контрольная группы, где бы мы сравнили результаты выпускных экзаменов тех, кто недобрал самую малость до проходного балла (и получил возможность готовиться под руководством преподавателя), с результатами тех, кто едва превысил проходной балл в ходе сдачи экзаменов по итогам полугодия (и не пользовался помощью преподавателя).