Голая статистика. Самая интересная книга о самой скучной науке
Шрифт:
Думаю, никакой. И тому есть две причины. Во-первых, нет ни одной научно обоснованной причины полагать, что увлечение видеоиграми способствует развитию рака толстой кишки, а потому не совсем понятно, зачем вы проводили свое исследование. Во-вторых, тот факт, что некий фактор не препятствует заболеванию раком, не представляет научной ценности. В конце концов, многие вещи этому не препятствует. Негативные результаты не производят особого впечатления – ни в медицине, ни где бы то ни было.
А теперь допустим, что один из ваших приятелей, вместе с которым вы оканчивали магистратуру, провел другое повторное исследование и выяснил, что среди тех, кто много играет в видеоигры, заболевание раком толстой кишки встречается реже. А вот это уже гораздо интереснее! Результаты именно такого рода привлекают повышенное внимание медицинских журналов, популярной
Разумеется, согласно важному положению в статистике, необычные явления происходят довольно редко и, как правило, в результате случайного стечения обстоятельств. В одном из 100 аналогичных исследований наверняка обнаружатся нелепые результаты типа взаимозависимости между увлечением видеоиграми и меньшей заболеваемостью раком толстой кишки. Проблема в том, что результаты 99 исследований, которые не выявили такую связь, опубликованы не будут, поскольку малоинтересны. А вот единственное исследование, которое ее обнаружит, попадет в печать и привлечет к себе повышенное внимание. Источником данной систематической ошибки является не исследование как таковое, а сомнительная информация, которая фактически становится достоянием широкого круга читателей. Тот, кого интересует литература о видеоиграх и заболеваемости раком толстой кишки, найдет публикацию лишь о единственном исследовании, и в ней будет утверждаться, что увлечение видеоиграми предотвращает заболевание раком. Хотя на самом деле результаты 99 исследований из 100 свидетельствуют об отсутствии какой-либо связи.
Да, мой пример несколько абсурден, однако данная проблема вполне реальна и довольно серьезна. Вот первое предложение из статьи в The New York Times, в которой говорится о систематической ошибке публикации, касающейся лекарств от депрессии: «Производители антидепрессантов, таких как Prozak и Paxil, никогда не публиковали результаты примерно трети испытаний своих лекарств, проводившихся, чтобы получить одобрение государственных контролирующих органов. Таким образом производители антидепрессантов вводили в заблуждение врачей и пациентов относительно подлинной эффективности этих препаратов» {54} . Оказывается, были обнародованы данные о 94 % исследований с положительными результатами, касающимися эффективности этих лекарств, и лишь о 14 % исследований с отрицательными результатами. Для пациентов, страдающих депрессией, это крайне важно. Если бы были оглашены результаты всех исследований, то оказалось бы, что в действительности антидепрессанты лишь немногим лучше любого плацебо.
54
Benedict Carey, Researchers Find Bias in Drug Trial Reporting, New York Times, January 17, 2008.
Чтобы справиться с данной проблемой, теперь медицинские журналы, как правило, требуют зарегистрировать любое исследование в самом начале проекта, если предполагается последующая публикация его результатов. Это предоставляет редакторам определенные свидетельства о соотношении позитивных и негативных исходов. Если, например, зарегистрировано 100 исследований по анализу влияния катания на роликовой доске (скейтборде) на развитие сердечно-сосудистых заболеваний, и лишь одно из них будет в конечном счете представлено для публикации с положительными результатами, то редакторы могут заключить, что в ходе других исследований получены отрицательные результаты (или по крайней мере проверить такую вероятность).
Систематическая ошибка памяти. Наша память – восхитительный дар, правда, далеко не всегда источник достоверных данных. Человеку свойственно воспринимать настоящее как логическое следствие прошедших событий. Иными словами, человек интуитивно пытается находить причинно-следственные связи. Проблема в том, что наша память оказывается «систематически хрупкой», когда мы пытаемся объяснить какой-либо особенно хороший или плохой результат в настоящем. Рассмотрим исследование, авторы которого пытаются выявить связь между рационом питания и раковыми заболеваниями. В 1993 году один из ученых Гарвардского университета собрал данные о группе женщин, страдающих раком груди, и информацию о группе женщин примерно того же возраста, у которых рак не был диагностирован. Женщин в обеих группах спросили об особенностях
Да, но это исследование вовсе не ставило перед собой задачу определить влияние рациона питания на вероятность развития раковых заболеваний! Оно было призвано определить, как заболевание раком влияет на память женщины о ее питании в прежние годы. Все женщины-участницы заполнили анкету, где спрашивалось об особенностях их питания, за много лет до того, как у кого-то из них был диагностирован рак. Самое интересное, что женщины, страдающие раком груди, вспомнили, что употребляли гораздо больше жиров, чем это было на самом деле, тогда как в воспоминаниях здоровых женщин существенных отклонений от реального рациона их питания в молодости не обнаружилось. Журнал The New York Times Magazine так описал скрытую природу этой систематической ошибки памяти:
Диагностирование рака груди не изменило настоящее и будущее женщины; оно изменило ее прошлое. Женщины, страдающие раком груди, решили (подсознательно), что пища с повышенным содержанием жиров, вероятно, обусловила их предрасположенность к раковым заболеваниям, и «вспомнили», что их рацион в молодости отличался повышенным содержанием жиров, хотя на самом деле это было не так. Подобный образ мышления знаком каждому, кто знает историю этого пользующегося дурной славой заболевания: эти женщины, как и тысячи женщин до них, искали в своих воспоминаниях причину заболевания и затем внедряли ее в память {55} .
55
Siddhartha Mukherjee, Do Cellphones Cause Brain Cancer? New York Times, April 17, 2011.
Наличие такой систематической ошибки памяти – одна из причин, почему ученые чаще предпочитают проводить повторные исследования, а не исследования типа «поперечный срез». В случае повторного исследования сбор данных выполняется на протяжении всего времени его проведения. В пятилетнем возрасте участника спрашивают о его отношении к школе. Затем, спустя тринадцать лет, мы можем наведаться к нему и выяснить, не бросил ли он школу досрочно. При проведении исследования «поперечный срез» все данные собираются одномоментно, и, спрашивая восемнадцатилетнего парня, бросившего школу, как он к ней относился в пятилетнем возрасте, мы вряд ли получим правдивый ответ.
Систематическая ошибка доживаемости до определенного возраста. Допустим, директор школы сообщает, что на протяжении четырех лет результаты экзаменов определенной группы учащихся неизменно улучшаются. Оценки второклассников лучше оценок первоклассников, а баллы третьеклассников еще лучше, чем у второклассников, ну и самые выдающиеся результаты демонстрируют ученики четвертого класса. Предполагается, что в данном случае отсутствуют какие-либо манипуляции с сознательным завышением оценок, а также с «творческим» применением описательных статистик. Каждый год эта группа становится все более успешной, какими бы показателями мы ни пользовались: средним, медианой, процентом учащихся, перешедших в следующий класс, и т. д.
Как бы вы поступили в подобном случае: a) присвоили директору этой школы звание «директор года» или b) потребовали бы от него дополнительных данных?
Лично я предпочел бы вариант b). У меня возникло сильное подозрение о наличии в данном случае систематической ошибки доживаемости до определенного возраста, которая возникает, когда какие-то из наблюдений выпадают из выборки, изменяя состав оставшихся наблюдений и тем самым сказываясь на результатах того или иного анализа. Допустим, что директор школы – никудышний администратор. Учебный процесс во вверенном ему заведении организован из рук вон плохо, учащиеся не приобретают никаких знаний, каждый год половина из них бросает учебу. Разумеется, это позитивно скажется на общих результатах экзаменов – притом что оценки каждого отдельно взятого учащегося не станут лучше. Если сделать вполне разумное допущение, что школу бросят самые нерадивые ученики (которые получали на экзаменах самые низкие оценки), то средний результат сдачи экзаменов оставшимися учащимися будет неуклонно повышаться по мере увеличения числа учеников, бросающих учебу. (Если собрать в одной комнате людей разного роста, а затем попросить «коротышек» выйти из комнаты, то средний рост оставшихся увеличится, хотя каждый из них в отдельности не стал выше.)