Голая статистика. Самая интересная книга о самой скучной науке

Уилан Чарльз

Даже к результатам клинических испытаний, которые обычно представляют собой статистические эксперименты и, следовательно, являются «золотым стандартом» медицинских исследований, следует относиться с изрядной долей скептицизма. В 2011 году газета The Wall Street Journal разместила на первой странице материал, который охарактеризовала как один из «грязных маленьких секретов» медицинских исследований: «Большинство результатов, в том числе и публикуемых в солидных научных периодических изданиях, рецензируемых коллегами авторов статей, невозможно воспроизвести повторно» {83} . (Речь идет о публикациях, предварительно проверяемых с точки зрения их методологической надежности другими экспертами в той же области; лишь после такой проверки материал отправляется в печать. Такие публикации принято считать заслуживающими особого доверия с научной точки зрения.) Одна из причин этого «грязного маленького секрета» – систематическая ошибка позитивной публикации, описанная в главе 7. Если исследователи и медицинские журналы склонны обращать внимание на позитивные результаты

и игнорировать негативные, то они вполне могут опубликовать итоги исследования, свидетельствующие об эффективности некоего лекарства, и проигнорировать девятнадцать других исследований, доказывающих его бесполезность. Некоторые клинические испытания могут также основываться на небольших выборках (что бывает обусловлено объективными факторами, например редко встречающейся болезнью), что повышает вероятность того, что случайное отклонение в данных привлечет к себе больше внимания, чем оно того заслуживает. Самое главное – у исследователей может быть предубеждение (осознаваемое или нет), вызванное или непоколебимой уверенностью в чем-либо, или пониманием того, что позитивный результат будет способствовать их научной карьере. (Никто еще не разбогател и не стал знаменитым, доказав, что то или иное лекарство не излечивает от рака.)

83

Gautam Naik, Scientists’Elusive Goal: Reproducing Study Results, Wall Street Journal, December 2, 2011.

В силу всех перечисленных причин количество экспертных исследований, результаты которых оказались ошибочными, очень велико. Джон Иоаннидис, греческий врач-эпидемиолог, проанализировал итоги сорока девяти исследований, опубликованных в трех солидных медицинских журналах {84} . Каждое из них цитировалось в медицинской литературе не менее тысячи раз. Тем не менее примерно треть результатов впоследствии была опровергнута дальнейшими экспериментами. (Например, некоторые из исследований, проанализированных Иоаннидисом, доказывали эффективность упоминавшейся выше терапии путем замещения эстрогена.) По оценкам д-ра Иоаннидиса, выводы примерно половины опубликованных научных статей в конце концов оказываются ошибочными {85} . Его исследование было опубликовано в Journal of the American Medical Association, одном из журналов, в которых печатались проанализированные им статьи. Из этого следует забавный парадокс: если исследование д-ра Иоаннидиса верно, то вполне вероятно, что его исследование ошибочно.

84

John P. A. Ioannidis, Contradicted and Initially Stronger Effects in Highly Cited Clinical Research, Journal of the American Medical Association 294, no. 2 (July 13, 2005): 218–28.

85

Scientific Accuracy and Statistics, Economist, September 1, 2005.

Регрессионный анализ по-прежнему остается потрясающим статистическим инструментом. (Похоже, мои эпитеты в его адрес заставляют относиться к нему как к «волшебному эликсиру», о котором я упоминал в предыдущей главе. Разумеется, мои слова не лишены некоторого преувеличения.) Он позволяет выявлять важные закономерности в крупных совокупностях данных, которые зачастую оказываются ключом к серьезным исследованиям в медицине и социальных науках. Статистика предоставляет нам объективные стандарты для оценивания этих закономерностей. Регрессионный анализ, при надлежащем использовании, – значимая составляющая научного метода. Считайте эту главу предупреждением, к которому обязательно нужно прислушаться.

Все конкретные предостережения, о которых шла речь в этой главе, можно свести к двум ключевым положениям. Во-первых, создание эффективного уравнения регрессии – то есть определение, какие переменные нужно проанализировать и что должно быть источником соответствующих данных, – важнее самих статистических вычислений. Этот процесс называется оцениванием адекватности уравнения или выбором правильного уравнения регрессии. Лучшие исследователи – те, кто может путем логических умозаключений решить, какие переменные включить в уравнение регрессии, какие проигнорировать и как следует интерпретировать конечные результаты.

Во-вторых, как и большинство других статистических выводов, регрессионный анализ выстраивает лишь некую версию, основанную на косвенных доказательствах. Зависимость между двумя переменными подобна отпечаткам пальцев, оставленным на месте преступления. Она указывает на преступника, но одних лишь отпечатков недостаточно, чтобы осудить человека. (К тому же они могут ему не принадлежать.) Любой регрессионный анализ нуждается в теоретическом обосновании. Почему в уравнение регрессии включены именно эти объясняющие переменные? Какие явления из других областей могут объяснить наблюдаемые результаты? Например, почему мы считаем, что красные туфли у экзаменуемых способствуют значительному улучшению результатов сдачи школьных экзаменов или что употребление попкорна помогает предотвратить рак простаты? Соответствующие результаты должны быть повторно воспроизводимыми или по крайней мере не должны противоречить итогам других исследований.

Даже волшебный эликсир может не оказать должного эффекта, если не пользоваться им так, как предписано.

13. Программы статистического оценивания

Изменит ли вашу жизнь поступление в Гарвардский университет

Блестящие исследователи в области социальных наук блестящие

вовсе не потому, что умеют выполнять в уме сложные вычисления и выигрывают в телевикторине Jeopardy [71] больше денег, чем обычные исследователи (хотя, возможно, они преуспели и в том и в другом). Блестящие исследователи – это те, кто существенно меняет наши знания и представления о мире и находит творческие способы проведения управляемых экспериментов. Чтобы измерить чье-либо влияние, нам требуется нечто такое, относительно чего мы будем выполнять измерение. Как сказалось бы на вашей жизни поступление в Гарвардский университет? Чтобы ответить на этот вопрос, вам нужно знать, что произойдет после того, как вы поступите в Гарвардский университет, и что произойдет после того, как вы в него не поступите. Очевидно, вы не можете располагать данными для обоих случаев. Тем не менее умные исследователи находят возможность сравнить то или иное «воздействие» (например поступление в Гарвардский университет) с его противоположным сценарием.

71

Русский аналог этой телевикторины называется «Своя игра». Прим. перев.

Чтобы проиллюстрировать это положение, давайте поразмышляем над казалось бы простым вопросом: приведет ли к снижению преступности увеличение количества полицейских на улицах? Это социально значимый вопрос, поскольку преступность обходится обществу слишком дорого. Если рост числа полицейских на улицах позволит ее снизить (либо потому, что окажется сдерживающим фактором для преступников, либо за счет поимки большего количества «плохих парней»), то инвестиции в наращивание численности полицейских могут обернуться большой выгодой для общества. С другой стороны, рост числа полицейских – весьма дорогостоящее удовольствие; и если эта мера не даст нужного результата или он будет совсем незначительным, то общество может пожалеть о том, что не нашло более эффективного применения своим ресурсам (например, внедряя современные технологии борьбы с преступностью, такие как видеокамеры наблюдения).

Проблема в том, что ответить на этот вроде бы простой вопрос о последствиях наращивания численности полицейских на улицах не так уж просто. На основании прочитанного к данному моменту материала вы должны это признать, по крайней мере мы не можем ответить на него исходя из информации о тех населенных пунктах, где число полицейских на душу населения существенно превышает средний показатель. Цюрих – не Лос-Анджелес. Даже сравнение крупных американских городов окажется совершенно некорректным: Лос-Анджелес, Нью-Йорк, Хьюстон, Майами, Детройт и Чикаго – слишком разные города с разным демографическим составом населения и разными проблемами, порождающими преступность.

Нашим обычным подходом было бы попытаться определить уравнение регрессии, в котором учитывались бы все эти различия. Но увы, даже множественный регрессионный анализ здесь не поможет. Если мы попробуем объяснить уровень преступности (нашу зависимую переменную) путем использования числа полицейских на душу населения в качестве объясняющей переменной (наряду с другими объясняющими переменными), то возникнет серьезная проблема с обратной причинно-следственной зависимостью. У нас есть надежное теоретическое основание полагать, что увеличение количества полицейских на улицах приведет к снижению преступности, но возможно и обратное: уровень преступности «обусловливает» рост численности полицейских, то есть в городах с повышенной криминогенной обстановкой будет больше служителей порядка. Мы легко можем обнаружить положительную – но вводящую в заблуждение – взаимосвязь между уровнем преступности и количеством полицейских: в районах, где больше всего полицейских, как правило, самый высокий уровень преступности. Аналогично, там, где больше всего медицинских работников, обычно высокий уровень заболеваемости. Разумеется, люди там болеют вовсе не потому, что там слишком много врачей; просто врачи сконцентрированы в местах, где в них существует особая потребность (с другой стороны, больные люди направляются в места, где они могут получить надлежащую медицинскую помощь). Подозреваю, что во Флориде непропорционально большое число онкологов и кардиологов; но даже если выслать половину из них за пределы Флориды, проживающие в этом штате пенсионеры здоровее не станут.

Итак, добро пожаловать в программы статистического оценивания, представляющие собой процесс, посредством которого мы пытаемся измерить результат того или иного воздействия, коим может быть все что угодно, от нового лекарства от рака до программы обеспечения занятости тех, кто бросил школу. Воздействие, о котором я веду речь, обычно называется «активированием» [72] , хотя в статистическом контексте это слово используется в более широком значении, чем в повседневной жизни. Активирование может быть воздействием в буквальном смысле (то есть медицинским вмешательством того или иного рода), или чем-то наподобие поступления в колледж, или обучением какой-либо профессии после выхода из тюрьмы. Дело в том, что мы пытаемся изолировать влияние этого единственного фактора; в идеале нам хотелось бы знать, как чувствует себя группа, получающая такое «активирование», по сравнению с абсолютно идентичной группой, которая его не получает.

72

В оригинале приведено слово treatment, которое имеет множество значений. Эти значения: обработка, решение, лечение, трактовка, активизация и др. Мы выбрали слово «активирование» как наиболее подходящее по смыслу для использования в данном тексте. Прим. ред.