Обман в науке
Шрифт:
Например, исследование показало достоверное увеличение содержания витамина в крови после его приема, что в общем-то не впечатляет, но ничего не подозревающему читателю преподносится как положительный результат исследования. Или исследование может продемонстрировать, что изменились другие показатели крови, например уровень какого-то из компонентов иммунной системы, что популярными диетологами опять же будет преподнесено как доказательство реального положительного эффекта.
Однако при использовании таких суррогатных следствий возникают проблемы. Они часто очень слабо связаны с реальной болезнью с помощью абстрактной теоретической модели и проявляются в идеализированном мире чистых генетических линий лабораторных животных, живущих под жестким физиологическим контролем. Суррогатный результат, конечно, можно использовать для создания и изучения
Использовать суррогатные данные бывает небесполезно, но те, кто в курсе, обычно осторожны. Ранние теоретические работы изучать интересно, но часто их смысл сводится к фразе «Новое может быть сложнее старого…». Вы можете понять значение суррогатного результата, если прочитаете о нем все материалы самостоятельно или если полностью уверены в том, что человек, заявляющий о валидности исследования, достаточно компетентен и дает честные оценки всех исследований в этой области и т. д.
Такие же проблемы возникают с данными, полученными на животных: они, несомненно, полезны в теоретической области, для разработки гипотез и определения рисков, но нужно соблюдать осторожность. Однако популярные диетологи в стремлении высказать советы по образу жизни слишком часто не видят проблем при переносе этих изолированных теоретических данных на людей, и можно подумать, что они просто перелопачивают Интернет, чтобы найти там немножко науки, которая поможет продать их таблетки и советы. И ткани, и заболевания лабораторного животного отличаются от тканей и заболеваний человека, а если мы говорим о клетках в лабораторной посуде, эти отличия еще значительнее. Если животному дать слишком большое количество вещества, то это может изменить метаболизм и дать некорректные результаты и т. д. Если вещество может повысить или понизить уровень чего-нибудь на модели, это не означает, что вы получите ожидаемый результат на человеке. Это будет видно на шокирующей правде об антиоксидантах.
А что насчет куркумина, о котором мы говорили до того, как я попытался показать внутренний мир процесса исследования на примере этой специи? Да, есть доказательства, что куркумин, химические вещество в карри, обладает высокой биологической активностью при всех способах употребления и действует на весь организм (есть теоретические обоснования того, что он может быть и канцерогеном). Это достойная цель для исследований.
Но стоит сделать шаг назад и попытаться приложить к своему организму утверждение, что нужно есть больше карри, потому что «недавнее исследование» показало, что куркумин «прекрасно защищает от некоторых форм рака, в особенности от рака простаты». Усваивается только небольшой процент куркумина, употребляемого в пищу. Вам нужно съесть несколько граммов, чтобы получить достоверное повышение его содержания в крови, но чтобы съесть несколько граммов куркумина, нужно съесть примерно 100 граммов куркумы. Удачи! Чтобы перейти от исследования к рецепту, нужно думать гораздо больше, чем об этом говорят диетологи.
«Суть в том, чтобы дать всю информацию, которая нужна для оценки вашего вклада, а не только ту информацию, которая приведет к конкретному результату».
По результатам оценок, в мире уже опубликовано 15 миллионов медицинских статей, и 5000 журналов выходят каждый месяц. Большинство публикаций содержат противоречивые утверждения, и разобраться в том, где правда, очень сложно. Неизбежно люди будут сокращать материал. Мы полагаемся на обзорные статьи, на метаанализы, учебники, слухи или журналистские обзоры по теме.
Это в том случае, если вам нужно добраться до сути проблемы.
А если нужно просто проверить утверждение? Есть, например, несколько настолько странных мнений, что вам не удастся найти доктора наук, готового под ними подписаться; и есть в медицине несколько предположений, настолько нелепых, что вы не сможете подобрать какие-либо опубликованные экспериментальные данные, подтверждающие их, если только не будете притягивать их за уши и выбирать из обширной литературы исключительно то, что вам подходит.
Одно из крупнейших исследований по подбору фактов в академической литературе началось после статьи Лайнуса Полинга (Linus Pauling), прадедушки современной диетологии, и его основополагающей работы по приему витамина С при простуде. В1993 ГОДУ Пауль Книпшилд (Paul Knipschild), профессор эпидемиологии Университета Маастрихта, написал главу в солидный учебник «Систематические обзоры» ( Systematic Reviews): он испытал значительные трудности, рассматривая публикации времен Полинга и подвергая их тому же самому строгому разбору, который вы найдете в современной литературе.
Он обнаружил, что Полинг специально выбрал те результаты исследований, которые доказывали преимущества витамина С. Если он ссылался на исследования, не подтверждающие его теорию, то называл их методологически некорректными. Правда, как показали реальные простуды, такими же оказались и статьи, которые он щедро цитировал для подтверждения своего мнения.
В защиту Полинга можно сказать, что он жил в то время, когда люди не знали лучшего выхода, и, возможно, не понимал, что делает. Сейчас тенденциозный подбор доказательств — одна из наиболее частых сомнительных практик в альтернативной медицине, в особенности в диетологии, где он фактически считается нормальным. В действительности «тенденциозный подбор фактов» — это то, что целители называют «альтернативной парадигмой». В классической медицине это тоже встречается, но есть большая разница: здесь это считается серьезной проблемой, и ведутся поиски ее решения.
Решением является «систематический обзор». Вместо того чтобы ходить вокруг да около в онлайне и выбирать самые подходящие статьи, чтобы подтвердить свои предположения и продать продукт, в систематическом обзоре у вас есть четкая стратегия поиска данных (честно описанная в вашей статье, включая даже ключевые слова, которые вы использовали при поиске в базах данных научных статей). Вы берете характеристики всех найденных исследований, дальше (в идеале вслепую по отношению к результатам) измеряете методологическое качество каждого (чтобы понять, насколько это «справедливый тест»), дальше сравниваете альтернативы и потом даете критичное, взвешенное заключение.
Именно так поступает Кохрановское сотрудничество (Cochrane Collaboration) с любой темой по здравоохранению, которую удается найти. Иногда оно даже привлекает к работе посторонних людей, чтобы те поставили новые вопросы. Такой тщательный анализ информации заполнил крупные пробелы в знаниях, он выявил, что «лучшие методы» были иногда убийственно ошибочными, и просто с помощью анализа существующих данных Кохрановскому сотрудничеству удалось спасти больше жизней, чем вы можете вообразить. В XIX веке, как сказал доктор Мюир Грей (Muir Gray), был достигнут большой успех в обеспечении чистой, прозрачной водой; в XXI веке такой же успех нужен в обеспечении ясной, понятной информацией. Систематические обзоры — это одна из великих идей современной мысли. Это нужно отпраздновать.
Мы уже видели, какие ошибки допускают диетологи в попытках доказать их невнятные и механистичные утверждения. Будет еще забавнее, если приложить полученные данные к одному из ключевых утверждений в диетологии и вообще широко распространенному убеждению: «Нужно есть больше антиоксидантов».
Как вам известно, есть множество способов проверить, укладываются ли в общую картину найденные доказательства, и редко встречается ситуация, когда вся эта картина держится на одном кусочке информации. В случае утверждений по поводу еды необходимо учитывать множество различных факторов: допустимо ли это теоретически, соответствует ли это результатам наблюдений за людьми с разными режимами питания, соотносится ли это с данными экспериментов, когда одной группе людей назначают одну диету, а другой — другую, измеряют ли в этих исследованиях реальные результаты, например смерть, или суррогатные, например анализы крови, которые только гипотетически связаны с болезнью.