Совершенное тело за 4 часа
Шрифт:
Подчищайте данные
Посмотрите на полученные графики. На них наверняка есть аномальные «выбросы» – точки, находящиеся далеко от остальных. Если они портят впечатление от препарата, просто сотрите их. А если благодаря им препарат смотрится лучше, даже если достоверность этих результатов сомнительна – оставьте.
«Лучшие из пяти… нет, из семи… нет, девяти!»
Если разница между вашим препаратом и плацебо становится значительной по прошествии четырех с половиной месяцев из шести месяцев испытаний, сразу же остановите испытания и начните обрабатывать результаты: на всякий случай, вдруг в дальнейшем ситуация изменится
Поиграйте с полученными данными
Если результаты плачевны, поищите, нет ли в группе подгрупп, в которых ситуация выглядит иначе. Возможно, вы обнаружите, что ваш препарат прекрасно действует на китаянок в возрасте от 52 лет до 61 года. «Изощренная пытка – гарантия любого признания», как говорят в Гуантанамо.
Понажимайте все кнопки и клавиши на компьютере
Если отчаетесь, безуспешно пытаясь проанализировать данные так, как планировали, и не получив желаемого результата, тогда просто попробуйте наугад обработать их с помощью самых разных программ для анализа статистических данных, даже если они в вашем случае неуместны.
После этого вам предстоит самое важное: продуманная публикация. Если испытания прошли удачно, опубликуйте результаты в самом крупном журнале, какой вам доступен. Если испытания оказались позитивными, но подтасовки при получении результатов будут очевидны каждому, поместите результаты в каком-нибудь малоизвестном журнале (который издают, пишут и редактируют исключительно «свои люди»). Помните: только что описанные трюки ничего не скрывают, их заметит каждый, кто прочтет вашу статью, но лишь при внимательном прочтении, значит, в ваших интересах позаботиться о том, чтобы читатели ограничивались краткой аннотацией. И наконец, если вам по-настоящему стыдно за свои результаты, спрячьте их куда-нибудь и ссылайтесь на «данные в электронном виде». Никто не узнает, какими методами вы действовали, такая опасность возникнет лишь в том случае, если кто-нибудь начнет слезно выпрашивать у вас данные для систематического обзора. Если повезет, это случится очень не скоро.
Медленноуглеводная диета и 194 человека
Представленные далее данные по медленноуглеводной диете были собраны с помощью подробных опросников на сайте CureTogether.com. На все вопросы ответило 194 человека, 58 % указали, что эта диета стала первой, которой им удалось строго придерживаться.
Набор участников эксперимента проводился через мой блог (www.fourhourblog.com), Twitter (www.twitter.com/tferris) и Facebook (www.facebook.com/timferriss).
Количество респондентов в зависимости от потери веса
(Потенциальные) недостатки данных
Эти данные, несмотря на всю их примечательность, не идеальны. Вот два самых заметных изъяна методологии и опросов в целом:
Среди участников могут быть фантазеры
Мы исключили явные повторы, «мусор» («я сбросил 295 кг!», «в самом начале я весил 16 кг» и т. п.) и пометили сомнительные ответы, но никто не просил отвечавших предъявить документы и не навещал их лично. Этой проблемы трудно избежать в неконтролируемых испытаниях.
Во внимание не приняты выбывшие – те, кто пытался следовать диете и не смог.
В проанализированных 3000 комментариев к моему блогу количество отзывов о неудачах составляло 3–5 %, и можно ожидать, что на самом деле их было еще больше. Из 194 респондентов, принявших участие в исследовании, лишь четверо набрали вес или сохранили первоначальный. Напоминаю: к этим респондентам обращались после того, как они оставляли комментарии к посту в блоге или реагировали на сообщения в Twitter или Facebook. Проблема выбывших указывает на общий недостаток публичных опросов: с наибольшей вероятностью на вопросы отвечают те, кто добился положительных результатов [195] . Это одна из форм «систематической ошибки выжившего», с которой стоит разобраться.
195
За исключением случаев, когда мы имеем дело с жалобами в службу работы с клиентами, – тогда появляется стимул: после факта обращения что-нибудь может измениться к лучшему.
Обращаете внимание на среднюю доходность паевых фондов за прошлый год, чтобы выбрать из них лучший? Не забывайте, что перед вами «выжившие». Потери, которые Нассим Талеб называет «безмолвными свидетелями», невозможно зафиксировать путем опросов – опрашивать некого. «Средняя» доходность не так впечатляет, если принять во внимание тех, кто рискнул всем и проиграл. Обнаружить этих «убитых» нелегко, особенно в финансовой сфере, где так много причин скрывать эти цифры.
Значит ли это, что с практической точки зрения наши результаты диеты – фальшивка? Вовсе нет. Возможность систематической ошибки выжившего еще не доказывает, что эти цифры нерепрезентативны. Следует помнить:
1. На основании всех доступных эмпирических отчетов по диете доля неудач не должна превышать 5 %. Это невероятно по любым традиционным меркам, относящимся к строгости соблюдения диеты.
2. Почти все неудачи, о которых было сообщено, объяснялись несоблюдением инструкций.
Если включить в окончательные результаты только данные по людям, которые в точности следовали указаниям и сообщали о своем прогрессе, уровень успеха ближе к 100 %, чем в любом другом известном мне случае.
Оценка результатов
Как следует интерпретировать полученные данные? Как планировать или менять свое питание на основании этих результатов? Посмотрим, где именно мы можем допустить наиболее распространенные ошибки. Это практическое применение нашего курса для начинающих по выявлению псевдонауки.
При первом взгляде на данные можно сделать вывод, что несколько элементов программы приводят к более значительной потере жира, особенно если данные представлены нам в виде внушительных графиков, на которых недостает важных деталей.
Средняя потеря веса в зависимости от количества приемов пищи в сутки
Вот несколько напрашивающихся неожиданных выводов о факторах, приводящих к более значительной потере веса, – выводов, которые мы могли бы сделать на основании представленных данных (выделены жирным шрифтом):
Всего два приема пищи в сутки; пятиразовое питание – второй по эффективности режим питания (потеря в среднем 18 кг и 10 кг).