Том13. Абсолютная точность и другие иллюзии. Секреты статистики
Шрифт:
* * *
ЗНАЧИМЫЕ И ВАЖНЫЕ РАЗЛИЧИЯ
При сравнительном анализе самое главное — определить, являются ли наблюдаемые различия значимыми или нет. Именно в этом заключается цель всех статистических тестов. Может показаться, что это противоречит здравому смыслу, но если различия являются значимыми, то это не означает, что они важные.
Различия называются значимыми, когда считается, что они не являются случайными, и два рассматриваемых способа лечения действительно дают разные результаты. Однако мы можем быть уверены, что они действительно дают разные результаты, даже если эта разница будет незаметна на практике.
Например, эксперимент может показать, что один клей приклеивает лучше другого, но разница между ними практически незаметна. Может
* * *
Чтобы этого не произошло, подобные исследования проводятся так, чтобы ни пациент, ни врач не знали, кто принимает настоящее лекарство, а кто — плацебо. Именно поэтому этот метод называется двойным слепым методом. Однако и при формировании контрольной группы, получающей плацебо, также присутствуют определенные трудности. Одна из их — сложность организации эксперимента. В случае с вакциной Солка требовалось приготовить инъекции с вакциной, идентичные тем, что содержали только соляной раствор. Далее их нужно было пронумеровать и проконтролировать, инъекцию какого типа получает пациент. При этом ни персонал, вводивший инъекцию, ни лечащий врач не должны были знать, какой именно препарат вводится пациенту.
Еще одна проблема лежит в области этики. Некоторые полагали, что неразумно вводить детям соляной раствор вместо вакцины, которая, как считалось, была достаточно эффективной. В качестве альтернативы было предложено вводить вакцину детям, которые учились во втором классе, а учеников первого и третьего класса использовать в качестве контрольной группы. В этом случае нарушался основной принцип двойного слепого метода, однако примерно в половине штатов, где проводился эксперимент, был использован именно этот способ. В остальных штатах контрольные группы получали плацебо.
Необходимость в выборке очень большого размера
Доля заболевших составляла всего 50 человек на 100 000. Ожидалось, что применение вакцины позволит сократить число заболевших вдвое. Очевидно, что проведение экспериментов с малыми группами было невозможным. Если бы, например, мы ввели вакцину 1000 детей, а еще 1000 использовали в качестве контрольной группы, то, скорее всего, ни в одной группе не было бы ни одного заболевшего и эксперимент не имел бы смысла. Если бы численность каждой группы составляла 10 000 человек, могло случиться так, что в контрольной группе заболели 5 человек, в группе получивших вакцину — 2 человека. Эта разница столь мала, что ее можно назвать случайной (отвергнуть нулевую гипотезу о том, что доля заболевших в каждой группе одинакова, в этом случае нельзя). Было необходимо, чтобы численность групп составляла несколько сотен тысяч человек, чтобы результаты можно было считать достоверными. Требовался крупномасштабный эксперимент.
Результаты
Эффективность вакцины полностью подтвердилась. В вакцинированной группе число заболевших было в два с лишним раза меньше, чем в группе, которой вводилось плацебо. Использованное в эксперименте p-значение имело порядок 10-9. Иными словами, вероятность того, что число заболевших в обеих группах случайно оказалось бы одинаковым, равнялась 1 на миллиард.
Результаты в тех регионах, где в качестве контрольных групп использовались школьники старших и младших классов, оказались аналогичными. Все были довольны тем, как был проведен эксперимент, ведь результаты оказались даже лучше, чем ожидалось. Число заболевших среди вакцинированных оказалось заметно меньше, но если бы в эксперименте не использовалась контрольная группа, которой вводилось плацебо, эксперимент не помог бы окончательно развеять все сомнения, а его результаты можно было бы трактовать по-разному.
Роль статистики.
Вакцина Солка позволила совершить шаг вперед в борьбе с полиомиелитом, но результаты ее использования все еще были не вполне удовлетворительны, и через несколько лет на смену ей пришла другая, более эффективная вакцина. Перед началом массового применения были должным образом проведены необходимые статистические исследования. Сегодня полиомиелит практически исчез. В настоящее время вспышки полиомиелита отмечаются всего в четырех странах мира: Нигерии, Индии, Пакистане и Афганистане. Всемирная организация здравоохранения, ЮНИСЕФ и другие международные организации предпринимают усилия по борьбе с полиомиелитом в этих странах. По их оценкам, очень скоро перестанут отмечаться новые случаи этого заболевания. Через три года после того, как это произойдет, будет официально объявлено об исчезновении полиомиелита.
В 1983 году в США было проведено крупномасштабное исследование для оценки влияния аспирина на сердечно-сосудистые заболевания. Анализ малых групп показал, что прием аспирина может снизить вероятность повторного сердечного приступа. Однако не было никаких доказательств того, что этот положительный эффект аспирина распространяется на всех.
Для участия в эксперименте было приглашено 261 248 врачей мужского пола старше 40 лет, данные о которых были взяты из реестра Американской медицинской ассоциации. 59 285 человек выразили согласие участвовать в эксперименте. Из их числа следовало исключить людей со сложной историей болезни, тех, кто уже принимал аспирин, а также тех, у кого наблюдались побочные эффекты от аспирина. В итоге был отобран 22 071 врач. Все они были здоровы и не находились в группе риска. Им было предписано принимать по 325 мг аспирина (или плацебо) раз в два дня.
Одновременно с исследованием влияния аспирина был изучен эффект бета-каротина (химического соединения, которое в нашем организме преобразуется в витамин А) при определенных типах рака. Испытуемые были случайным образом разделены на четыре группы: члены первой группы принимали аспирин и бета-каротин, второй группы — аспирин и плацебо бета-каротина, третьей группы — плацебо аспирина и бета-каротин, четвертой группы — плацебо аспирина и плацебо бета-каротина.
Лекарства, которые принимали четыре группы участников эксперимента. Все таблетки выглядели одинаково. Звездочкой отмечены таблетки-плацебо.
Несмотря на строгие критерии отбора участников эксперимента, они отличались по возрасту, истории болезни, характеру, некоторые из них курили. Следовательно, требовалось очень внимательно разделить участников эксперимента на четыре группы случайным образом, так как только таким способом можно было гарантировать общую схожесть групп по составу. Можно возразить, что большинство людей, находившихся в предынфарктном состоянии, случайным образом попали в одну из групп. Однако, согласно теории вероятности, если распределение проводилось действительно случайным образом, то вероятность подобного исхода в большой группе ничтожна.
Так как состав всех четыре групп схож и все испытуемые находились под влиянием одинаковых внешних условий, существенные различия в результатах групп, выходящие за рамки случайного отклонения, объясняются только разным действием принимаемых лекарств. Именно такова логика экспериментов, в которых сравнивается действие различных лекарств на случайной выборке.
Использовался двойной слепой метод, то есть ни пациенты, ни лица, наблюдающие за ними, не знали, какое лекарство принимает тот или иной пациент. Наблюдательный комитет анализировал результаты каждые полгода. Хотя изначально планировалось, что эксперимент продлится семь лет, спустя пять лет после его начала он был прекращен: положительный эффект аспирина оказался столь существенным, что было принято решение как можно скорее оповестить об этом и участников эксперимента, и всех врачей страны.