Это злая разумная опухоль
Шрифт:
Я не буду закапываться в подробности; почитайте источники, если вам интересны практические моменты. Но, говоря в общем, мне нравится то, что задумал сделать Бем. Он взял классические, давно испытанные психологические тесты – и просто провел их задом наперед. Например, наши воспоминания о каких-то предметах обычно сильнее, если нам довелось с этими предметами взаимодействовать. Если кто-то покажет вам кучу картинок, а потом попросит, скажем, систематизировать часть из них по цвету, вам будет легче вспомнить те, что вы систематизировали, чем остальные, когда впоследствии вам снова продемонстрируют весь набор (это называется «прайминг»). Так что будет, задался вопросом Бем, если вас протестируют на этих картинках до того, как попросят с ними взаимодействовать? Если вы отреагируете преимущественно на те, с которыми еще не имели дела, однако будете иметь дело когда-нибудь в будущем, значит, вы создали
Я оставлю конкретные протоколы каждого эксперимента на самостоятельное чтение тем, кто хочет полазать по ссылкам, однако в целом подход был простым. Взять устоявшийся причинно-следственный тест; провести его задом наперед; если показатели предпрайминга выше случайных, засчитать это как победу. Бем также заявил, что с эволюционной точки зрения секс и смерть должны быть мощными мотиваторами. В саваннах плейстоцена редко попадались казино и фондовые биржи, а вот знание (пусть и безотчетное), что через десять минут кто-то попытается тебя сожрать – или что в ближайшем будущем тебе встретится потенциальный половой партнер, – что ж, оно определенно предоставило бы тебе эволюционное преимущество над тем, кто не был экстрасенсом. Поэтому Бем использовал пугающие или эротические картинки, надеясь повысить вероятность значимых результатов.
Заметим также, что тысяча-или-около-того участников его эксперимента изначально не знали, что делают. Не было никаких явных испытаний на экстрасенсорику, никаких карточек со звездами или волнистыми линиями. Эти люди знали только, что должны догадаться, в какой части скрытого от них монитора находится картинка. Им не говорили, что на ней изображено.
Когда картинка была нейтральной, их выбор был чисто случайным. А вот когда она была порнографической или страшной, они угадывали чаще, чем промахивались. Результат был незначительным: мы говорим о примерно 53 % попаданий вместо ожидаемых 50 %. Однако, согласно статистике, результат наблюдался в восьми из девяти экспериментов.
Конечно, сейчас все кому не лень выискивают в экспериментах дыры. Это нормально; это наша обязанность – так все и работает. Возможно, самая серьезная претензия, та единственная, что имеет значение, – никто пока не смог повторить результаты Бема. Это гораздо важнее, чем отдельные придирки, звучавшие в последние несколько дней, – отчасти хотя бы потому, что некоторые из этих придирок выглядят, ну, довольно глупо. (Сам Бем отвечает на некоторые нападки Олкока.) [25]
25
http://www.csicop.org/specialarticles/show/response_to_alcocks_back_from_the_future_comments_on_bem
Давайте по-быстрому пройдемся по некоторым методологическим обвинениям, которые выдвигали люди: «Методология Бема не была последовательной. Бем логарифмически преобразовывал данные; о-о-о, наверное, он это делал потому, что непреобразованные данные не давали ему нужные результаты. Бем провел несколько тестов, не делая поправку на то, что чем больше тестов ты проводишь на одной выборке, тем выше шанс случайно получить значимые результаты». Вот лишь несколько.
Может быть, моя подготовка полевого биолога заставляет меня быть более снисходительным к таким вещам, но я не считаю корректировку методов особенно возмутительной, когда это делается, чтобы адаптироваться под новые данные. Например, Бем обнаружил, что мужчины слабее, чем женщины, реагируют на уровень эротики в его изначальной подборке порно (чему, будучи мужчиной, я охотно верю: обложки любовных романов из серии Harlequin меня вообще не возбуждают). Поэтому для участников-мужчин он поднял рейтинг изображений с R до XXX. Полагаю, он мог бы и дальше использовать нестимулирующие изображения, даже осознав, что они не работают, точно так же, как ихтиолог мог бы продолжать использовать ту же самую сеть, даже обнаружив, что ячейки в ней слишком крупные для поимки того вида, который он изучает. В обоих случаях методология была бы «последовательной». А еще это была бы пустая трата времени.
Также Бема критиковали за использование тестов на статистическую значимость (т. е. он задавал вопрос «какова вероятность, что эти результаты – всего лишь случайность?»), а не байесовских методов (т. е. «если наша гипотеза верна, каковы шансы получить эти конкретные результаты?»). (Кэри приводит хорошую сравнительную графику для этих двух подходов в New York Times) [26] . Подозреваю, что этот упрек может быть справедлив. Мои претензии к байесовским методам в том, что они берут за отправную точку твое собственное предвзятое мнение: ты с самого начала можешь выбрать вероятность того, что телепатия существует, и вероятность того, что это не так. Если данные будут противоречить выбранной вероятности, теорема чуть подправит ее, чтобы при следующем повторении эксперимента она больше соответствовала полученным данным; но очевидно, что если, по вашему изначальному предположению, есть 99,9999999999 % вероятности, что предвидение – это чушь собачья, то потребуется гораздо больше данных, чтобы изменить это число, чем если вы начинаете с чушевероятности всего в 80 %. Вагенмакерс и др. привязывают это к знаменитому высказыванию Лапласа: «Экстраординарные утверждения требуют экстраординарных доказательств» (к которому мы вернемся под конец поста), однако это можно сформулировать и иначе – чем сильнее предрассудок, тем сложнее от него избавиться. А Байес по определению использует предрассудок в качестве стартовой площадки.
26
http://www.nytimes.com/2011/01/11/science/11esp.html
Вагенмакерс и др. прогнали цифры Бема через байесовские техники, начиная со стандартных «базовых» значений изначальных вероятностей (какие именно это были значения, они не сказали, хотя и сослались на источник). Они нашли «значимые» подтверждения предвидения (Гипотезы1) лишь в одном из девяти экспериментов Бема и «значимые» подтверждения его отсутствия еще в двух (они утверждают, что в трех, но, кажется, почему-то рассмотрели шестой эксперимент Бема дважды). Потом они прогнали те же данные повторно, используя различные стартовые значения, отличавшиеся от «базовых», просто чтобы убедиться, и заключили, что их выводы обоснованны. За деталями этого анализа они отсылают читателя к выложенному онлайн приложению. Я не могу показать вам график, который там можно найти (по остающимся неясными причинам Tachyon до странного неохотно соглашается нарушать закон об авторском праве), но подпись к нему в том числе гласит:
«Результаты, подтверждающие Гипотезу1,
не убедительны нигде, за исключением,
возможно, нижней правой панели».
Позвольте мне решительно заявить, что неискренность этого «возможно» граничит с откровенной ложью. Нижняя правая панель вне всяких сомнений подтверждает Гипотезу1. И даже если предположить, что эти ребята попали в точку со всей своей критикой; даже если предположить, что они успешно разнесли в пух и прах восемь из девяти претензий Бема на значимость, – они своими же расчетами подтверждают, что доказательство реальности предвидения существует. И тем не менее не могут заставить себя признать это, даже в подписи, которой противоречит их собственный график.
В какой-то степени именно решение Бема сделать свою работу легко повторяемой повесило ему на грудь эту конкретную мишень. Он избрал методы, широко известные и утвердившиеся в исследовательском сообществе; он категорически отверг мудреную статистику, предпочтя ей простую, с которой было бы удобно иметь дело другим социологам. («С байесианской точки зрения было бы логичнее поверить в то, что в дебрях сложной экспериментальной процедуры или незнакомого статистического анализа кроется некая неизвестная ошибка или артефакт, чем в то, что была продемонстрирована подлинная экстрасенсорика, – пишет он. – Ввиду этого необходимыми орудиями убеждения стали простота и известность».) Предвидя, что у некоторых могут вызвать вопросы предположения о характере распределения, лежащие в основе t-тестов, он логарифмически преобразовал свои результаты, чтобы нормализовать их перед анализом; это и вдохновило Вагенмакерса и др. на мрачные размышления о том, «какими были непреобразованные показатели времени реакции – показатели, о которых не сообщалось». Бем также прогнал данные через непараметрические тесты, при которых не делается никаких предположений о характере распределения; из-за этого Олкок жалуется на необъясненные избыточные тесты, ничего не добавляющие к анализу (несмотря на то, что Бем открытым текстом изложил свою мотивацию), и на использование множества тестов без поправки на увеличенные шансы ошибочных результатов.
Последнее замечание верно в принципе, но не в данном случае. Каждый аспирант знает то отчаянное замирание в груди, которое возникает, если в результатах не прослеживается никаких закономерностей; искушение проводить бесконечные тесты и пересчеты в надежде, что – господи, пожалуйста – появится хоть что-то. Но у Бема уже были значимые результаты; он использовал альтернативные методы анализа на случай, если эти результаты были в чем-то артефактными, и продолжал получать значимые результаты вне зависимости от того, с какой стороны подходил к проблеме. Там, откуда я родом, обычно считается хорошим знаком, если разные подходы дают один и тот же результат.