Ложь, наглая ложь и статистика. Приемы, которые помогут видеть правду за цифрами
Шрифт:
Несмотря на то что в эту ловушку попадают очень многие, названия ей так и не придумали. Я предлагаю назвать ее «преждевременным подсчетом».
Мы с женой часто об этом говорим. У нас на холодильнике стоит радио, и за завтраком мы то и дело слышим какие-то статистические утверждения, от громких политических заявлений до неожиданных результатов исследований. К примеру: «Согласно новейшему исследованию, дети, которые играют в компьютерные игры, где много насилия, с большей вероятностью будут проявлять насилие в реальной жизни». Хоть моей жене и известно, что я не все на свете знаю, она все же не может до конца избавиться от представления, что у меня в голове гигантский справочник со всей когда-либо собранной человечеством статистикой. Она спрашивает меня: «Это правда так?» Изредка случается, что я недавно занимался этой темой и знаю ответ, но гораздо чаще бывает, что я могу ответить только:
Не подумайте, что я исповедую какой-то радикальный философский скептицизм или просто хочу позлить жену. Я просто отмечаю, что не вполне понимаю, что именно стоит за этим утверждением, так что не могу (пока что) знать, правда это или нет. К примеру: что значит «игры, где много насилия»? Как насчет Пакмана? Пакман проявляет неслыханную жестокость, а именно живьем глотает других существ. Или возьмем «Space Invaders». Там можно только стрелять или стараться, чтобы тебя не подстрелили. Но, возможно, исследователи имели в виду что-то другое. Пока я не узнаю, что же они имели в виду, я мало что могу сказать.
Или, например, что значит «играют»? Может быть, детям [14] раздали анкеты, чтобы узнать, кто из них часами играет в игры, где много насилия. А может быть, они набрали волонтеров и дали им 20 минут поиграть в компьютерную игру в лаборатории, а потом каким-то способом измерили, стали ли они чаще «проявлять насилие в реальности» (опять же, что под этим имеется в виду?).
– Многие из этих исследований не измеряют насилие, – говорит Ребекка Голдин, специалистка по математике и директор STATS, проекта по статистической грамотности6. – Они измеряют что-нибудь другое, к примеру, агрессивное поведение». – А агрессивное поведение, в свою очередь, сложно измерить, так как сложно определить, что это такое. Авторы одного известного исследования компьютерных игр для того, чтобы измерить агрессивное поведение, предлагали испытуемому добавить в чужой напиток острого соуса (честное слово, я не выдумываю). Эта «парадигма острого соуса» была названа «непосредственной и недвусмысленной» оценкой агрессии. Социальная психология – не моя специализация, так что, может быть, в этом и есть какой-то смысл. Может быть. Но очевидно, что, как и в случае с младенцами, овцами и медсестрами, такие вроде бы очевидные слова, как «насилие» и «игра», предоставляют широкий простор для интерпретации.
14
И кого мы называем детьми? Тех, кому 5? 10? 16 лет?
Так же скрупулезно, как мы анализируем утверждения о фактах, нужно анализировать и политические программы. Все мы знаем, что политики намеренно говорят обтекаемо. Часто они восхваляют «справедливость», «прогресс» и «возможности», или – это меня совсем уж выводит из себя – говорят, что «предлагают эту программу, так как это единственное правильное решение». Но даже программы, которые, казалось бы, вполне конкретны, могут оказаться пустым звуком, если мы не поймем, что стоит за этим словами. Хотите выделять школам больше денег? Замечательно! Но что именно это значит: выделять больше денег на каждого ученика, или увеличивать сумму с учетом инфляции, или еще что-то?
К примеру: в 2017 в Соединенном Королевстве группа «Уходим так уходим», лоббирующая Брексит, опубликовала программный документ, призывающий к «пятилетней заморозке неквалифицированной иммиграции»8. Хорошая ли это мысль? Сложно ответить, пока мы не поймем, что именно имеется в виду. Вы, наверное, уже догадались, что следует спросить: «Что вы подразумеваете под «неквалифицированной»?
При дальнейшем рассмотрении обнаруживается, что вы неквалифицированы, если у вас нет приглашения на работу с зарплатой как минимум 35 000 фунтов, то есть за бортом остаются большинство медсестер, учителей начальной школы, техников, помощников адвоката и аптекарей. Задумка может быть хорошей или не очень, но большинство людей удивятся, узнав, что эта приостановка «неквалифицированной иммиграции» предполагает исключение учителей и медсестер реанимации9. И это была не просто какая-то бумажка: в феврале 2020 правительство Соединенного королевства объявило о новых иммиграционных ограничениях. Необходимая зарплата упала до 25 600 фунтов, но терминология «квалифицированных» и «неквалифицированных» осталась прежней.
«Преждевременный подсчет» – западня, в которую может попасться каждый: и знатоки математики, и те, кто падает духом при словах
На самом деле, если вы умеете обращаться с числами, вы с большей долей вероятности приметесь за получение продольных и поперечных срезов данных, корреляцию и регрессию, нормализацию и перерасчеты, без труда орудуя числами в электронной таблице или пакете статистических данных, – не осознавая, что вы толком и не понимаете, что стоит за всеми этими абстракциями. Есть теория, что именно этот соблазн вызвал последний финансовый кризис. Математические модели риска стали такими изощренными, что все и думать забыли, как именно эти риски измеряются и стоит ли полагаться на них, когда на кону вся банковская система мира.
Работая на «Более-менее», эту проблему я замечал повсюду. Если приглашенные эксперты пользовались тем или иным определением на протяжении многих лет, они могли забыть, что обыкновенный слушатель, услышав то же слово, представляет себе нечто совсем иное. «Проклятье знания» (термин психолога Стивена Пинкера) – заклятый враг удачного обмена информацией. Когда вы в чем-то хорошо разбираетесь, вам невероятно трудно поставить себя на место человека, который ничего в этом не смыслит. Мы с коллегами тоже от этого пострадали. Приступая к разбору очередной запутанной статистической истории, мы всегда начинали с того, что уточняли определения. Очень быстро эти определения начинали казаться самими собой разумеющимися, и нужно было напоминать себе, что для зрителей это не так.
Дарелл Хафф не преминул бы заметить, что один из самых простых способов «лгать при помощи статистики» – это использовать определения, которые вводят в заблуждение. Но часто в заблуждение нас вводит не кто иной, как мы сами.
Вот, например, число 39 773. Это число смертей от огнестрельного оружия в США в 2017 году (это самая актуальная информация от Национального совета по технике безопасности). Это число (или близкое к нему) всплывает всякий раз, когда в новостях пишут о массовой стрельбе, – хотя большая часть этих смертей совершенно никак не связана с этими ужасными событиями [15] . (Разумеется, не всякая массовая стрельба попадает в газеты. Если использовать стандартное определение, согласно которому в ходе одного инцидента погибает или получает повреждения четверо человек, то в США почти каждый день происходит «массовая стрельба», и большинство таких случаев газеты не считают достойными упоминания.)
15
Даже понятие «массовая стрельба» не так уж однозначно. У ЦРУ есть база данных по случаям массовых убийств, но эти убийства включают только нападения в общественных местах. Таким образом исключаются многочисленные инциденты, связанные с наркоторговлей, а также убийства дома. «Архив огнестрельного насилия» считает по-другому и эти инциденты тоже учитывает. Это значительно меняет итог – но в любом случае количество убитых в результате массовой стрельбы – лишь малая доля всех смертей, связанных с использованием огнестрельного оружия.
«Смерть от огнестрельного оружия» – термин вроде бы несложный: вот огнестрельное оружие, а вот смерть, что тут непонятного.
Но точно так же звучит и «овца», так что давайте остановимся и поразмыслим. Даже «2017 год» – понятие не такое простое, как можно подумать. К примеру, в 2016 году в Соединенном королевстве резко выросло число убийств. Произошло это потому, что наконец-то завершилось расследование, в ходе которого было официально вынесено решение, что 96 человек, погибшие в давке на футбольном стадионе «Хиллсборо» в 1989 году, были преступно убиты. Сначала эти смерти рассматривались как следствие несчастного случая, но в 2016 они официально стали считаться убийствами. Это исключительный случай, но задержки между смертью и официальной регистрацией ее причины происходят нередко.
Но главная проблема тут – что именно мы имеем в виду под «смертью». Да, это термин однозначный. Но число «39 773» мы обычно слышим, когда на экране показана вереница машин медиков и полиции, приехавших на место ужасающей бойни. Естественно, что мы связываем это число с убийствами или даже с массовыми убийствами. На самом деле около 60 % смертей от огнестрельного оружия в США – самоубийства, а не убийства и не несчастные случаи (последние случаются редко). Не то чтобы кто-то пытался заставить нас поверить, что убийства с использованием огнестрельного оружия происходят в 2,5 раза чаще, чем на самом деле. Это просто допущение, вполне понятное, если взять во внимание контекст, в котором это число появляется.