Голая статистика. Самая интересная книга о самой скучной науке

Уилан Чарльз

Как обычно, примеры, приведенные в этой главе, «грешат» многими упрощениями. Вы, наверное, обратили внимание, что в примере с выборами у кандидатов от Республиканской и Демократической партий должна была быть своя собственная стандартная ошибка. Вернемся еще раз к приведенной выше формуле: SE = [p(1 - p)/n]. Размер выборки n один и тот же для обоих кандидатов, однако p и (1 - p) будут несколько разниться. Во втором экзитполе (когда размер выборки был увеличен до 2000 избирателей) стандартная ошибка для кандидата от Республиканской партии составила [0,52 x (0,48)/2000] = 0,01117; для кандидата от Демократической партии – [0,45x (0,55)/2000] = 0,01112. Разумеется, какими бы ни были наши намерения и цели, эти два числа должны быть одинаковы [53] . Именно поэтому я остановил свой выбор на общепринятом соглашении: из двух значений стандартной ошибки использовать большее значение для всех кандидатов. В любом

случае такой подход вносит в доверительные интервалы небольшую дополнительную меру предосторожности.

53

Неравенство стандартных ошибок здесь обусловлено наличием третьего, «независимого» кандидата и, соответственно, процентом избирателей, отдавших ему свои голоса. Если было бы только два кандидата, то стандартные ошибки для каждого из них были бы всегда равны. Прим. ред.

При проведении многих общенациональных опросов общественного мнения, включающих в себя большое число вопросов, идут еще дальше. В случае опроса The New York Times / CBS News для каждого вопроса должна быть, строго говоря, своя стандартная ошибка (в зависимости от ответа). Например, стандартная ошибка, относящаяся к ситуации, когда 9 % участников опроса одобряют деятельность Конгресса США, должна быть меньше стандартной ошибки, относящейся к ситуации, когда 46 % участников опроса одобряют деятельность Обамы на посту президента США, поскольку 0,09 x 0,91 меньше, чем 0,46 x 0,54: 0,0819 против 0,2484. (Интуитивные соображения, на которых основывается эта формула, объясняются в приложении к настоящей главе.)

Поскольку использование собственной стандартной ошибки для каждого вопроса было бы неудобным и вносило бы излишнюю путаницу, при проведении подобных опросов общественного мнения обычно предполагается, что доля выборки для каждого вопроса равняется 0,5 (или 50 %) – что порождает максимально возможную стандартную ошибку для любого размера выборки, – и именно такая стандартная ошибка используется при вычислении предела ошибки выборки для опроса в целом [54] .

При соответствующей организации опросы общественного мнения становятся поистине замечательными инструментами. Согласно Фрэнку Ньюпору, главному редактору Gallup Organization, опрос 1000 человек позволяет с высокой степенью точности оценить настроения в обществе в целом. С точки зрения статистики Фрэнк Ньюпор, несомненно, прав. Но чтобы получить столь значимые и точные данные, мы должны надлежащим образом провести опрос, а затем правильно интерпретировать его результаты, что порой намного легче сказать, чем сделать. Неправильные результаты опросов обычно обусловлены не ошибкой в математических расчетах при вычислении стандартных ошибок, а являются следствием некорректно сформированной выборки, или неправильно сформулированных вопросов, или того и другого. Выражение «мусор на входе – мусор на выходе» полностью применимо к проведению социологических опросов. Ниже перечислены ключевые методологические вопросы, которые необходимо задать при проведении любого опроса общественного мнения или оценивании чьей-то работы.

54

Формула для вычисления стандартной ошибки опроса, которую я использовал в данном случае, предполагает, что опрос проводится в произвольной выборке из соответствующей совокупности. Организации, специализирующиеся на проведении опросов общественного мнения, могут отходить от этого метода проведения выборочных исследований; в таком случае формула для вычисления стандартной ошибки опроса также несколько изменяется. Однако базовая методика остается той же.

Действительно ли данная выборка является репрезентативной (представительной) из совокупности, настроения которой мы пытаемся выяснить? Многие типичные проблемы, связанные с данными, уже обсуждались в главе 7. Тем не менее мне придется еще раз указать на опасность систематической ошибки выбора, особенно систематической ошибки самоотбора. Любой опрос, результаты которого зависят от людей, попадающих в выборку по собственной инициативе, например в ходе ток-шоу на радио или при проведении добровольных интернет-опросов, будет отражать мнения лишь тех, кто сам пожелал его высказать. В подобных случаях мы узнаем лишь мнения людей, которые проявляют повышенный интерес к рассматриваемому вопросу или располагают избытком свободного времени. Очевидно, что ни та ни другая группа не может отражать общие настроения общества. Однажды я сам участвовал в ток-шоу на радио в качестве гостя. Один из слушателей программы, ехавший в это время в автомобиле по каким-то своим делам, позвонил на радиостанцию и выразил категорическое несогласие с моим мнением. Мои взгляды возмутили его до такой степени, что он не поленился свернуть с автомагистрали к телефонной будке, которую заметил возле обочины, чтобы позвонить в радиостудию. Хотелось бы верить, что те слушатели, которые во время этого ток-шоу не свернули с автомагистрали, разделяли мои взгляды.

Любой метод выяснения мнений, который систематически исключает какой-либо сегмент совокупности, также приводит к ошибке выбора. Например, широкое распространение мобильной связи породило множество новых методологических сложностей. Организации, специализирующиеся на проведении социологических опросов, делают все от них зависящее, чтобы опросить репрезентативную выборку соответствующей совокупности. Опрос The New York Times / CBS News базировался на телефонных интервью, проводившихся на протяжении шести дней с 1650 взрослыми американцами, 1475 из которых сообщили, что зарегистрированы для участия в голосовании.

Относительно

остальной части методологии, применявшейся при проведении этого опроса, я могу лишь догадываться, но большинство опросов, которые проводятся социологическими организациями, используют тот или иной вариант описанных ниже методов. Чтобы гарантировать, что люди, поднявшие трубку, отражают мнение совокупности в целом, данный процесс начинается с использования теории вероятностей – нечто наподобие вытаскивания шариков из урны. Компьютер случайным образом выбирает некую совокупность номеров коммутационных станций стационарной телефонной связи. (Номер коммутационной станции стационарной телефонной связи представляет собой код региона плюс первые три цифры телефонного номера.) За счет случайного выбора 69 000 номеров коммутационных станций стационарной телефонной связи в Соединенных Штатах, каждый в пропорции к своей доле во всей совокупности телефонных номеров, данный опрос в целом, по-видимому, отразит географическое распределение соответствующей совокупности. Как поясняется в тексте, набранном мелким шрифтом, «номера коммутационных станций стационарной телефонной связи были выбраны таким образом, чтобы каждый регион страны был представлен в пропорции к его доле во всей совокупности телефонных номеров». К каждому выбранному номеру компьютер добавил четыре случайные цифры. Таким образом, в окончательном списке домохозяйств, которые предстояло обзвонить в ходе опроса, оказались как фактически используемые, так и неиспользуемые телефонные номера. Кроме того, этот опрос предусматривал «случайный набор номеров мобильных телефонов».

Для каждого набираемого телефонного номера один взрослый член семьи назначался респондентом посредством некой «произвольной процедуры» (например, телефонную трубку предлагалось взять самому молодому из взрослых членов семьи). Этот процесс был усовершенствован, чтобы получить выборку респондентов, отражающую возрастной и половой состав взрослого населения страны. Самое главное – интервьюер будет пытаться сделать несколько звонков в разное время суток, чтобы дозвониться на каждый из выбранных телефонных номеров. Эти неоднократные попытки – до десяти или двенадцати звонков на один и тот же телефонный номер – являются важным условием получения правильной выборки. Очевидно, было бы дешевле и проще звонить на разные телефонные номера до тех пор, пока достаточно большая выборка взрослых не подойдет к телефонам и не ответит на соответствующие вопросы. Однако такая выборка допустила бы сильный крен в пользу тех, кто большую часть времени проводит дома, а в это число входят главным образом безработные, пенсионеры, инвалиды и т. д. Такой вариант опроса был бы вполне уместен, если бы вы намеревались квалифицировать его результаты следующим образом: деятельность Обамы на посту президента США одобряют 46 % безработных, пенсионеров и прочих слоев населения, с готовностью отвечающих на телефонные опросы общественного мнения.

Одним из показателей достоверности опроса является так называемый процент ответивших, то есть доля респондентов, выбранных для проведения опроса и в конечном счете ответивших на его вопросы. Низкий процент ответивших может указывать на неправильное формирование выборки. Чем больше респондентов отказались отвечать на поставленные вопросы (или до них просто не удалось дозвониться), тем выше вероятность, что эта значительная группа людей в чем-то весьма существенно отличается от тех, кто согласился участвовать в опросе. Организаторы опроса могут выполнить тест на «систематическую ошибку отсутствия ответа», проанализировав имеющиеся в их распоряжении данные о респондентах, с которыми им не удалось установить контакт. Возможно, они проживают в каком-то специфическом регионе, или не желают отвечать на вопросы в силу какой-то особой причины, или принадлежат к какой-то расовой или этнической группе, или имеют какой-то определенный уровень дохода. Анализ такого рода зачастую помогает выяснить, повлияет ли низкий процент ответивших на результаты опроса в целом.

Позволяет ли формулировка вопросов получить точную информацию по интересующим нас темам? Чтобы выяснить настроения в обществе, необходимо учитывать гораздо больше нюансов, чем при оценивании экзамена или измерении веса респондентов. Результаты социологического опроса во многом зависят от правильности формулировки задаваемых вопросов. Рассмотрим пример, который на первый взгляд кажется довольно простым: какой процент американцев поддерживает смертную казнь? Как следует из названия этой главы, это заведомое большинство американцев. Согласно опросу, проведенному Институтом Гэллапа, начиная с 2002 года свыше 60 % американцев ежегодно заявляют, что поддерживают применение смертной казни в отношении лиц, осужденных за убийство. Процент американцев, выступающих за смертную казнь, колеблется в относительно узком диапазоне, от высоких 70 % в 2003 году до более низких 64 % в отдельные годы. Эти данные позволяют сделать однозначный вывод: заведомое большинство американцев выступают за смертную казнь.

Или такой вывод слишком поспешен? Поддержка американцами смертной казни падает, когда в качестве альтернативы предлагается пожизненное тюремное заключение без права условно-досрочного освобождения. Опрос, проведенный Институтом Гэллапа в 2006 году, показал, что лишь 47 % американцев считают смертную казнь справедливой карой за убийство, тогда как 48 % высказываются за пожизненное тюремное заключение {65} . Это не просто некий статистический парадокс, которым можно удивить гостей, пришедших к вам на вечеринку; фактически это уже означает отсутствие в стране большинства, поддерживающего применение смертной казни при наличии альтернативы в виде пожизненного тюремного заключения. Когда мы пытаемся выяснить отношение общества к той или иной проблеме, важнейшую роль играют формулировка вопроса и выбор языка.

65

Lydia Saad, Americans Hold Firm to Support for Death Penalty, Gallup.com, November 17, 2008.