Голая статистика. Самая интересная книга о самой скучной науке
Шрифт:
Политики зачастую стараются сыграть на этом обстоятельстве, используя опросы общественного мнения и фокус-группы для тестирования «слов, которые приносят нужный результат». Например, избиратели в большей степени склонны поддерживать формулировку «снижение налогового бремени», чем «урезание налогов», несмотря на то что обе формулировки, по сути, описывают одно и то же действие. Аналогично, избирателей меньше волнует «изменение климата», чем «глобальное потепление», несмотря на то что глобальное потепление – лишь одна из форм изменения климата. Очевидно, политики пытаются манипулировать ответами избирателей путем использования «не нейтральных» слов. Если социологичекая организация стремится создать себе репутацию «честной», то есть выдающей результаты, заслуживающие доверия, она должна отказаться от употребления языка, способного повлиять на точность собираемой информации. Точно так же если по истечении какого-то времени предполагается сравнивать результаты опросов (например, как потребители оценивают нынешнее состояние экономики в сравнении с тем, как они оценивали его год назад), то вопросы, позволяющие получить
Организации по исследованию общественного мнения (например Gallup Organization) зачастую проводят так называемое тестирование расщепленной выборки, когда разные варианты одного и того же вопроса тестируются на разных выборках, чтобы оценить, как незначительные изменения в формулировке вопроса влияют на ответы респондентов. Для таких экспертов, как Фрэнк Ньюпор из Gallup Organization, ответы буквально на каждый вопрос несут в себе значимую информацию, даже когда они кажутся несовместимыми {66} . Тот факт, что отношение американцев к смертной казни резко меняется, когда в качестве альтернативы предлагается пожизненное тюремное заключение без права условно-досрочного освобождения, свидетельствует о чем-то важном. По мнению Ньюпора, результаты любого опроса общественного мнения необходимо рассматривать в общем контексте. Никакой отдельно взятый вопрос или опрос не в состоянии охватить всей глубины настроений общества, когда речь идет о какой-либо сложной проблеме.
66
Телефонное интервью с Фрэнком Ньюпором, November 30, 2011.
Говорят ли респонденты правду? Опрос общественного мнения, как и знакомство в интернете, предполагает некоторое «пространство для маневра». Нам известно, что люди не всегда говорят правду, особенно когда им приходится отвечать на разного рода затруднительные и щекотливые вопросы. Респонденты могут завышать свой доход или преувеличивать свои возможности, когда у них спрашивают, например, о том, сколько раз в месяц они занимаются сексом. Они могут сообщить, что пойдут голосовать, хотя на самом деле предпочтут какой-то другой вид досуга. Они могут бояться выражать непопулярную или социально неприемлемую точку зрения. Именно по этим причинам даже идеально продуманный и организованный опрос зависит от того, насколько правдивы ответы респондентов.
При проведении опросов, касающихся выборов, очень важно заранее отсортировать тех, кто не придет на избирательные участки, от тех, кто намерен голосовать. (Если наша цель – определить вероятного победителя выборов, то какое нам дело до мнения тех, кто не собирается его избирать?) Люди часто говорят, что примут участие в голосовании, только потому, что им кажется, будто именно такого ответа от них ждут. Результаты исследований, в ходе которых сравнивалось количество избирателей, фактически пришедших на избирательные участки, с количеством тех, кто обещал прийти, показали, что от одной четверти до трети респондентов, утверждавших, что будут участвовать в выборах, не голосовали {67} . Один из способов минимизировать искажения, вносимые неправдивыми ответами, – выяснить, участвовал ли данный респондент в голосовании на прошлых или нескольких предыдущих выборах. Респонденты, регулярно игнорирующие выборы, скорее всего, не станут участвовать в них и в дальнейшем. Аналогично, если есть опасения, что респонденты не решатся дать социально неприемлемый ответ на поставленный вопрос (например выразить отрицательное отношение к какой-либо расовой или этнической группе), то можно попытаться его более тонко сформулировать (например спросить, «придерживаются ли такого мнения знакомые вам люди»).
67
Stanley Presser, Sex, Samples, and Response Errors, Contemporary Sociology 24, no. 4 (July 1995): 296–98.
Одним из самых щекотливых за все время стало исследование, проведенное Национальным центром исследования общественного мнения (National Opinion Research Center – NORC) при Чикагском университете. Полное название исследования было таким: «Социальная организация сексуальности: половая жизнь в Соединенных Штатах»; впрочем, довольно быстро за ним закрепилось более краткое название: «Исследование секса» {68} . Формальное описание исследования включало такие фразы: «организация моделей поведения, на которых строятся половые контакты» и «выбор сексуальных партнеров и сексуальное поведение на протяжении жизни». Я слишком упрощаю, говоря, что исследователи пытались задокументировать «кто, как, с кем и как часто». Целью данного исследования, результаты которого были опубликованы в 1995 году, было не просто просветить нас относительно сексуального поведения соседей (хотя об этом тоже шла речь), но и оценить, как сексуальное поведение американцев влияет на распространение ВИЧ/СПИД.
68
Эти результаты были опубликованы в двух разных формах, одна из которых более академическая, чем другая. Edward O. Lauman, The Social Organization of Sexuality: Sexual Practices in the United States (Chicago: University of Chicago Press, 1994); Robert T. Michael, John H. Gagnon, Edward O. Laumann, and Gina Kolata, Sex in America: A Definitive Survey (New York: Grand Central Publishing, 1995).
Если уж американцы не решаются признаться, что не будут голосовать, то можно только представить, насколько они горят желанием описывать свое сексуальное поведение, если под ним могут, в частности, подразумеваться какие-либо предосудительные действия (например супружеская неверность) или даже склонность к половым извращениям. В данном исследовании использовалась впечатляющая методология. Оно основывалось на собеседованиях с репрезентативной выборкой взрослого населения США, включающей 3342 человека. Каждое собеседование занимало примерно 90 минут. Почти 80 % респондентов заполнили соответствующую анкету, что позволило авторам исследования сделать вывод о том, что его результаты достаточно точно отражают сексуальное поведение американцев в целом (по крайней мере, в 1995 году).
Поскольку вы уже одолели большую часть книги и, в частности, главу, посвященную методологии проведения опросов общественного мнения, вы имеете право вкратце ознакомиться с выводами авторов «Исследования секса» (должен заранее вас разочаровать: ничего особенно шокирующего в них нет). Как заметил один из обозревателей, «секс занимает в жизни американцев гораздо меньше места, чем можно было бы предположить» {69} .
• Люди, как правило, занимаются сексом с теми, кто им близок по тем или иным признакам. Девяносто процентов пар относятся к одной и той же расе, религии, социальному классу и возрастной группе.
69
Kaye Wellings, book review in British Medical Journal 310, no. 6978 (February 25, 1995): 540.
• Типичный респондент занимался сексом «пару-тройку раз в месяц» (правда, разброс по этому показателю весьма значителен). Количество сексуальных партнеров после достижения восемнадцатилетнего возраста колеблется от нуля до 1000 (и более).
• Примерно 5 % мужчин и 4 % женщин сообщили о том или ином числе сексуальных контактов с партнерами своего пола.
• У 80 % респондентов в предыдущем году был либо один, либо ни одного сексуального партнера.
• Респонденты, имеющие одного сексуального партнера, оказались более счастливы по сравнению с теми, у кого вообще не было сексуального партнера или у кого их было много {70} .
70
John DeLamater, The NORC Sex Survey, Science 270, no. 5235 (October 20, 1995): 501.
• Четверть женатых мужчин и 10 % замужних женщин сообщали о наличии у них внебрачных половых связей.
• Большинство людей занимаются «этим» по старинке: вагинальный половой акт оказался самым привлекательным способом половых контактов для мужчин и женщин.
В одном из обзоров «Исследования секса» было высказано простое, но важное критическое замечание, что точность этого опроса отражает действительные сексуальные практики взрослого населения Соединенных Штатов и «предполагает, что респонденты являются частью населения, от которого эти ответы были получены, и что эти люди честно отвечали на поставленные вопросы» {71} . Данное высказывание также может служить выводом для всей этой главы. На первый взгляд, самым подозрительным в любом опросе может показаться то, что мнения столь небольшого числа людей способны отражать мнения населения всей страны. Но в этом-то как раз ничего удивительного или подозрительного нет. Один из самых фундаментальных статистических принципов заключается в том, что надлежащим образом сформированная выборка способна точно отражать совокупность, из которой она извлечена. Реальных проблем проведения опросов общественного мнения две: 1) определение правильной выборки и выход на нее и 2) получение информации от этой репрезентативной группы таким образом, чтобы она точно отражала мнения ее членов.
71
Presser, Sex, Samples, and Response Errors.
Приложение к главе 10
Почему стандартная ошибка оказывается больше, когда p и (1 - p) близки к 50 %
Здесь излагаются интуитивные соображения, объясняющие, почему стандартная ошибка оказывается самой большой, когда доля ответивших определенным образом (p) близка к 50 % (что с математической точки зрения означает, что величина (1 - p) также будет близка к 50 %). Давайте представим: вы проводите два опроса в штате Северная Дакота. Первый опрос призван оценить соотношение сторонников Республиканской и Демократической партии в этом штате. Допустим, истинное их соотношение примерно 50 на 50, однако в ходе проведения вашего опроса выяснилось, что 60 % населения штата поддерживают республиканцев, а 40 % – демократов. Ваши результаты отличаются от реального положения вещей на 10 %, что является достаточно большой погрешностью. Однако столь существенная ошибка у вас получилась несмотря на то, что вы не допустили невообразимо большой ошибки при сборе данных. Вы завысили долю сторонников Республиканской партии по сравнению с их настоящей долей в населении штата на 20 % [(60–50)/50 = 0,2], при этом занизив долю сторонников Демократической партии в штате также на 20 % [(40–50)/50 = 0,2]. Это могло случиться даже при использовании весьма эффективной методологии проведения опроса.