Введение в логику и научный метод

Коэн Моррис Р.

§ 5. Опасности и ошибки при использовании статистических методов

Несмотря на свою большую ценность, статистические данные могут быть неправильно использованы и неверно проинтерпретированы, если не учтены допущения, требующиеся для их использования. Поэтому мы должны предостеречь читателя от приведенных ниже элементарных, но часто встречающихся ошибок.

1. Статистические данные предлагают в суммарном виде информацию о признаках некоторой группы значений. Они не предлагают никакой информации ни об одном конкретном элементе группы. Из знания о том, что рождаемость мужчин примерно равна половине от общего показателя рождаемости, мы не можем ничего вывести относительно пола ребенка, который родится следующим.

2. Средние статистические показатели не могут без дополнительного изучения интерпретироваться как представляющие строго неизменные отношения

внутри конкретной группы. Бокль в своей работе «История цивилизации в Англии» из статистических данных об убийствах, самоубийствах, браках и письмах, находящихся в Бюро невостребованных писем выводил заключение о том, что «убийства совершаются с такой же регулярностью и связаны таким же единообразным отношением с некоторыми известными обстоятельствами, как приливы и отливы и смена времен года… Убийство является всего лишь следствием общего состояния общества, и… каждый отдельный преступник является лишь исполнителем того, что на самом деле является необходимым следствием предшествующих обстоятельств. В данном состоянии общества определенное число людей должны совершить самоубийство. Это является общим законом, а вопрос о том, кто именно совершит преступление, является специальным и поэтому зависит от специальных законов, которые, однако, в своей совокупности должны подчиняться большому социальному закону, которому все они подчинены. Могущество большого закона столь неотразимо, что ни любовь к жизни, ни страх иного мира не способны никак повлиять на его осуществление… Даже число браков, заключаемых ежегодно, определяется не чувствами или желаниями индивидов, а большими общими фактами, неподчиненными отдельным индивидам… Теперь мы можем даже доказать то, что провалы в памяти также являются следствиями этого общего признака необходимого и неизбежного порядка» [94] . Заключения Бокля не подтверждаются основаниями, которые он приводит. Число ежегодных самоубийств может оставаться неизменным на протяжении лет, однако из этого не следует, что определенное число самоубийств должно происходить каждый год, поскольку, во-первых, нам не известны точные факторы (если таковые вообще существуют), обусловливающие самоубийство, а во-вторых, мы не знаем, проявятся ли данные факторы и в последующие годы.

3. Коэффициенты корреляции можно подвергнуть сходной критике. К примеру, коэффициент Пирсона определяется настолько общим образом, что на предмет степени корреляции можно рассмотреть любые две группы, даже если нам известно из других источников, что данные группы на самом деле независимы друг от друга. Таким образом, в использованной нами записи х может обозначать отклонения в возрасте мужчин, перечисленных в биографическом словаре, а у может обозначать число страниц в книгах из каталога Библиотеки Конгресса так, чтобы первое имя из словаря сопоставлялось с первой книгой каталога, и т. д. Коэффициент при этом может иметь большое численное значение. Однако это обстоятельство не будет означать наличия какой-либо значимой связи между двумя группами. Нет сомнения в том, что при достаточном терпении можно высчитать очень много корреляций. Было показано, что расходы на Британские ВМС существенным образом коррелировали с ростом в потреблении бананов, а распространение рака в Англии – с увеличением импорта яблок. Однако известно или, по крайней мере, предполагается, что большинство подобных корреляций являются случайными и не имеющими никакой причинно-следственной значимости.

Высокие коэффициенты корреляции не представляют достаточных оснований для установления неизменных связей, поскольку зачастую оказывается нелегко проинтерпретировать некоторый коэффициент, поскольку его значение может согласовываться более чем с одной интерпретирующей гипотезой. Предположим, мы установили, что в течение нескольких лет имеет место увеличение числа арестов. Можем ли мы на основании этого заключить, что увеличилось число преступлений? Разве не может данный результат быть следствием ужесточения мер по обеспечению законности? Отклонения в численности людей, классифицируемых как бедняки (в силу того, что они получают общественную помощь), могут быть соотнесены либо с изменениями в правилах выдачи общественной помощи, либо с изменениями в возрастном распределении бедняков, либо с изменениями в заработной плате, ценах или трудовой занятости. Какая из этих возможных корреляций главная? Можно ли достоверно утверждать наличие причинно-следственной связи между климатом и характером цивилизации на том лишь основании, что цивилизации определенного вида располагаются в регионах с определенным климатом? Разве не может природа цивилизации также быть сопоставлена с относительной свободой для доступа иностранных торговцев на рынки данного региона?

4. Совсем несложно совершить ошибку, заключающуюся в вере в существование значимой связи между двумя типами событий на основании наблюдения, согласно которому два события часто ассоциируются друг с другом. Так, предположим, мы обнаружили, что 90 из 100 рыжеволосых людей свойственно переменчивое настроение. Можем ли мы из этого вывести утверждение о том, что рыжие волосы и переменчивое настроение связаны каким-либо особым образом? Разумеется, нет, до тех пор пока мы не получим информацию об относительном числе людей, не имеющих рыжих волос, но обладающих при этом переменчивым настроением. Ведь может случиться так, что 90 из 100 людей с другим цветом волос также будут обладать переменчивым настроением. Следовательно, если мы захотим открыть связь между признаком А и признаком В, то нам нужно будет обнаружить не только пропорцию тех А, которые являются В, но также и суждение об индивидах А (не обладающих свойством А),

которые также являются В. Из знания о том, что из тысячи глухонемых 29,6 являются слабоумными, мы не можем обоснованно вывести заключение о том, что слабоумие и свойство быть глухонемым являются взаимозависимыми признаками, если у нас при этом нет знания о том, что отношение слабоумных к общему числу населения меньше, чем 29,6, т. е., скажем, 1,5 на тысячу. Было замечено, что полнолуние и ясная погода зачастую сопутствуют друг другу; однако если мы заметим, что отсутствие полнолуния и хорошая погода ассоциируются друг с другом столь же часто, то мы не сможем проинтерпретировать любую из этих двух пар событий как значащую что-либо конкретное.

5. Существенные корреляции иногда получаются просто в силу смешения двух наборов данных, относительно которых не было установлено никакой корреляции. Если, к примеру, в какой-либо из двух общин отсутствует корреляция в возрастах мужей и жен, то строго доказать то, что при смешении списков в получившейся совокупности можно будет отыскать некоторую корреляцию, можно будет только в том случае, если среднее арифметическое возрастов мужей и жен не является одним и тем же в обеих общинах. Данная корреляция является следствием чисто математических свойств двух групп и не может рассматриваться в качестве основания для существования неизменной связи.

Здесь возникают сложности, происходящие из проведения выборки. Все корреляции могут высчитываться только для групп с конечным числом значений. Однако мы почти всегда стремимся использовать значение коэффициента для обозначения уровня корреляции между группами, которые являются более объемлющими, чем те, которые изначально были рассмотрены. Однако очевидно, что из коэффициента в 0,856 для корреляции между возрастами мужей и жен в одной общине вовсе не следует того, что данная корреляция сохраняется в более многочисленной общине или же в общине с иными социальными обычаями. Как и все статистические показатели, коэффициент подвержен воздействию флуктуаций значений выборки. В некоторых случаях относительно высокая корреляция может в целом оказаться случайной. Так, если пара костей бросается 100 раз и коэффициент корреляции высчитывается относительно числа выпавших значений, то г может обладать значением, которое будет существенно больше 0, хотя если кости являются независимыми друг от друга, то г должен строго равняться нулю. Только из одного г нельзя установить, указывает ли такое отличное от 0 значение г на наличие какой-либо зависимости.

6. Много ошибок совершается при построении умозаключений на основе значений выборки, поскольку сознательно или нет, но эти значения могли бы быть отобраны так, чтобы не являться значимыми репрезентантами всей совокупности. Этот источник ошибки особенно часто встречается в тех случаях, где были взяты лишь несколько значений или где наше знание предмета и его релевантных факторов является недостаточным.

При сравнении различных групп всегда существует опасность получения нерепрезентативной выборки. Ответственный за набор рекрутов в армию убедит большинство людей в правоте следующего аргумента: уровень смертности в американских ВМС во время Испано-американской войны равнялся 9 из 1000, тогда как уровень смертности за то же самое время в Нью-Йорке равнялся 16 из 100; следовательно, безопаснее быть служащим ВМС во время войны, чем мирным жителем Нью-Йорка. Однако внимательное рассмотрение оснований для данного заключения демонстрирует, что в двух указанных уровнях смертности нет той кажущейся большой значимости. Уровень смертности в Нью-Йорке включает в себя смертность младенцев, стариков, людей, находящихся в больницах и приютах; при этом известно, что среди стариков, младенцев и больных уровень смертности сравнительно велик. ВМС, с другой стороны, укомплектованы мужчинами в возрасте от 18 до 35 лет, каждый из которых был освидетельствован на медицинском осмотре как здоровый. Из этого следует, что упомянутые два уровня смертности не приводят к заключению о том, что ВМС безопаснее Нью-Йорка. Для адекватного обоснования подобного заключения потребовалось бы сравнение двух групп, которые были бы однородными по возрасту, полу и состоянию здоровья.

Можно привести множество других примеров, содержащих данную ошибку. В одном из университетов было обнаружено, что студенты одного цвета кожи получали более высокие оценки, чем студенты другого цвета кожи. Можем ли мы из этого заключить, что одна раса более способна к обучению, чем другие расы? Подобное умозаключение было бы крайне необоснованным, особенно если при этом предполагается существование барьеров между расами. Различия в оценках могут с легкостью объясняться повышенными требованиями при поступлении, выдвигаемыми к представителям одной расы. Следовательно, студенты такой расы будут представлять более избранную группу и поэтому будут получать более высокие оценки. Сходным образом открытие того, что женатые мужчины в Италии требуют меньше медицинского внимания, чем неженатые, не доказывает того, что брак содержит какую-либо гигиеническую ценность. Указанное различие может происходить из нежелания хронически больных мужчин жениться, и в таком случае лучшее здоровье женатых мужчин будет объясняться именно способом отбора исследуемого материала.

7. Распространенной ошибкой при сравнении групп является использование конкретных чисел вместо процентов. В одной известной книге по теории социализма автор пытался показать, что предсказания Маркса относительно прогрессивной элиминации малых коммерческих предприятий и распространения больших предприятий не соответствовали фактам. Для сравнения числа коммерческих предприятий в Германии за два отрезка времени автор использовал данные, приведенные в нижеследующей таблице, без высчитывания процентного отношения.