Неизведанная территория. Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры
Шрифт:
Для подсчета слов Ципфу пришлось бы пойти проверенным путем – вручную записывать каждый случай появления того или иного слова в тексте. Разумеется, это была бы невероятно скучная работа.
Думается, что он испытал восторг, узнав о работе Майлса Л. Хенли [49] . Хенли, большой поклонник «Улисса», опубликовал результат кропотливой и героической работы, которой дал довольно скучное название Word Index to James Joyce’s Ulysses («Индекс слов в книге Джеймса Джойса „Улисс“»). Эта книга (представлявшая собой то, что ученые называют «конкорданс») предлагала исследователям «Улисса» и прочим энтузиастам список всех слов книги. Мало какая другая книга вызвала бы у Ципфа больший интерес. Теперь для того, чтобы разобраться со своей первоначальной задачей, ему нужно было взять индекс Хенли и посчитать, какова длина каждой из статей [50] . Работа стала на порядок проще.
49
См. Miles Hanley. Word Index to James Joyce’s Ulysses. Madison: University of Wisconsin Press, 1937.
50
Первая встреча Ципфа с законом, носящим его имя, произошла еще до того, как он занялся анализом частоты слов в «Улиссе». В 1911 году бизнесмен по имени Р. С. Элдридж опубликовал список частотных слов, взятых с восьми полос газеты. Элдридж заметил, что «даже умеренное количество слов при мудром выборе позволит любым двум людям понять друг друга… и серьезно обсуждать множество проблем». Его цель состояла
Обратите внимание, что Ципф намного опередил свое время в понимании того, что только начинают понимать ученые наших дней, – как логически анализировать информацию. Ципф умело переформулировал важные для себя вопросы в свете доступных ему данных. Вместо того чтобы заняться неразрешимой проблемой подсчета всех слов, он сфокусировался на вполне решаемой проблеме подсчета слов в книге «Улисс». И если бы он был жив в наши дни, то оказался бы у дверей Google в тот же самый момент, когда компания объявила о своем проекте по оцифровке книг.
Вооружившись индексом Хенли, Ципф проранжировал слова в «Улиссе» по частоте употребления [51] . Первое место занял определенный артикль the, использованный 14 877 раз – то есть он представлял собой каждое восемнадцатое слово. Десятым по частоте оказалось слово I («я») с 2653 случаями употреблений. Слово say, встречавшееся в книге 265 раз, оказалось на сотой позиции. Слово step с 26 случаями употреблений заняло в рейтинге Ципфа тысячное место. А чтобы оказаться на десятитысячной позиции, слову indisputable («бесспорный») было достаточно появиться в тексте всего два раза.
51
Ципф во многом полагался на приложение к индексу Хенли, созданное Мартином Йоосом, где приводилось большинство необходимых статистических данных.
Изучая получившийся список, Ципф заметил кое-что любопытное – а именно обратную связь между позицией слова и частотой его использования. Если номер позиции слова был в 10 раз выше – пятисотое место вместо пятидесятого, – то оно встречалось в 10 раз реже. Таким образом his («его»), оказавшееся на восьмом месте с 3326 упоминаниями, встречается в 10 раз чаще, чем слово eyes («глаза») (восьмидесятая позиция, 330 случаев употреблений). Иными словами, можно было сказать, что редких слов гораздо больше, чем можно было ожидать. В «Улиссе» лишь 100 слов используется более 2653 раз. Однако в книге есть сто слов, использующихся более 265 раз, тысяча слов, использующихся более 26 раз, и так далее.
Кроме того, как вскоре обнаружил Ципф, это было характерно не только для слов в «Улиссе» Джойса. Такая же закономерность проявлялась в словах из газет, текстов, написанных на китайском языке и латыни, и практически во всех остальных информационных источниках, к которым он обращался. Это открытие, называемое в наши дни законом Ципфа, оказалось универсальным организующим принципом для всех известных языков [52] .
52
Было бы большим упущением, если бы мы не отметили, что закон Ципфа не имеет прямого отношения к Ципфу и не является законом в строгом смысле слова, причем по нескольким причинам. Прежде всего он верен лишь отчасти; при ближайшем рассмотрении в большинстве языков имеются систематические отклонения от чисто ципфовской закономерности. Во-вторых, несмотря на множество (конфликтующих между собой) теоретических построений, не до конца понятно, применим ли закон Ципфа для всех языков или только к отдельным языкам. Закон Ципфа, вероятнее всего, представляет собой в высшей степени универсальную – и достаточно загадочную – эмпирическую закономерность. Кроме всего прочего, Ципф его не открывал. Насколько нам известно, первым человеком, сформулировавшим его основополагающий математический принцип, был французский стенограф по имени Жан-Батист Эсту, опубликовавший результаты своих исследований по данному вопросу в 1912 году в своей популярной книге по скорописи (дисциплине, в которой ципфовские закономерности нашли немедленное практическое применение). Классическое представление закона Ципфа как графика распределения частотности на шкале с двумя осями было впервые изложено Эдвардом Кондоном в научной работе, опубликованной в 1928 году в журнале Science. Кондон впоследствии стал знаменитым физиком и президентом двух организаций – Американского физического общества и Американской ассоциации содействия развитию науки. Первая публикация Ципфа на тему закона Ципфа появилась в 1935 году. Судя по всему, он, независимо от других исследователей, пришел к тем же выводам и подтвердил их более основательными данными (как бы это ни было любопытно, анализ использования Ципфом чужих исследований не входит в наши планы в данной книге). Ципф продолжал работать над этим вопросом в течение долгого времени, много сделав как для создания теоретической базы, так и для масштабного рассмотрения аналогичных явлений в общественных науках. Также Ципф объединил разрозненные идеи и популяризовал их. В обзоре на его книгу Human Behavior and Principle of Least Effort («Человеческое поведение и принцип минимизации усилий»), написанном в 1949 году, она названа «одной из самых амбициозных книг из когда-либо написанных… свежей и непохожей на прочие. Как ни одна другая из написанных за последние полвека, она преодолевает границы между различными областями исследований». См. Stewart John Q. Обзор книги Zipf George Kingsley. Human Behavior and the Principle of Least Effort // Science 110, no. 2868 (16 декабря 1949 г.). P. 669. Для краткости мы не описываем подробно данную книгу. И все же, учитывая историю его развития, как дать закону Ципфа более точное название? Разумно предположить, что закон Ципфа должен на самом деле называться закономерностью Эсту – Кондона – Ципфа. Но даже такое название будет не вполне справедливым. Работа Ципфа стала возможной благодаря индексации и подсчетам, сделанным Хенли, Йоосом и Элдриджем. Работа Кондона также была основана на частотном анализе, проведенном другими исследователями: в данном случае Леонардом Айресом и Годфри Дьюи (сыном Мелвила Дьюи, изобретателя одноименной десятичной системы). Поэтому закон Ципфа стоило бы называть закономерностью Эсту – Кондона – Ципфа – Элдриджа – Айреса – Дьюи – Хенли – Йооса. Возможно, именно по этой причине мы придерживаемся более простого варианта – «закон Ципфа». В любом случае мы давно привыкли к тому, что всякое открытие, основанное на кропотливом анализе по-настоящему впечатляющего массива данных, не называется в честь человека, собравшего этот массив. Поэтому нам стоит заняться вручением утешительных призов. Как вариант, подошло бы название «принципа Хенли». См. Estoup Jean-Baptiste. Gammes St'enographiques. Paris: Institut St'enographique, 1916; Condon E.U. Statistics of Vocabulary // Science 67, no. 1733 (16 марта 1928 г.). P. 300. Доступно в сети Интернет:Ayres Leonard P. A Measuring Scale for Ability in Spelling. New York: Russell Sage Foundation, 1915, доступно в сети Интернет:Dewey Godfrey. Relative Frequency of English Speech Sounds. Cambridge, MA: Harvard University Press, 1923; Petruszewycz M. L’Histoire de la Loi d’Estoup-Zipf: Documents // Math'ematiques et Sciences Humaines 44 (1973). P. 41–56. Доступно в сети Интернет:Краткое и изящное описание этих идей приведено в книге Levelt Willem. A History of Psycholinguistics. Oxford: Oxford University Press, 2012. Обширная библиография на тему закона Ципфа и связанных с ним принципов приводится в работе Beebe Nelson H. F. A Bibliography of Publications about Benford’s Law, Heaps’ Law, and Zipf ’s Law. Salt Lake City: University of Utah, 2013, доступно в сети Интернет:Связанной с законом Ципфа может считаться концепция «розового или 1/f шума». См. Mandelbrot Benoit B. Multifractals and 1/f Noise: Wild Self-Affinity in Physics. New York: Springer, 1999.
Мир глазами Ципфа
До Ципфа ученые полагали, что большинство вещей, поддающихся измерению, ведут себя подобно человеческому росту.
Рост человека не очень сильно варьируется. Рост 90% жителей США составляет от 155 см до 185 см. Разумеется, рост некоторых особенно высоких баскетболистов достигает 220 см и выше, а рост самого низкого взрослого человека в мире составляет менее 62 см. Однако подобные случаи встречаются крайне редко. Но даже с учетом этих крайностей самые высокие люди всего в 4–5 раз выше самых низкорослых [53] . У математиков имеется особый термин для описания распределения такого рода, при котором значения настолько тесно группируются вокруг среднего значения. Подобное часто встречающееся распределение называется «нормальным». До Ципфа люди считали, что мы живем в нормальном мире, где нормальным оказывалось бы все окружающее.
53
См. Fryar C. D., Gu Q., Ogden C. L. Anthropometric Reference Data for Children and Adults: United States, 2007–2010 // Vital Health Statistics 11, no. 252 (2012), доступно в сети Интернет: http://goo.gl/uEuiV.
Однако, как мы уже видели, мир слов далек от нормального – распределение в нем соответствует вполне определенному, но кажущемуся на первый взгляд странным математическому принципу. В наши дни ученые называют такое поведение степенными законами [54] . Удивительно, но как только Ципф обнаружил свой первый степенной закон в языке, то начал тут же находить и другие его проявления.
Например, Ципф обнаружил, что степенным законам следуют показатели богатства и доходов. Если бы ваш рост был пропорционален величине вашего банковского счета, а среднее американское домохозяйство имело рост около 170 см, то рост Билла Гейтса оказался бы больше, чем расстояние от Земли до Луны [55] . Величина статей в Encyclopedia Britannica также следует степенному закону, как и тираж газет. Ученые, следовавшие по стопам Ципфа, обнаружили тысячи других примеров: размер городов, частотность определенных фамилий, количество жертв в ходе военных действий, продолжительность аплодисментов после спектакля, популярность людей в Facebook и Twitter, объем пищи, потребляемой животными, трафик на веб-сайтах, доля белков в наших клетках, количество клеток различных типов в наших телах, распространенность тех или иных биологических видов в наших экосистемах и даже размер дырок в швейцарском сыре. Степенному закону следует даже продолжительность отключений электричества (хотя в данном случае, возможно, нам стоит назвать это «законом отсутствия энергии»).
54
Если быть более точным, то степенным законом называется закономерность, при которой одна величина пропорциональна другой величине и растет по экспоненте (степенной константе). Закон Ципфа является степенным законом, величины в котором – это количество и частотность, экспонента равна 1. Если величины составляют сеть, то такая сеть называется «безмасштабной». См. Strogatz Steven H. Exploring Complex Networks // Nature 410, no. 6825 (2001). P. 268–276. Доступно в сети Интернет:Когда величины представляют собой геометрическую структуру, а экспонента не равна целому числу, для такой структуры есть специальное название: фрактал. См. Mandelbrot Benoit. The Fractal Geometry of Nature. San Francisco: W. H. Freeman, 1985. Хотя Ципф был одним из первых, кто выявил степенную закономерность в частотном распределении слов, еще ранее исследователи находили степенные последовательности в других областях. Самым заметным было наблюдение Вильфредо Парето, согласно которому 80% земли в Италии принадлежало 20% населения. Это было первое правило 80/20 из целого ряда подобных. Такой перекос на языке математики называется степенным законом.
Многие из степенных законов были впервые упомянуты Ципфом в его книге 1949 года, в которой он также приводит наблюдения других исследователей. Из самых последних обзоров см. Clauset Aaron, Shalizi Cosma Rohilla, Newman M. E. J. Power-Law Distributions in Empirical Data // SIAM Review 51, no. 4 (2009). P. 661–703. Доступно в сети Интернет:Schroeder Manfred. Fractals, Chaos, Power Laws: Minutes from an Infinite Paradise. New York: W. H. Freeman, 1991. Подобные закономерности встречаются столь часто, что можно привести великое множество примеров в самых узких областях науки. См., например, Rodr'iguez-Iturbe Ignacio, Rinaldo Andrea. Fractal River Basins: Chance and Self-Organization. Cambridge, England: Cambridge University Press, 2001.
55
Согласно данным переписи 2010 года, средний капитал американского домохозяйства (за вычетом недвижимости) составлял 15 000 долларов. В марте 2010 г. журнал Forbes оценил состояние Билла Гейтса в 53 млрд долл. Таким образом, в нашем гипотетическом сценарии рост Гейтса должен составлять около 6007 км. Это значительно больше, чем диаметр Плутона (2390 км), Меркурия (4879 км) и Луны (3474 км); он сопоставим с диаметром Марса (6792 км). Даже при включении в расчет стоимости недвижимости, что повышает величину среднего собственного капитала до 66 740 долларов, высота Гейтса все равно составляла бы не менее 1350 км, что значительно больше половины диаметра Плутона. См. The World’s Billionaires: William Gates III // Forbes (10 марта 2010 г.), доступно в сети Интернет:Wealth and Asset Ownership // U. S. Census Bureau (11 июля 2013 г.), доступно в сети Интернет:и в особенности Wealth Tables 2010 // U. S. Census Bureau, доступно в сети Интернет: http://goo.gl/v7mxk.
Хотя работа Ципфа была настоящим прорывом, причины выявленного им закона остаются тайной. Сам Ципф верил, что такая закономерность объясняется практической эффективностью подобного распределения. Другие исследователи указывали на то, что большому объекту несложно стать еще больше. Этот процесс можно описать формулой «богатым проще богатеть». С математической точки зрения было показано, что процесс, описываемый словами «богатым проще богатеть», может проявляться в огромной массе степенных законов. Например, знакомство с одними людьми помогает знакомиться с новыми, поэтому изначально популярные люди, следуя выявленной Ципфом закономерности, становятся еще более популярными. Города, уже ставшие крупными, могут показаться привлекательными для тех, кто подумывает о переезде, что демонстрирует степенной закон размера города. Вот вам еще один пример – доказано, что обезьяны, печатающие на компьютере случайным образом, могут создавать «слова» (символы, разделенные пробелами) и количество этих слов также следует степенному закону [56] .
56
См. Newman M. E. J. Power Laws, Pareto Distributions and Zipf’s Law // Contemporary Physics 46, issue 5 (2005), доступно в сети Интернет:Рассказ об обезьянах, печатающих на машинках случайные символы, приводится в статье Miller George A. Some Effects of Intermittent Silence // American Journal of Psychology 70, no. 2 (июнь 1957). P. 311–314. Доступно в сети Интернет: http://goo.gl/p6PLll.
Существует немало конкурирующих между собой объяснений любого конкретного распределения, следующего степенному закону. К сожалению, не исключено, что это изобилие объяснений отражает тот факт, что ученые не знают, что происходит на самом деле.
Тем не менее вне зависимости от причины возникновения степенные законы четко описывают огромный диапазон природных и социальных явлений. Ципф, преподаватель немецкого языка, воспользовавшись невероятной любовью Хенли к «Улиссу», начал революцию, последствия которой в значительной мере трансформировали измерения в социальных науках и щупальца которой дотянулись до биологии, физики и даже математики. Теперь нормально то, что выявил Ципф.
Не слишком ли много Ципфа
Закон Ципфа был всего лишь пробным камнем, необходимым нам для начала поиска языковых окаменелостей. Почти все в языке следует закону Ципфа – существительные, глаголы, прилагательные, наречия, начинающиеся на букву m, слова для описания профессий, слова, рифмующиеся со словом «рифма», и так далее. Так что если вы натыкаетесь на что-то, не соответствующее универсальному принципу Ципфа, можно смело считать, что что-то тут не то. Подобно куску белого камня, который находят в ходе экспедиции на особенно многообещающем месте, языковое явление, не следующее степенному закону, может оказаться настоящей окаменелостью в эволюции нашего языка.