Неизведанная территория. Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры
Шрифт:
Трудный ребенок
На момент нашего знакомства в 2005 году тема больших данных была еще неактуальной [37] . Идея чтения миллионов книг за долю секунды пока что не приходила нам в голову. Мы были всего лишь молодыми студентами-старшекурсниками, которых интересовала масса вопросов.
Для того чтобы найти, чем заинтересоваться, нужна соответствующая среда. Мы встретились на гарвардской программе Evolutionary Dynamics [38] – в настоящей гавани творчества и науки, организованной харизматичным математиком и биологом Мартином Новаком. Программа «Эволюционная динамика» представляла собой площадку, на которой математики, лингвисты, онкологи, религиоведы, психологи и физики собирались вместе и размышляли о новых способах изучения мира. Новак призывал нас искать решения любых проблем, интересовавших нас, вне зависимости от того, к какой области знания они относились.
37
Идея «больших данных» пока еще слишком нова для того, чтобы найти достойное отражение в книгах; см. наше обсуждение времени, которое требуется, чтобы термины стали появляться в книгах, в главе 6. Согласно данным Google Trends,
38
Лучше всего понять атмосферу этого места и познакомиться с участниками проекта можно, прочитав книгу Новака. См. Martin A. Nowak with Roger Highfield, SuperCooperators. New York: Free Press, 2011.
Что делает проблему увлекательной? На эту тему можно вести множество споров. Нам казалось, что увлекательный вопрос – это вопрос, который может задать маленький ребенок, ответ на который неизвестен, и при поиске этого ответа (занимающем порой несколько лет научных исследований) можно достичь вполне заметного прогресса. Именно такие вопросы казались интересными и нам. Дети – отличный источник идей для исследований. Их вопросы вроде «Куда уходит солнце по вечерам?» [39] и «Почему небо синее?» [40] заставляют пытливые умы погрузиться в глубины астрономии и физики. А вопросы вроде «Может ли дерево вырасти и стать выше горы?» [41] или «Могли бы мы жить вечно, если бы изо всех сил старались избегать всевозможных опасностей?» заставляют обратиться к изучению некоторых актуальных тем в современной биологии. Привычный для любых родителей вопрос «Но почему я должен идти спать прямо сейчас?» [42] – не дает заснуть множеству неврологов.
39
Ответ на этот вопрос приводится в довольно противоречивой работе, изначально опубликованной Галилеем в 1632 году. См. Galileo Galilei, Dialogue Concerning the Two Chief World Systems, Ptolemaic and Copernican. New York: Modern Library, 2001. (Рус. изд.: Галилей Г. Диалог о двух главнейших системах мира – птолемеевой и коперниковой. М. – Л.: ГИТТЛ, 1948. – Прим. ред.)
40
Это вызвано явлением рассеяния Рэлея, открытым лордом Рэлеем (в то время его имя звучало как Джон Стратт). См. John Strutt. On the Light from the Sky, Its Polarization and Colour // Philosophical Magazine 41, series 4 (1871). P. 107–120, 274–279.
41
См. George W. Koch et al. The Limits to Tree Height // Nature 428 (22 апреля 2004 г.). P. 851–854. Доступно в сети Интернет: http://goo.gl/lxNlq.
42
См. Carlos Schenck. Sleep. New York: Penguin, 2007. Несмотря на наличие огромного количества книг на эту тему, никто в точности не знает, почему нам необходимо спать. Теоретикам есть где разгуляться в этой области. См., к примеру, Van M. Savage and Geoffrey B. West. A Quantitative, Theoretical Framework for Understanding Mammalian Sleep // PNAS: Proceedings of the National Academy of Sciences (20 ноября 2006 г.), доступно в сети Интернет: http://goo.gl/wFWDC.
Однако из всех этих вопросов нас увлек один: «Почему мы говорим drove, а не drived?» [43]
Вопрос показался нам интересным, поскольку представлял собой простой пример довольно важной для всего человечества темы. Почему мы, как культура, используем одни слова или идеи, а не другие? Почему мы соблюдаем одни правила и игнорируем все прочие?
Для поиска решений таких вопросов возможны два подхода. Первый состоит в том, чтобы сконцентрироваться на нынешних обстоятельствах, которые и приводят к тому, что мы ведем себя определенным образом. Например: «Мой милый сын, ты говоришь drove, потому что все остальные тоже говорят drove, а если бы ты сказал drived, то наши соседи подумали бы, что мы, твои родители, не озаботились тем, чтобы научить тебя правильному английскому языку». Это отличный ответ, заставляющий задуматься о природе социальных норм. Философы занимались осмыслением таких вопросов на протяжении столетий. Однако порой ученый может прийти к гораздо более неожиданным открытиям, изучая явления в исторической перспективе.
43
Сравниваются две формы прошедшего времени глагола, одна из которых образована по правилу, но не существует в языке, вторая – существует, но образована не по правилу (Прим. ред.).
Пожалуй, самым впечатляющим примером перспективного подхода во всей истории науки могут считаться работы Чарльза Дарвина. Более 150 лет назад Дарвин отправился в путешествие на корабле и столкнулся со множеством странных живых существ. Особенно сильно его заинтересовали некоторые птицы, которых он увидел на Галапагосах: почему клювы вьюрков имели такую странную форму? И вообще, почему животные выглядят так, как они выглядят?
А затем Дарвин сделал крайне проницательное заключение. Вместо того чтобы сконцентрироваться исключительно на настоящем, он посмотрел в далекое прошлое. Дарвин задался вопросом – как получилось, что со временем те или иные организмы обрели нынешнюю форму? Если мы хотим понять мир в его нынешнем виде, полагал он, мы должны понять и суть процесса изменений, который привел нас в это состояние. И этот процесс изменений – важнейшее открытие Дарвина – представляет собой комбинацию воспроизводства, мутации и естественного отбора, и эта комбинация (или, иными словами, теория эволюции) способна объяснить все примечательное разнообразие живого мира.
Перспективный подход превращает вопрос о том, почему мы говорим drove, а не drived, в научный поиск тех сил, которые определяют эволюцию человеческой культуры. В течение длительного периода времени мы совершенно не представляли себе, как подступиться к этим силам. Все, что у нас было, это «детский» вопрос.
Охотники на динозавров
Мы как ученые должны заниматься сбором данных – холодных, четких фактов и точных результатов измерений. Мы должны формулировать однозначные гипотезы, а затем пытаться изменить или скорректировать их с помощью точных экспериментов и анализа. С этой точки зрения культура – вещь, которую сложно определить и еще сложнее измерить, – может оказаться довольно твердым орешком. Именно это и делает столь непростой научную работу в областях вроде антропологии. Отчасти именно по этой причине в 2010 году Американская антропологическая ассоциация приняла довольно противоречивое решение об исключении слова «наука» из формулировки своей задачи (стоит отметить, что позднее это слово было вновь возвращено в текст) [44] .
44
См. Nicholas Wade. Anthropology a Science? Statement Deepens a Rift // New York Times (9 декабря 2010 г.), доступно в сети Интернет: http://goo.gl/eCI9K3.
Мы решили начать с достаточно узкого аспекта культуры, который довольно просто определить и измерить, – языка. Язык представляет собой своеобразный микрокосм для изучения культуры в целом. Это – основное средство распространения человеческой культуры. Он меняется, и это легко заметит любой человек, читающий пьесы Шекспира. И наконец, язык часто имеет письменную форму и именно в этой форме превращается в массив данных, удобный для научного анализа. В конечном счете письменный язык может считаться одним из самых ранних предшественников больших данных.
Каким же образом следует подходить к вопросу изучения эволюции языка? Если взять биологию, то лучший способ понять пути развития эволюции состоит в изучении окаменелостей. Однако находить ископаемые довольно сложно. Для этого требуется сочетать тщательное планирование и хорошую стратегию. С точки зрения успешного поиска окаменелостей мало кто может сравниться с Натаном Мирвольдом, возможно, величайшим охотником на динозавров в своем поколении (этот человек множества талантов также стал одним из основателей Microsoft Research и написал книгу о современной кухне) [45] . И дело вовсе не в том, что Мирвольду везет больше, чем другим, и что каждый беловатый камень, который он в своих экспедициях берет в руки, оказывается черепом динозавра Tyrannosaurus rex. Мирвольд и его команда используют подробные геологические карты, спутниковые фотографии и свою собственную программу экологического анализа. Все это помогает им понять, где заниматься поисками и где белые камни действительно имеют шансы оказаться окаменелостями. В результате, начиная с 1999 года, им удалось обнаружить десять скелетов тираннозавров – при том что за 90 предшествовавших лет было найдено всего 18 таких скелетов. Выражаясь словами самого Мирвольда, «мы господствуем на рынке T. rex».
45
См. Nathan Myhrvold, Chris Young, and Maxine Bilet. Modernist Cuisine: The Art and Science of Cooking. Bellevue, WA: The Cooking Lab, 2011; Malcolm Gladwell. In the Air // New Yorker (12 мая 2008 г.), доступно в сети Интернет: http://goo.gl/TTtsLU.
Мы решили господствовать на рынке лингвистических окаменелостей. Подобно тому, как окаменелости эпохи динозавров рассказывают нам о биологической эволюции, лингвистические окаменелости помогают нам понять, как развивается язык. Однако для того, чтобы повысить шансы на успех в поиске таких окаменелостей, нам был необходим некий руководящий принцип, помогающий понять, где именно копать. И оказалось, что нужный нам инструмент был создан 80 лет назад человеком, который, как и мы сами, искренне любил считать.
1937: Одиссея данных
Джордж Кингсли Ципф работал в Гарварде в 1930-е и 1940-е годы, возглавляя отделение германской литературы. У него имелась комбинация довольно редких навыков – с одной стороны, он был гуманитарием, а с другой – разбирался в количественных измерениях.
Будучи филологом, Ципф проводил кучу времени в размышлениях о словах. Ему казалось вполне очевидным, что не все слова созданы равными. Определенный артикль the используется в английском языке постоянно, но мы редко слышим слово quiescence («неподвижность»). Ципф счел этот дисбаланс довольно странным и захотел понять, в чем дело.
Понять суть проблемы можно вот как. Представьте себе, что английский язык – это страна, в которой каждое слово является гражданином. А еще представьте, что высота каждого слова-гражданина пропорциональна частоте его употребления – the будет гигантом, а quiescence – карликом [46] . Каково было бы жить среди людей со столь странным ростом? Именно такой «детский» вопрос и заинтересовал Ципфа.
Чтобы представить такой мир наглядно, Ципфу пришлось бы провести перепись всех слов и посчитать, сколько раз использовалось каждое из них. В наши дни это легко и просто сделать с помощью компьютера (программы из одной строки) [47] . Именно поэтому для написания концептуальной книги Legendary, Lexical, Loquacious Love не требовались десятилетия. Но в 1937 году таких возможностей не было. Современные компьютеры просто не существовали, а словом computer («компьютер») обозначался человек, занимавшийся арифметическими вычислениями [48] .
46
Частота этого слова в книгах на английском языке в 2000 году – 4,6%, или 2 употребления на каждые 5 миллионов слов.
47
Приведенная ниже команда позволяет создать в системе Linux список всех однословных элементов в текстовом файле, отсортированных от самого частого к наименее частому: cat textfile.txt | tr’’ ‘\n’ | sort | uniq – c | sort – k1 – n -r > 1grams.txt
48
Среди них было много женщин. Их замечательная работа описана в книге Grier David Alan. When Computers Were Human. Princeton, NJ: Princeton University Press, 2007. Сервис компании Amazon под названием Mechanical Turk, описываемый как «искусственный искусственный интеллект», представляет собой в каком-то смысле возврат к подобному подходу, только с использованием сети Интернет и краудсорсинга. См. URL: http://www.mturk.com.