Неизведанная территория. Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры
Шрифт:
Теперь может показаться удивительным, что такая обыденная вещь, как желание считать овец, стала стимулом для развития такой фундаментальной вещи, как письменный язык. Однако стремление пользоваться письменными данными всегда шло рука об руку с экономической деятельностью, поскольку сделки не имеют смысла, если вы не можете четко проследить, что кому принадлежит. Как таковая, ранняя человеческая письменность направляется заключением сделок (dealing) и созданием колеса (wheeling) – ставками в спорах, расписками и контрактами. Задолго до того, как у нас появились писания пророков (prophets), люди делали записи о прибылях (profits). По сути, многие цивилизации так никогда и не дошли до настоящей письменности и не оставили после себя ту литературу, которую мы часто связываем с историей культуры. В лучшем случае от этих древних обществ до нас дошли кучи расписок. И если бы не те коммерческие предприятия, которые создали эти данные, мы бы знали куда меньше о культурах, в которых они существовали. Теперь такое положение дел представляется вполне закономерным. В отличие от своих предшественников, многие из коммерческих предприятий в наши дни создают данные не просто
Основной бизнес таких компаний как раз и заключается в записи человеческой культуры.
И дело касается не только фиксации информации, предназначенной для общего потребления, типа веб-страниц, блогов и онлайн-новостей. Все чаще в Сети происходит и наше частное общение – посредством электронных писем, Skype или систем текстовых сообщений. Значительная их доля сохраняется (можно считать, что и вечно), причем иногда в нескольких копиях. Идет ли речь о Twitter или LinkedIn, наши личные и деловые отношения управляются Сетью и фиксируются в ней. Каждый раз, «плюсуя», «лайкая» тексты или отправляя электронные открытки, мы оставляем цифровые «отпечатки пальцев». Google будет помнить каждое слово написанного нами гневного электронного письма даже тогда, когда мы сами забудем имя человека, которому его отправляли. Фотографии в Facebook напомнят нам о подробностях вечера, проведенного накануне в баре, даже если мы ничего не помним из-за похмелья и жуткой головной боли. Если мы пишем книгу, Google сканирует ее; если мы делаем фотографию, она хранится на Flickr; а если мы снимаем видео, YouTube позволяет желающим его посмотреть.
Проживая современную жизнь, все активнее проводя время в Интернете, мы оставляем все более заметный след из цифровых «хлебных крошек» – личные исторические данные потрясающей глубины и значительного масштаба.
Большие данные
О каком масштабе идет речь?
В компьютерных науках принято считать единицей измерения информации бит (сокращение от binary digit – двоичное число). Бит можно представить себе в виде ответа на вопрос «да или нет», где 1 – это «да», а 0 – это «нет». Группа из восьми битов называется «байт» [12] .
12
Классическую игру в «двадцать вопросов» можно также назвать «два с половиной байта», поскольку именно такой объем информации вы должны собрать, прежде чем высказать свою догадку.
В настоящее время цифровой след обычного человека – то есть годовой объем данных, создаваемых в мире на душу населения, – составляет немногим менее одного терабайта. Это можно сравнить примерно с 8 триллионами ответов на вопрос «да или нет». В совокупности человечество создает каждый год 5 зеттабайт данных: 40 000 000 000 000 000 000 000 (сорок секстиллионов) бит [13] .
Такие огромные цифры сложно себе представить, поэтому давайте их как-то конкретизировать. Если бы вы записали вручную всю информацию, содержащуюся в одном мегабайте, то ваша строка из 1 и 0 превысила бы по высоте гору Эверест [14] . Последовательность 1 и 0, составляющая 1 гигабайт, записанная вручную, соответствует длине земного экватора. А длина записанной последовательности цифр, составляющих один терабайт, равна расстоянию от Земли до Сатурна, пройденному туда и обратно 25 раз. Длина последовательности в один петабайт, записанной вручную, равна расстоянию туда и обратно до космического аппарата «Вояджер-1» (самого удаленного от Земли аппарата, созданного человечеством). Длина последовательности в один экзабайт равна расстоянию до альфы Центавра. Длина последовательности в 5 зеттабайт, создаваемых людьми каждый год, равна расстоянию до галактического центра Млечного Пути. Если бы вместо отправки электронных писем и трансляции видео эти пять зеттабайт использовались для той же цели, что и у древних пастухов – то есть для подсчета овец, – то их стадо полностью заполнило бы всю Вселенную, не оставив свободного пространства [15] .
13
Подсчеты содержатся в отчете IDC Digital Universe report. См. Gantz John, Reinsel David. The Digital Universe in 2020 // EMC Corporation (декабрь 2012 г.). Доступно в сети Интернет:См. также: Data, Data Everywhere // Economist (25 февраля 2010 г.). Доступно в сети Интернет:Bohn Roger E., Short James E. How Much Information? 2009 // Global Information Industry Center (январь 2010 г.). Доступно в сети Интернет:Lyman Peter, Varian Hal R. How Much Information 2003? // University of California at Berkeley. Доступно в сети Интернет: http://goo.gl/vpo9N.
14
Мы исходим из предположения, что для записи типичного бита требуется примерно шесть миллиметров. В определенной степени это зависит от соотношения единиц и нулей, поскольку «1» очень узкая. Типичный размер букв в рукописном тексте рассматривается в работе Kamath Vikram et al. Development of an automated handwriting analysis system // ARPN Journal of Engineering and Applied Sciences 6, no. 9 (сентябрь 2011 г.). Доступно в сети Интернет: http://goo.gl/4mlkTm.
15
Таким образом, проблему подсчета овец можно будет считать полностью решенной, если только Вселенная не расширится очень сильно.
Вот почему люди дали всей этой информации название «большие данные». И большие данные сегодняшнего дня – это лишь верхушка айсберга. Полный цифровой след, оставляемый хомо сапиенс, удваивается каждые два года [16] , по мере совершенствования технологий хранения данных, повышения скорости обмена информацией и постепенного перемещения нашей жизни в Интернет. Большие данные становятся все больше, больше и больше.
Цифровая линза
16
Согласно расчетам IDC (International Data Corporation), цифровой след человечества вырастет со 130 экзабайт в 2005 году до 40 000 экзабайт (40 зеттабайт) в 2020 г. Иными словами, удвоение объема информации будет происходить каждый год и 10 месяцев. См. выше.
Пожалуй, самое значительное различие между культурными записями в наше время и в прошедшие эпохи состоит в том, что большие данные сегодняшнего дня существуют в цифровой форме. Подобно оптической линзе, позволяющей с должной степенью надежности трансформировать свет и манипулировать им, цифровые средства передачи позволяют делать то же самое с информацией. При наличии достаточного объема цифровых данных и вычислительных мощностей на человеческую культуру можно взглянуть по-новому, благодаря чему меняется то, как мы понимаем мир и свое место в нем.
Стоит задуматься вот над чем. Что лучше поможет вам понять современное человеческое общество: неограниченный контакт с факультетом социологии ведущего университета, где работают эксперты в области функционирования обществ, или неограниченный доступ к данным Facebook, компании, цель которой направлена на помощь в организации социального взаимодействия людей в Сети?
С одной стороны, работники социологического факультета имеют определенные преимущества, связанные с глубоким знанием и пониманием процессов, протекающих в обществе (вследствие того, что они посвящают десятки лет своей жизни обучению и исследованию этих вопросов). С другой стороны, Facebook представляет собой часть повседневной социальной жизни миллиарда людей. Он знает, где они живут и работают, где и с кем играют, что им нравится, когда они болеют и о чем разговаривают с друзьями. Поэтому мы отдали бы предпочтение Facebook. И это мы еще не учли того, что произойдет в мире через 20 лет, когда Facebook или любой другой сайт подобного рода будет хранить в десять тысяч раз больше информации о каждом жителе планеты? [17]
17
См. Facebook Tops 1 Billion Users // Associated Press (4 октября 2012 г.), доступно в сети Интернет: http://goo.gl/nfK32P.
Подобные размышления уже вынуждают разных ученых заниматься совершенно непривычными вещами – вылезать из своих «башен из слоновой кости» и начинать сотрудничать с крупными компаниями. Несмотря на радикальные отличия в мировоззрении и источниках вдохновения, эти странные люди проводят исследования, которые вряд ли могли представить себе их предшественники, и используют массивы данных, масштаб которых еще не имел прецедентов в истории научной мысли.
Йон Левин, экономист из Стэнфорда, объединился с компанией eBay для изучения принципов ценообразования на рынках реального мира [18] . Левин воспользовался тем, что продавцы на eBay часто проводят массу мелких экспериментов, чтобы понять, какую цену выставлять за свои товары. Изучив сотни тысяч таких экспериментов, Левин со своими коллегами смог пролить новый свет на теорию цен – хорошо изученный, но во многом теоретический подраздел экономической науки. Левин показал, что в уже имеющейся на эту тему литературе не только содержатся реальные факты, но есть и немало значительных ошибок. Его работа оказала огромное влияние и даже помогла исследователю получить медаль Джона Бейтса Кларка – самую престижную награду для экономистов в возрасте до 40 лет, которая часто предшествует Нобелевской премии.
18
См. Einav Liran et al. Learning from Seller Experiments in Online Markets // National Bureau of Economic Research, 2011. Доступно в сети Интернет: http://goo.gl/f9ghir.
Группа исследователей во главе с Джеймсом Фаулером из Калифорнийского университета в Сан-Диего договорилась с Facebook о проведении эксперимента, в котором должен был участвовать 61 миллион его пользователей [19] . Эксперимент показал, что человек охотнее участвует в голосовании, если знает, что это уже сделал его близкий друг. Чем теснее люди общаются, тем большее влияние они могут оказывать друг на друга. Данный эксперимент – рассказ о котором был вынесен на обложку престижного научного журнала Nature – не просто привел к поразительным выводам; благодаря ему в 2010 году на выборы явилось на 300 тысяч людей больше. Этого хватило для того, чтобы повлиять на их итоги.
19
См. Bond Robert M. et al. A 61-Million-Person Experiment in Social Influence and Political Mobilization // Nature 489, no. 7415 (2012). P. 295–298. Доступно в сети Интернет: http://goo.gl/AQdAS0.
Альберт-Ласло Барабаши, физик из Северо-Западного университета, вместе с несколькими крупными телефонными компаниями работал над проектом по отслеживанию перемещения миллионов людей с помощью анализа цифрового следа, оставленного их мобильными телефонами [20] . В результате возник совершенно новый метод математического анализа обычного человеческого движения, оцененного в масштабе целых городов. Барабаши и его команда смогли настолько хорошо проанализировать историю движения, что со временем даже стали предсказывать, куда человек направится в будущем.
20
См. Song Chaoming et al. Limits of Predictability in Human Mobility // Science 327, no. 5968 (2010). P. 1018–1021.
Доступно в сети Интернет: http://goo.gl/rYlF2v.