Текст книги "Неизведанная территория. Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры"

Цифровая линза

Пожалуй, самое значительное различие между культурными записями в наше время и в прошедшие эпохи состоит в том, что большие данные сегодняшнего дня существуют в цифровой форме. Подобно оптической линзе, позволяющей с должной степенью надежности трансформировать свет и манипулировать им, цифровые средства передачи позволяют делать то же самое с информацией. При наличии достаточного объема цифровых данных и вычислительных мощностей на человеческую культуру можно взглянуть по-новому, благодаря чему меняется то, как мы понимаем мир и свое место в нем.

Стоит задуматься вот над чем. Что лучше поможет вам понять современное человеческое общество: неограниченный контакт с факультетом социологии ведущего университета, где работают эксперты в области функционирования обществ, или неограниченный доступ к данным Facebook, компании, цель которой направлена на помощь в организации социального взаимодействия людей в Сети?

С одной стороны, работники социологического факультета имеют определенные преимущества, связанные с глубоким знанием и пониманием процессов, протекающих в обществе (вследствие того, что они посвящают десятки лет своей жизни обучению и исследованию этих вопросов). С другой стороны, Facebook представляет собой часть повседневной социальной жизни миллиарда людей. Он знает, где они живут и работают, где и с кем играют, что им нравится, когда они болеют и о чем разговаривают с друзьями. Поэтому мы отдали бы предпочтение Facebook. И это мы еще не учли того, что произойдет в мире через 20 лет, когда Facebook или любой другой сайт подобного рода будет хранить в десять тысяч раз больше информации о каждом жителе планеты? [17]17
  См. Facebook Tops 1 Billion Users // Associated Press (4 октября 2012 г.), доступно в сети Интернет: http://goo.gl/nfK32P.


[Закрыть]

Подобные размышления уже вынуждают разных ученых заниматься совершенно непривычными вещами – вылезать из своих «башен из слоновой кости» и начинать сотрудничать с крупными компаниями. Несмотря на радикальные отличия в мировоззрении и источниках вдохновения, эти странные люди проводят исследования, которые вряд ли могли представить себе их предшественники, и используют массивы данных, масштаб которых еще не имел прецедентов в истории научной мысли.

Йон Левин, экономист из Стэнфорда, объединился с компанией eBay для изучения принципов ценообразования на рынках реального мира[18]18
  См. Einav Liran et al. Learning from Seller Experiments in Online Markets // National Bureau of Economic Research, 2011. Доступно в сети Интернет: http://goo.gl/f9ghir.


[Закрыть]. Левин воспользовался тем, что продавцы на eBay часто проводят массу мелких экспериментов, чтобы понять, какую цену выставлять за свои товары. Изучив сотни тысяч таких экспериментов, Левин со своими коллегами смог пролить новый свет на теорию цен – хорошо изученный, но во многом теоретический подраздел экономической науки. Левин показал, что в уже имеющейся на эту тему литературе не только содержатся реальные факты, но есть и немало значительных ошибок. Его работа оказала огромное влияние и даже помогла исследователю получить медаль Джона Бейтса Кларка – самую престижную награду для экономистов в возрасте до 40 лет, которая часто предшествует Нобелевской премии.

Группа исследователей во главе с Джеймсом Фаулером из Калифорнийского университета в Сан-Диего договорилась с Facebook о проведении эксперимента, в котором должен был участвовать 61 миллион его пользователей[19]19
  См. Bond Robert M. et al. A 61-Million-Person Experiment in Social Influence and Political Mobilization // Nature 489, no. 7415 (2012). P. 295–298. Доступно в сети Интернет: http://goo.gl/AQdAS0.


[Закрыть]. Эксперимент показал, что человек охотнее участвует в голосовании, если знает, что это уже сделал его близкий друг. Чем теснее люди общаются, тем большее влияние они могут оказывать друг на друга. Данный эксперимент – рассказ о котором был вынесен на обложку престижного научного журнала Nature – не просто привел к поразительным выводам; благодаря ему в 2010 году на выборы явилось на 300 тысяч людей больше. Этого хватило для того, чтобы повлиять на их итоги.

Альберт-Ласло Барабаши, физик из Северо-Западного университета, вместе с несколькими крупными телефонными компаниями работал над проектом по отслеживанию перемещения миллионов людей с помощью анализа цифрового следа, оставленного их мобильными телефонами[20]20
  См. Song Chaoming et al. Limits of Predictability in Human Mobility // Science 327, no. 5968 (2010). P. 1018–1021.
  Доступно в сети Интернет: http://goo.gl/rYlF2v.


[Закрыть]. В результате возник совершенно новый метод математического анализа обычного человеческого движения, оцененного в масштабе целых городов. Барабаши и его команда смогли настолько хорошо проанализировать историю движения, что со временем даже стали предсказывать, куда человек направится в будущем.

Сотрудники компании Google под руководством программиста Джереми Гинсбурга обратили внимание, что люди значительно чаще ищут информацию о симптомах гриппа, его осложнениях и методах лечения во время эпидемии[21]21
  См. Ginsberg Jeremy et al. Detecting Influenze Epidemics Using Search Engine Query Data // Nature 457 (2009). P. 1012–1014. Доступно в сети Интернет: http://goo.gl/WHEWW.


[Закрыть]. Они воспользовались этим вполне очевидным фактом для решения более важной задачи – создания системы, изучающей в режиме реального времени, что ищут через Google жители определенного региона, и позволяющей предсказать возникновение эпидемии гриппа. Эта система раннего предупреждения смогла выявлять новые эпидемии значительно быстрее, чем Центры по контролю и профилактике заболеваний США (несмотря на тот факт, что у этих центров имеется разветвленная и дорогостоящая инфраструктура для решения именно этой задачи).

Радж Четти, экономист из Гарварда, обратился к налоговой службе США[22]22
  См. Chetty Raj, Friedman John N., Rockoff Jonah E. The Long-Term Impacts of Teachers // National Bureau of Economic Research (декабрь 2011 г.), доступно в сети Интернет: http://goo.gl/C18JQ; Chetty Raj et al. How Does Your Kindergarten Classroom Affect Your Earnings? // National Bureau of Economic Research (март 2011 г.), доступно в сети Интернет: http://goo.gl/N9O6a.


[Закрыть]. Он убедил их поделиться информацией о миллионах учащихся, посещавших учебное заведение в определенном городском районе. Вместе со своими соратниками он сопоставил эту информацию с данными из базы школьного совета (в которой фиксировалась информация о школьных заданиях). Таким образом, команда Четти знала, кто учится у тех или иных учителей. На основании всей полученной информации был проведен ряд интереснейших исследований долгосрочного влияния со стороны хороших учителей, а также политических нововведений. Они обнаружили, что работа хорошего учителя сказывается на желании учащихся продолжить учебу в колледже, на величине их дохода через много лет после окончания школы и даже на том, какова вероятность, что они поселятся в том или ином престижном районе. Затем на основании полученных выводов исследователи сформулировали рекомендации по повышению эффективности работы педагогов. В 2013 году Четти также получил медаль Джона Бейтса Кларка.

А один из основателей знаменитого блога Five Thirty Eight, бывший бейсбольный аналитик по имени Нейт Сильвер, решил выяснить, можно ли применить подход на основе больших данных для предсказания победителей национальных выборов[23]23
  См. Silver Nate. FiveThirtyEight, URL: http://www.fivethirtyeight.com; Silver Nate. The Signal and the Noise. New York: Penguin, 2012.


[Закрыть]. Сильвер собрал данные, связанные с голосованием, из множества источников: Gallup, Rasmussen, RAND, Mellman, CNN и других. Используя эти данные, он совершенно точно предсказал, что Обама выиграет выборы 2008 года, а также точно спрогнозировал результаты голосования в коллегиях выборщиков 49 штатов и округа Колумбия. Единственным штатом, с которым он ошибся, была Индиана. Улучшать в системе было особенно нечего, однако ему все равно удалось это сделать. Утром в день голосования в 2012 году Сильвер объявил, что Обама с вероятностью 90,9% выиграет у Ромни, и точно предсказал победителя выборов в округе Колумбия и каждом из штатов (включая, конечно же, Индиану).

Этот список можно продолжать до бесконечности. Используя большие данные, исследователи в наши дни проводят эксперименты, о которых их предшественники не могли и мечтать.

Библиотека всего

В настоящей книге описывается история одного из таких экспериментов.

Объектом наших наблюдений были не люди, лягушки, молекулы или атомы. Эксперимент был связан с одним из самых потрясающих массивов данных в истории самой истории – цифровой библиотекой, цель которой (если верить ее создателям) состоит в том, чтобы включить все когда-либо написанные книги[24]24
  Что имеется в виду? Нет смысла оцифровывать каждую копию каждой книги из когда-либо написанных, хотя заметки на полях порой могут оказаться довольно увлекательными. См. Grafton Anthony, Weinberg Joanna. I Have Always Loved the Holy Tongue. Cambridge, MA: Harvard University Press, 2011. С другой стороны, многие издания наиболее знаменитых работ, переиздававшихся на протяжении столетий, порой очень отличаются. И эти различия могут быть весьма серьезными. См., к примеру, Rumsey Eric. Google Book Search: Multiple Editions Give Quirky Results // Seeing the Picture (12 октября 2010 г.), URL: http://goo.gl/6YNld. В случае Google Books цель состоит в оцифровке одной копии каждого издания каждой книги.


[Закрыть].

Как же возникла эта замечательная библиотека?

В 1996 году два старшекурсника из Стэнфорда, изучавших компьютерные технологии, работали над приостановленным ныне проектом, известным как Stanford Digital Library Technologies Project[25]25
  См. The Stanford Digital Library Technologies Project // Stanford University, URL: http://goo.gl/tstLQ; Google Books History // Google Books, URL: http://goo.gl/ueobb.


[Закрыть]. Цель проекта состояла в разработке прототипа библиотеки будущего, способной интегрировать мир книг с миром глобальной Сети. Студенты работали над инструментом, дающим пользователям возможность изучать библиотечные коллекции, перемещаясь от книги к книге в киберпространстве. Однако сделать это на практике было практически невозможно, поскольку в цифровом виде имелось довольно мало книг. Поэтому двое студентов применили свои идеи и навыки для перехода от одного текста к другому (по следу больших данных во Всемирной паутине), а затем превратили свою работу в небольшую поисковую машину, которую назвали Google.

К 2004 году проект, о котором заявляла компания Google – по «упорядочиванию всей имеющейся в мире информации», – уже реализовывался вполне успешно, благодаря чему у основателя компании Ларри Пейджа нашлось достаточно свободного времени, чтобы вернуться к своей первой любви – библиотекам. Как ни печально, но и к тому моменту количество книг, доступных в цифровой форме, оставалось незначительным. Однако изменилось другое – теперь Пейдж стал миллиардером. Поэтому он решил, что Google стоит заняться бизнесом по сканированию и оцифровке книг. И Пейдж подумал, что Google вполне по силам оцифровать все книги в мире.

Слишком смело? Несомненно. Однако компания Google лихо принялась за дело. Через девять лет после публичного заявления о начале проекта Google оцифровала более 30 миллионов книг[26]26
  Отчасти по причинам, приведенным выше, а отчасти и из-за расплывчатости определения книги как физического объекта подсчет количества книг в обычной библиотеке может оказаться непростым делом. Поэтому данные о коллекции каждой библиотеки были взяты со страницы в «Википедии» по состоянию на 18 июля 2013 г. Стоит отметить, что эти цифры не всегда актуальны. Также нужно оговориться, что Стэнфорд уже начинает закрывать физические библиотеки и заменять их «библиотеками без книг». См. Krieger Lisa M. Stanford University Prepares for the «Bookless Library» // San Jose Mercury News (18 мая 2010 г.), доступно в сети Интернет: http://goo.gl/yauezp.


[Закрыть]. Это примерно каждая четвертая когда-либо опубликованная книга. Коллекция Google превышает по своему размеру коллекцию Гарвардского университета (17 миллионов томов), Стэнфорда (9 миллионов), оксфордской Бодлианской библиотеки (11 миллионов) или любой другой университетской библиотеки. В ней больше книг, чем в Российской государственной библиотеке (15 миллионов), Национальной библиотеке Китая (26 миллионов) и Национальной библиотеке Германии (25 миллионов). На момент написания этой книги единственной библиотекой, в которой хранилось еще больше книг, была Библиотека Конгресса США (33 миллиона). Не исключено, что к тому моменту, как вы прочтете эти строки, Google удастся обогнать и ее.

Длинные данные

О начале работы проекта Google Books мы, как и все остальные, узнали из новостей. Однако лишь через два года, в 2006 году, влияние Google стало ощущаться в реальной жизни. В то время мы завершали научное исследование по английской грамматике. Для нее мы оцифровали вручную несколько учебников по грамматике староанглийского.

Самые нужные нам книги таились в дальних углах гарвардской Вайднеровской библиотеки. Вот как их можно найти. Сначала вам нужно подняться на второй этаж восточного крыла библиотеки. Затем пройти мимо «Рузвельтовской коллекции» и раздела, посвященного языкам американских индейцев. Там вы увидите проход с номерами каталога от 8900 и далее. Наши книги располагались на второй полке сверху.

На протяжении ряда лет, работая над своим исследованием, мы туда регулярно приходили. Мы были единственными, кто вытаскивал эти книги с полок за много лет, а то и десятилетий. Никого, кроме нас, не интересовала эта полка.

В один прекрасный день мы заметили, что книга, которой мы регулярно пользовались в своих исследованиях, появилась в Интернете как часть проекта Google Books. Заинтересовавшись, мы начали искать там и другие книги с нашей полки. Оказалось, что и они там уже есть. И дело вовсе не в том, что корпорацию Google так сильно заботит средневековая английская грамматика. В сущности, почти у каждой из проверенных нами книг, вне зависимости от полки, теперь появился цифровой близнец[27]27
  См., к примеру, оцифрованное издание книги Klipstein Louis F. Grammar of the Anglo-Saxon Language. New York: George P. Putnam, 1848, доступно в сети Интернет: http://goo.gl/cWRlJ. Стоит отметить, что из юридических и этических опасений Гарвард принял решение выйти из программы Google Books, позволив Google произвести оцифровку лишь материалов, не защищенных копирайтом. См. Mirviss Laura G. Harvard-Google Online Book Deal at Risk // Harvard Crimson (30 октября 2008 г.), доступно в сети Интернет: http://goo.gl/0tYflD.


[Закрыть]. За то время, которое нам потребовалось для изучения нескольких книг, Google успела оцифровать содержимое нескольких зданий.

Усилия компании Google позволяли получить совершенно новый тип больших данных и даже изменить то, как люди оценивают свое прошлое. В основном большие данные являются большими, но «короткими» – это недавние записи, фиксирующие недавние события. Это связано с тем, что создание данных катализируется Интернетом, сравнительно недавним изобретением. Наша цель состояла в изучении культурных изменений, которые могут охватывать длительные периоды времени по мере того, как целые поколения людей живут и умирают. Когда речь заходит об изучении изменений в историческом масштабе, короткие данные, вне зависимости от степени своей обширности, нам мало чем помогут.

Google Books как база данных по своему масштабу не превышает любую другую базу в нашу эпоху цифровых средств передачи и хранения информации. Однако значительная часть того, что оцифровывает Google, не связана с современностью – в отличие от электронной почты, RSS-фидов и онлайновых игр, книги уходят в глубину веков. Поэтому данные проекта Google Books – это не просто большие, а еще и длинные данные[28]28
  Этот термин не так давно предложен исследователем социальных сетей Сэмюелем Арбесманом. См. Arbesman Samuel. Stop Hyping Big Data and Start Paying Attention to Long Data // Wired (29 января 2013 г.), доступно в сети Интернет: http://goo.gl/X7oEC.


[Закрыть].

Поскольку в книгах содержатся длинные данные, оцифрованные книги не ограничиваются описанием современной жизни, в отличие от большинства других больших массивов данных. Книги могут показать нам, как менялась наша цивилизация на протяжении довольно больших периодов времени – превышающих не только человеческую жизнь, но и жизни целых государств.

Книги представляют собой отличный массив данных еще и вот почему. Они охватывают широкий круг тем и демонстрируют различные точки зрения.

Об изучении масштабной коллекции книг можно думать как об изучении большого количества людей, многие из которых к моменту изучения уже мертвы. В исследованиях по истории и литературе книги, относящиеся к определенному времени и месту, становятся чуть ли не самыми важными источниками информации об этом времени и месте.

Это заставило нас предположить, что, изучив через цифровую линзу книги проекта Google, мы сможем создать новый «скоп» для изучения человеческой истории. И мы знали – сколько бы времени ни потребовалось, мы сможем изучить эти данные.

Больше данных – больше проблем

С большими данными появляются не только новые возможности для понимания окружающего мира, но и новые научные проблемы[29]29
  Хотя лучшие эмпирические массивы данных малодоступны, социальные сети остаются довольно перспективным полем для исследований. См., к примеру: Watts Duncan J., Strogatz Steven H. Collective Dynamics of «Small-World» Networks // Nature 393, no. 6684 (1998). P. 440–442. Доступно в сети Интернет: http://goo.gl/be3Xmi; Barabаsi Albert-Lаszlу, Albert Reka. Emergence of Scaling in Random Networks // Science 286, no. 5439 (1999). P. 509–512. Доступно в сети Интернет: http://goo.gl/eESUa8; Milo Ron et al. Network Motifs: Simple Building Blocks of Complex Networks // Science 298, no. 5594 (2002). P. 824–827.


[Закрыть].

Первая серьезная проблема заключается в том, что большие данные и данные, которыми оперируют ученые, структурированы совершенно по-разному. Ученые предпочитают отвечать на тщательно сформулированные вопросы с помощью элегантных экспериментов, дающих воспроизводимые и точные результаты. Однако большие данные часто сопровождаются неразберихой. Типичный массив больших данных представляет собой смесь фактов и измерений, сделанных без какой-либо научной цели и с использованием далеко не универсальных процедур. Он изобилует ошибками и огромным количеством пугающих пробелов – например, недостающими элементами информации, важными для любого разумного ученого. Такие ошибки и упущения часто непоследовательны, даже в рамках единого массива данных. Это связано с тем, что большие массивы данных часто создаются путем объединения большого количества более мелких массивов данных. Очевидно, что некоторые из компонентов массивов данных более надежны, чем другие, и у каждого из них есть свои особенности. Хорошим примером может служить социальная сеть Facebook. Добавление людей «в друзья» может означать совершенно разное для разных людей. Кто-то делает это довольно свободно. Кто-то более осторожен. Некоторые добавляют в друзья коллег, другие этого не делают. Отчасти работа с большими данными как раз и требует, чтобы их хорошо понимали и учитывали все подобные особенности. Но настолько хорошо можно быть знакомым с петабайтом данных?

Вторая серьезная сложность заключается в том, что большие данные не всегда вписываются в концепцию того, что мы привыкли понимать под научным методом. Ученые любят подтверждать конкретные гипотезы и постепенно собирать свои выводы сначала в связные, а затем и математически верные теории. Стоит покопаться в любом достаточно интересном большом наборе данных, и вы неминуемо сделаете открытие – к примеру, найдете корреляцию между активизацией морского пиратства и изменением температуры в атмосфере. Такой вид исследований иногда называется «исследованием без гипотез», поскольку вы никогда не знаете в начале работы, что найдете в процессе. Тем не менее большие данные вам помогут куда меньше, если нужно объяснить такую корреляцию с точки зрения причинно-следственной связи. Вызывают ли действия пиратов глобальное потепление? Заставляет ли повышение температуры на улице заниматься пиратством? А если эти два показателя не связаны между собой, то почему они оба так сильно растут в последние годы? Большие данные часто заставляются нас теряться в догадках.

Поскольку мы продолжаем накапливать необъясненные и недостаточно объясненные факты, появилось мнение, что причинно-следственная связь как основа научного познания рискует уступить свое место корреляции. Некоторым даже кажется, что дальнейшее развитие больших данных приведет к смерти теории. Однако с такой точкой зрения вряд ли можно согласиться. Мы можем отнести к подлинным триумфам современной науки такие теории, как теория общей относительности Эйнштейна или теория естественного отбора Дарвина, объясняющие причины сложных явлений с помощью небольшого набора основополагающих принципов. Если поиск таких теорий уйдет в прошлое, то мы рискуем потерять саму суть того, что называется наукой. Какой смысл делать миллионы открытий, если мы не можем объяснить сути ни одного из них? Это не значит, что мы должны отказываться от объяснений природы вещей. Это значит лишь, что мы должны изменить принципы своей работы.

И последняя значительная проблема связана с тем, где теперь живут данные. Мы как ученые привыкли получать данные, экспериментируя в своих лабораториях или выбираясь в мир природы и фиксируя свои наблюдения. Ученый в некотором смысле контролирует получение данных. Однако в мире больших данных привратниками самых обширных массивов оказываются крупные корпорации и даже правительства. А людям, гражданам стран и клиентам компаний, далеко не безразлично, как используются эти данные. Мало кто хочет, чтобы налоговая служба США делилась данными личных налоговых деклараций с исследователями (пусть и руководствующихся самыми добрыми намерениями). Продавцы на eBay не хотят, чтобы полная информация о произведенных ими сделках становилась общедоступной или передавалась каким-то студентам-недоучкам. Лог-файлы поисковых машин и электронные письма должны по умолчанию обладать определенной степенью интимности и конфиденциальности. Авторы книг и блогов защищены законами об авторских правах. А коммерческие компании распространяют право собственности на контролируемые ими данные. Они могут анализировать эти данные с намерением получить больше от вложений в рекламу, но вряд ли согласятся поделиться своими конкурентными преимуществами с чужаками, особенно исследователями и учеными, которые вряд ли поспособствуют повышению прибыльности бизнеса.

По всем названным причинам некоторые из самых важных ресурсов в истории знания людей о самих себе остаются во многом неиспользуемыми. Несмотря на то, что изучение социальных сетей проводится уже на протяжении десятилетий, мало что делалось в масштабах всей социальной сети Facebook, поскольку компании незачем делиться своими данными. Несмотря на то, что теория рынка существует уже несколько столетий, подробности сделок на основных онлайновых торговых площадках остаются в целом недоступными для экономистов (проведенное Левиным исследование eBay было исключением из правил). И, несмотря на тот факт, что люди потратили тысячелетия, чтобы придумать географические карты, изображения, созданные компаниями типа DigitalGlobe (снявшей поверхность Земли со спутников с разрешением 50 см), никогда не подвергались систематическому анализу. Если вдуматься, то такое несоответствие нашему обычно ненасытному желанию учиться и изучать шокирует. Для сравнения представьте себе ситуацию, при которой несколько поколений астрономов изучали бы далекие звезды, но не имели юридических прав смотреть на Солнце.

Тем не менее, зная, что на небе есть Солнце, мы не сможем побороть желание посмотреть на него. И поэтому в наши дни по всему миру происходит странный брачный танец. Исследователи и ученые обращаются к программистам, продукт-менеджерам и даже руководителям высшего звена корпораций за доступом к их данным. Бывает, первый этап переговоров проходит хорошо. Участники начинают встречаться за кофе. Так, слово за слово, через год на сцене появляется совершенно новый участник. И, к сожалению, чаще всего он оказывается юристом[30]30
  Стоит отметить, что присутствие юристов в нашей жизни – это не всегда плохо. Так, у одного из авторов этой книги супруга – юрист.


[Закрыть].

В попытках проанализировать имеющуюся у Google библиотеку всего мы были вынуждены найти способ для решения каждой из этих проблем. И должны признаться, что препятствия, связанные с цифровыми книгами, совсем не уникальны; по сути, они представляют собой всего лишь микрокосм, отражающий состояние больших данных в наши дни.