Текст книги "Неизведанная территория. Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры"

Культуромика

В настоящей книге мы расскажем вам о своей семилетней работе по количественной оценке исторических изменений. В результате мы создали новый вид «скопа» и предложили необычный, привлекательный и притягательный подход к языку, культуре и истории, который мы называем культуромикой[31]31
  Поначалу мы разделили все результаты нашей работы на четыре части: текст исследования, подробное методологическое приложение и два вспомогательных веб-сайта. См. Michel Jean-Baptiste et al. Quantitative Analysis of Culture Using Millions of Digitized Books // Science 331, no. 6014 (14 января 2011 г.), доступно в сети Интернет: http://goo.gl/mahoN; подробный вспомогательный текст, доступный в сети Интернет: http://goo.gl/1e509; Ngram Viewer, Google Books, 2010, URL: http://books.google.com/ngrams; Culturomics. Cultural Observatory, URL: http://www.culturomics.org. Поскольку в наших ссылках мы будем часто обращаться к Michel et al., то обозначим ее как Michel2011. Аббревиатура Michel2011S будет использоваться для отсылки на вспомогательный текст.


[Закрыть].

Мы опишем множество наблюдений, которые стали результатом культуромического подхода. Мы поговорим о том, что показали нам обработанные данные в отношении изменений в английской грамматике, как в словарях возникают ошибки, как люди становятся знаменитыми, как правительства подавляют идеи, как общества учатся и забывают и как – совсем чуть-чуть – наша культура может вести себя детерминистическим образом, что дает возможность предсказать те или иные аспекты нашего общего будущего.

И, разумеется, мы представим вам наш новый «скоп» – инструмент, созданный нами вместе с Google и названный – по причинам, о которых мы расскажем в главе 3, – Ngram Viewer[32]32
  См. Ngram Viewer 2 и выше; Aiden Erez Lieberman, Michel Jean-Baptiste. Culturomics, Ngrams and New Power Tools for Science // Google Research Blog (10 августа 2011 г.), URL: http://goo.gl/FSbbP; Orwant Jon. Ngram Viewer 2.0 // Google Research Blog (18 октября 2012 г.), URL: http://goo.gl/zOSfg.


[Закрыть]. Выпущенный в 2010 году, Ngram Viewer позволяет создавать графики временных изменений частотности слов и идей. Этот «скоп» – и многочисленные расчеты, благодаря которым он возник, – представляет собой описанного во вступлении робота-историка. Вы можете поработать с ним самостоятельно прямо сейчас, зайдя на страницу http://books.google.com/ngrams. Результат наших трудов – это усердный робот, который круглосуточно используют миллионы людей всех возрастов по всему миру. Они стремятся понять историю по-новому – познавая непознанное.

Если коротко, то эта книга посвящена истории, которую рассказывают роботы, – истории о том, как выглядит человеческое прошлое под цифровой линзой. И хотя сегодня Ngram Viewer может показаться чем-то удивительным или небывалым, сама по себе цифровая линза пользуется огромным успехом, почти так же, как оптическая линза многие столетия назад. Из-за постоянно растущего цифрового следа каждый день появляются новые «скопы», открывающие прежде незаметные аспекты истории, географии, эпидемиологии, социологии, лингвистики, антропологии и даже биологии с физикой. Мир меняется. Меняется и то, как мы смотрим на мир и как воспринимаем все эти изменения.

Скольких слов стоит картинка?

В 1911 году Артур Брисбейн, редактор одной американской газеты, в разговоре со специалистами по маркетингу произнес свою знаменитую фразу о том, что изображение «стоит тысячи слов». Не исключено, что он заявлял о «десятках тысяч слов». А может быть, речь шла о «миллионе слов»? В любом случае за несколько десятилетий это выражение приобрело популярность и – к возможному огорчению Брисбейна – теперь почему-то считается японской поговоркой (возможно, потому, что его слушатели отлично разбирались в маркетинге) [33]33
  В 1911 году выдержки из его выступления в городе Сиракьюс, штат Нью-Йорк, появились в Printers’ Ink, первом американском деловом издании по вопросам рекламы. В выдержках приводится первая зафиксированная форма высказывания: «Используйте картинку. Она стоит тысячи слов». Вскоре после этого появилась более компактная форма: «Картинка стоит тысячи слов», а также варианты с использованием «десятка тысяч» и «миллиона». Поначалу все три варианта приписывались Брисбейну. Вполне возможно, что он действительно использовал их все в разных случаях. См. Printers’ Ink 75, no. 1 (6 апреля 1911 г.). P. 17. К 1925 году фразу уже начали приписывать Конфуцию. См. Management Accounting // National Association of Cost Accountants (1925).


[Закрыть].

Так что же сказал Брисбейн на самом деле? К сожалению, наш новый «скоп» вряд ли сможет найти первоисточник этого выражения. И на эту тему есть еще одна японская поговорка:

По сравнению со всеми произнесенными словами

Все отсканированные Google книги

Скромны, как хайку.

Тем не менее видно, как постепенно оформлялся брисбейновский принцип работы с изображениями в экономике.

Судя по всему, все три варианта – «тысяча слов», «десяток тысяч слов» и «миллион слов» – возникли практически одновременно после того, как Брисбейн произнес эту фразу. На протяжении следующих двух десятилетий они конкурировали между собой. Вариант «десяток тысяч» быстро вырвался в лидеры. Однако затем наступили 1930-е. Может быть, «десять тысяч» и «миллион» показались во времена Великой депрессии слишком заоблачными? Какова бы ни была причина, частота употребления варианта «картинка стоит тысячи слов» стала постепенно расти и в какой-то момент оставила конкурентов далеко позади.

Глава 2
Г. К. Ципф и охотники за окаменелостями

beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, – beautiful. beautiful. beautiful. beautiful… beautiful…

– Legendary, Lexical, Loquacious Love[34]34
  См. Reimer Karen. Legendary, Lexical, Loquacious Love. Chicago: Sara Ranchouse, 1996. На обложке книги указано: «Карен Реймер переписывает Ив Раймер». прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный, – прекрасный. прекрасный. прекрасный. прекрасный… прекрасный… (Прим. ред.)


[Закрыть] —

В 1996 году концептуальная художница Карен Реймер опубликовала книгу Legendary, Lexical, Loquacious Love («Легендарная, лексическая, болтливая любовь»). И вот как она ее написала – она взяла полный текст любовного романа и расставила все его слова по алфавиту. Если слово встречалось в произведении несколько раз, то оно появлялось такое же количество раз в ее книге.

В книге отсутствуют синтаксис и предложения. По сути, это 345-страничный список слов, расположенных в алфавитном порядке. Она не похожа на связное повествование. Собственно говоря, когда вы ее читаете, она кажется полной бессмыслицей.

Мы редко читаем любовные романы, однако работа Реймер стала исключением. Она заставила нас пролистать ее целиком, поразив с первой страницы до последней, с драматического начала:

Глава 1

A

A A A A A A A A A A A A A A A A

A A A A A A[35]35
  A – неопределенный артикль в английском языке (Прим. ред.).


[Закрыть]

И до потрясающего конца:

Глава 25

Z

zealous[36]36
  Страстный (англ.) (Прим. ред.).


[Закрыть]

Двадцать пять глав, а не двадцать шесть: для буквы X главы не нашлось, поскольку в книге не было ни одного слова, начинавшегося с нее. В любовных романах встречаются откровенные элементы (то, что принято обозначать аббревиатурой XXX), но вот слова на эту букву встречаются в них крайне редко.

И хотя эта книга мало чем примечательна, она тем не менее позволяет нам многое узнать о жанре любовного романа как таковом. Например, очевидно, что эта книга написана для «нее» – слово her («ее») занимает восемь полных страниц (с. 130–138), his («его») – две с половиной (с. 141–144). В книге можно найти полстраницы «глаз» (eyes) и треть страницы «грудей» (breasts), а вот «ягодицы» (buttocks) упоминаются в ней всего лишь один раз. Книгу можно назвать довольно динамичной – на одной лишь с. 62 слово «кульминация» (climax) встречается три раза.

Иногда книга может показаться не слишком интеллектуальной. Например, слово «прекрасный» (beautiful) встречается в ней 29 раз, «умный» (Intelligent) – всего однажды. Однако бывает и так, что мы ощущаем напряжение исходной книги, – взять хотя бы леденящий душу пассаж на с. 187: Murderers murderers, murdering murdering murdering murdering murdering murdering murdering, murderous murderous. murders murders, murky murmur murmured («Убийцы убийцы, убивая убивая убивая убивая убивая убивая убивая убивая, убийственный убийственный, убийства убийства мутный шум пробормотал»).

На протяжении нескольких лет мы обращались к этой книге снова и снова, каждый раз обнаруживая нечто новое и интересное.

Все это кажется поначалу странным. Можно было бы предположить, что, превращая любовный роман в алфавитный список и тем самым уничтожая его изначальный смысл, Реймер могла бы заодно уничтожить все то, что делало текст интересным. И в какой-то степени это правда. Однако в результате алфавитной реорганизации текста нам открывается невидимый прежде мир частотности слов – лексических атомов, из которых состоит текст. Эта частотность – и истории, которые она рассказывает, – как раз и превращает результат работы Реймер в столь увлекательное повествование.

Трудный ребенок

На момент нашего знакомства в 2005 году тема больших данных была еще неактуальной[37]37
  Идея «больших данных» пока еще слишком нова для того, чтобы найти достойное отражение в книгах; см. наше обсуждение времени, которое требуется, чтобы термины стали появляться в книгах, в главе 6. Согласно данным Google Trends, количество результатов поиска на тему больших данных было довольно постоянно до 2011 года, а затем стало расти. Статья в Википедии Big Data была создана в апреле 2010 года; по состоянию на 14 июля 2013 г. она подвергалась редактированию 694 раза, ее просматривали более 150 000 раз в месяц и она стоит на 2022-м месте по популярности в англоязычной «Википедии». См: Big data // Google Trends, 2013, URL: http://goo.gl/tL8GnD; Big Data // Wikipedia (14 июля 2013 г.), URL: http://goo.gl/DFFbr; Big Data: Revision History // Wikipedia (14 июля 2013 г.), URL: http://goo.gl/Jvla3; Big Data // X!’s Edit Counter (14 июля 2013 г.), URL: http://goo.gl/e9YZ7v; Big Data // Wikipedia Article Traffic Statistics (14 июля 2013 г.), URL: http://goo.gl/vgYxH.


[Закрыть]. Идея чтения миллионов книг за долю секунды пока что не приходила нам в голову. Мы были всего лишь молодыми студентами-старшекурсниками, которых интересовала масса вопросов.

Для того чтобы найти, чем заинтересоваться, нужна соответствующая среда. Мы встретились на гарвардской программе Evolutionary Dynamics[38]38
  Лучше всего понять атмосферу этого места и познакомиться с участниками проекта можно, прочитав книгу Новака. См. Martin A. Nowak with Roger Highfield, SuperCooperators. New York: Free Press, 2011.


[Закрыть] – в настоящей гавани творчества и науки, организованной харизматичным математиком и биологом Мартином Новаком. Программа «Эволюционная динамика» представляла собой площадку, на которой математики, лингвисты, онкологи, религиоведы, психологи и физики собирались вместе и размышляли о новых способах изучения мира. Новак призывал нас искать решения любых проблем, интересовавших нас, вне зависимости от того, к какой области знания они относились.

Что делает проблему увлекательной? На эту тему можно вести множество споров. Нам казалось, что увлекательный вопрос – это вопрос, который может задать маленький ребенок, ответ на который неизвестен, и при поиске этого ответа (занимающем порой несколько лет научных исследований) можно достичь вполне заметного прогресса. Именно такие вопросы казались интересными и нам. Дети – отличный источник идей для исследований. Их вопросы вроде «Куда уходит солнце по вечерам?» [39]39
  Ответ на этот вопрос приводится в довольно противоречивой работе, изначально опубликованной Галилеем в 1632 году. См. Galileo Galilei, Dialogue Concerning the Two Chief World Systems, Ptolemaic and Copernican. New York: Modern Library, 2001. (Рус. изд.: Галилей Г. Диалог о двух главнейших системах мира – птолемеевой и коперниковой. М. – Л.: ГИТТЛ, 1948. – Прим. ред.)


[Закрыть] и «Почему небо синее?» [40]40
  Это вызвано явлением рассеяния Рэлея, открытым лордом Рэлеем (в то время его имя звучало как Джон Стратт). См. John Strutt. On the Light from the Sky, Its Polarization and Colour // Philosophical Magazine 41, series 4 (1871). P. 107–120, 274–279.


[Закрыть] заставляют пытливые умы погрузиться в глубины астрономии и физики. А вопросы вроде «Может ли дерево вырасти и стать выше горы?» [41]41
  См. George W. Koch et al. The Limits to Tree Height // Nature 428 (22 апреля 2004 г.). P. 851–854. Доступно в сети Интернет: http://goo.gl/lxNlq.


[Закрыть] или «Могли бы мы жить вечно, если бы изо всех сил старались избегать всевозможных опасностей?» заставляют обратиться к изучению некоторых актуальных тем в современной биологии. Привычный для любых родителей вопрос «Но почему я должен идти спать прямо сейчас?» [42]42
  См. Carlos Schenck. Sleep. New York: Penguin, 2007. Несмотря на наличие огромного количества книг на эту тему, никто в точности не знает, почему нам необходимо спать. Теоретикам есть где разгуляться в этой области. См., к примеру, Van M. Savage and Geoffrey B. West. A Quantitative, Theoretical Framework for Understanding Mammalian Sleep // PNAS: Proceedings of the National Academy of Sciences (20 ноября 2006 г.), доступно в сети Интернет: http://goo.gl/wFWDC.


[Закрыть] – не дает заснуть множеству неврологов.

Однако из всех этих вопросов нас увлек один: «Почему мы говорим drove, а не drived?» [43]43
  Сравниваются две формы прошедшего времени глагола, одна из которых образована по правилу, но не существует в языке, вторая – существует, но образована не по правилу (Прим. ред.).


[Закрыть]

Вопрос показался нам интересным, поскольку представлял собой простой пример довольно важной для всего человечества темы. Почему мы, как культура, используем одни слова или идеи, а не другие? Почему мы соблюдаем одни правила и игнорируем все прочие?

Для поиска решений таких вопросов возможны два подхода. Первый состоит в том, чтобы сконцентрироваться на нынешних обстоятельствах, которые и приводят к тому, что мы ведем себя определенным образом. Например: «Мой милый сын, ты говоришь drove, потому что все остальные тоже говорят drove, а если бы ты сказал drived, то наши соседи подумали бы, что мы, твои родители, не озаботились тем, чтобы научить тебя правильному английскому языку». Это отличный ответ, заставляющий задуматься о природе социальных норм. Философы занимались осмыслением таких вопросов на протяжении столетий. Однако порой ученый может прийти к гораздо более неожиданным открытиям, изучая явления в исторической перспективе.

Пожалуй, самым впечатляющим примером перспективного подхода во всей истории науки могут считаться работы Чарльза Дарвина. Более 150 лет назад Дарвин отправился в путешествие на корабле и столкнулся со множеством странных живых существ. Особенно сильно его заинтересовали некоторые птицы, которых он увидел на Галапагосах: почему клювы вьюрков имели такую странную форму? И вообще, почему животные выглядят так, как они выглядят?

А затем Дарвин сделал крайне проницательное заключение. Вместо того чтобы сконцентрироваться исключительно на настоящем, он посмотрел в далекое прошлое. Дарвин задался вопросом – как получилось, что со временем те или иные организмы обрели нынешнюю форму? Если мы хотим понять мир в его нынешнем виде, полагал он, мы должны понять и суть процесса изменений, который привел нас в это состояние. И этот процесс изменений – важнейшее открытие Дарвина – представляет собой комбинацию воспроизводства, мутации и естественного отбора, и эта комбинация (или, иными словами, теория эволюции) способна объяснить все примечательное разнообразие живого мира.

Перспективный подход превращает вопрос о том, почему мы говорим drove, а не drived, в научный поиск тех сил, которые определяют эволюцию человеческой культуры. В течение длительного периода времени мы совершенно не представляли себе, как подступиться к этим силам. Все, что у нас было, это «детский» вопрос.

Охотники на динозавров

Мы как ученые должны заниматься сбором данных – холодных, четких фактов и точных результатов измерений. Мы должны формулировать однозначные гипотезы, а затем пытаться изменить или скорректировать их с помощью точных экспериментов и анализа. С этой точки зрения культура – вещь, которую сложно определить и еще сложнее измерить, – может оказаться довольно твердым орешком. Именно это и делает столь непростой научную работу в областях вроде антропологии. Отчасти именно по этой причине в 2010 году Американская антропологическая ассоциация приняла довольно противоречивое решение об исключении слова «наука» из формулировки своей задачи (стоит отметить, что позднее это слово было вновь возвращено в текст) [44]44
  См. Nicholas Wade. Anthropology a Science? Statement Deepens a Rift // New York Times (9 декабря 2010 г.), доступно в сети Интернет: http://goo.gl/eCI9K3.


[Закрыть].

Мы решили начать с достаточно узкого аспекта культуры, который довольно просто определить и измерить, – языка. Язык представляет собой своеобразный микрокосм для изучения культуры в целом. Это – основное средство распространения человеческой культуры. Он меняется, и это легко заметит любой человек, читающий пьесы Шекспира. И наконец, язык часто имеет письменную форму и именно в этой форме превращается в массив данных, удобный для научного анализа. В конечном счете письменный язык может считаться одним из самых ранних предшественников больших данных.

Каким же образом следует подходить к вопросу изучения эволюции языка? Если взять биологию, то лучший способ понять пути развития эволюции состоит в изучении окаменелостей. Однако находить ископаемые довольно сложно. Для этого требуется сочетать тщательное планирование и хорошую стратегию. С точки зрения успешного поиска окаменелостей мало кто может сравниться с Натаном Мирвольдом, возможно, величайшим охотником на динозавров в своем поколении (этот человек множества талантов также стал одним из основателей Microsoft Research и написал книгу о современной кухне) [45]45
  См. Nathan Myhrvold, Chris Young, and Maxine Bilet. Modernist Cuisine: The Art and Science of Cooking. Bellevue, WA: The Cooking Lab, 2011; Malcolm Gladwell. In the Air // New Yorker (12 мая 2008 г.), доступно в сети Интернет: http://goo.gl/TTtsLU.


[Закрыть]. И дело вовсе не в том, что Мирвольду везет больше, чем другим, и что каждый беловатый камень, который он в своих экспедициях берет в руки, оказывается черепом динозавра Tyrannosaurus rex. Мирвольд и его команда используют подробные геологические карты, спутниковые фотографии и свою собственную программу экологического анализа. Все это помогает им понять, где заниматься поисками и где белые камни действительно имеют шансы оказаться окаменелостями. В результате, начиная с 1999 года, им удалось обнаружить десять скелетов тираннозавров – при том что за 90 предшествовавших лет было найдено всего 18 таких скелетов. Выражаясь словами самого Мирвольда, «мы господствуем на рынке T. rex».

Мы решили господствовать на рынке лингвистических окаменелостей. Подобно тому, как окаменелости эпохи динозавров рассказывают нам о биологической эволюции, лингвистические окаменелости помогают нам понять, как развивается язык. Однако для того, чтобы повысить шансы на успех в поиске таких окаменелостей, нам был необходим некий руководящий принцип, помогающий понять, где именно копать. И оказалось, что нужный нам инструмент был создан 80 лет назад человеком, который, как и мы сами, искренне любил считать.

1937: Одиссея данных

Джордж Кингсли Ципф работал в Гарварде в 1930-е и 1940-е годы, возглавляя отделение германской литературы. У него имелась комбинация довольно редких навыков – с одной стороны, он был гуманитарием, а с другой – разбирался в количественных измерениях.

Будучи филологом, Ципф проводил кучу времени в размышлениях о словах. Ему казалось вполне очевидным, что не все слова созданы равными. Определенный артикль the используется в английском языке постоянно, но мы редко слышим слово quiescence («неподвижность»). Ципф счел этот дисбаланс довольно странным и захотел понять, в чем дело.

Понять суть проблемы можно вот как. Представьте себе, что английский язык – это страна, в которой каждое слово является гражданином. А еще представьте, что высота каждого слова-гражданина пропорциональна частоте его употребления – the будет гигантом, а quiescence – карликом[46]46
  Частота этого слова в книгах на английском языке в 2000 году – 4,6%, или 2 употребления на каждые 5 миллионов слов.


[Закрыть]. Каково было бы жить среди людей со столь странным ростом? Именно такой «детский» вопрос и заинтересовал Ципфа.

Чтобы представить такой мир наглядно, Ципфу пришлось бы провести перепись всех слов и посчитать, сколько раз использовалось каждое из них. В наши дни это легко и просто сделать с помощью компьютера (программы из одной строки) [47]47
  Приведенная ниже команда позволяет создать в системе Linux список всех однословных элементов в текстовом файле, отсортированных от самого частого к наименее частому: cat textfile.txt | tr’’ ‘n’ | sort | uniq – c | sort – k1 – n -r > 1grams.txt


[Закрыть]. Именно поэтому для написания концептуальной книги Legendary, Lexical, Loquacious Love не требовались десятилетия. Но в 1937 году таких возможностей не было. Современные компьютеры просто не существовали, а словом computer («компьютер») обозначался человек, занимавшийся арифметическими вычислениями[48]48
  Среди них было много женщин. Их замечательная работа описана в книге Grier David Alan. When Computers Were Human. Princeton, NJ: Princeton University Press, 2007. Сервис компании Amazon под названием Mechanical Turk, описываемый как «искусственный искусственный интеллект», представляет собой в каком-то смысле возврат к подобному подходу, только с использованием сети Интернет и краудсорсинга. См. URL: http://www.mturk.com.


[Закрыть].

Для подсчета слов Ципфу пришлось бы пойти проверенным путем – вручную записывать каждый случай появления того или иного слова в тексте. Разумеется, это была бы невероятно скучная работа.

Думается, что он испытал восторг, узнав о работе Майлса Л. Хенли[49]49
  См. Miles Hanley. Word Index to James Joyce’s Ulysses. Madison: University of Wisconsin Press, 1937.


[Закрыть]. Хенли, большой поклонник «Улисса», опубликовал результат кропотливой и героической работы, которой дал довольно скучное название Word Index to James Joyce’s Ulysses («Индекс слов в книге Джеймса Джойса „Улисс“»). Эта книга (представлявшая собой то, что ученые называют «конкорданс») предлагала исследователям «Улисса» и прочим энтузиастам список всех слов книги. Мало какая другая книга вызвала бы у Ципфа больший интерес. Теперь для того, чтобы разобраться со своей первоначальной задачей, ему нужно было взять индекс Хенли и посчитать, какова длина каждой из статей[50]50
  Первая встреча Ципфа с законом, носящим его имя, произошла еще до того, как он занялся анализом частоты слов в «Улиссе». В 1911 году бизнесмен по имени Р. С. Элдридж опубликовал список частотных слов, взятых с восьми полос газеты. Элдридж заметил, что «даже умеренное количество слов при мудром выборе позволит любым двум людям понять друг друга… и серьезно обсуждать множество проблем». Его цель состояла в использовании лексической статистики для формулирования «основ универсального словаря». Список лег в основу расчетов Ципфа для книги 1935 года «Психобиология языка» – первой из публикаций Ципфа о закономерности, ныне известной как «закон Ципфа». См. Zipf George Kingsley. The Psycho-Biology of Language. Boston: Houghton Mifflin, 1935, доступно в сети Интернет: http://goo.gl/KYvOcK; Zipf George Kingsley. Human Behavior and the Principle of Least Effort. Reading, MA: Addison-Wesley, 1949; Eldridge R. C. Six Thousand Common English Words. Buffalo, NY: Clement Press, 1911.


[Закрыть]. Работа стала на порядок проще.

Обратите внимание, что Ципф намного опередил свое время в понимании того, что только начинают понимать ученые наших дней, – как логически анализировать информацию. Ципф умело переформулировал важные для себя вопросы в свете доступных ему данных. Вместо того чтобы заняться неразрешимой проблемой подсчета всех слов, он сфокусировался на вполне решаемой проблеме подсчета слов в книге «Улисс». И если бы он был жив в наши дни, то оказался бы у дверей Google в тот же самый момент, когда компания объявила о своем проекте по оцифровке книг.

Вооружившись индексом Хенли, Ципф проранжировал слова в «Улиссе» по частоте употребления[51]51
  Ципф во многом полагался на приложение к индексу Хенли, созданное Мартином Йоосом, где приводилось большинство необходимых статистических данных.


[Закрыть]. Первое место занял определенный артикль the, использованный 14 877 раз – то есть он представлял собой каждое восемнадцатое слово. Десятым по частоте оказалось слово I («я») с 2653 случаями употреблений. Слово say, встречавшееся в книге 265 раз, оказалось на сотой позиции. Слово step с 26 случаями употреблений заняло в рейтинге Ципфа тысячное место. А чтобы оказаться на десятитысячной позиции, слову indisputable («бесспорный») было достаточно появиться в тексте всего два раза.

Изучая получившийся список, Ципф заметил кое-что любопытное – а именно обратную связь между позицией слова и частотой его использования. Если номер позиции слова был в 10 раз выше – пятисотое место вместо пятидесятого, – то оно встречалось в 10 раз реже. Таким образом his («его»), оказавшееся на восьмом месте с 3326 упоминаниями, встречается в 10 раз чаще, чем слово eyes («глаза») (восьмидесятая позиция, 330 случаев употреблений). Иными словами, можно было сказать, что редких слов гораздо больше, чем можно было ожидать. В «Улиссе» лишь 100 слов используется более 2653 раз. Однако в книге есть сто слов, использующихся более 265 раз, тысяча слов, использующихся более 26 раз, и так далее.

Кроме того, как вскоре обнаружил Ципф, это было характерно не только для слов в «Улиссе» Джойса. Такая же закономерность проявлялась в словах из газет, текстов, написанных на китайском языке и латыни, и практически во всех остальных информационных источниках, к которым он обращался. Это открытие, называемое в наши дни законом Ципфа, оказалось универсальным организующим принципом для всех известных языков[52]52
  Было бы большим упущением, если бы мы не отметили, что закон Ципфа не имеет прямого отношения к Ципфу и не является законом в строгом смысле слова, причем по нескольким причинам. Прежде всего он верен лишь отчасти; при ближайшем рассмотрении в большинстве языков имеются систематические отклонения от чисто ципфовской закономерности. Во-вторых, несмотря на множество (конфликтующих между собой) теоретических построений, не до конца понятно, применим ли закон Ципфа для всех языков или только к отдельным языкам. Закон Ципфа, вероятнее всего, представляет собой в высшей степени универсальную – и достаточно загадочную – эмпирическую закономерность. Кроме всего прочего, Ципф его не открывал. Насколько нам известно, первым человеком, сформулировавшим его основополагающий математический принцип, был французский стенограф по имени Жан-Батист Эсту, опубликовавший результаты своих исследований по данному вопросу в 1912 году в своей популярной книге по скорописи (дисциплине, в которой ципфовские закономерности нашли немедленное практическое применение). Классическое представление закона Ципфа как графика распределения частотности на шкале с двумя осями было впервые изложено Эдвардом Кондоном в научной работе, опубликованной в 1928 году в журнале Science. Кондон впоследствии стал знаменитым физиком и президентом двух организаций – Американского физического общества и Американской ассоциации содействия развитию науки. Первая публикация Ципфа на тему закона Ципфа появилась в 1935 году. Судя по всему, он, независимо от других исследователей, пришел к тем же выводам и подтвердил их более основательными данными (как бы это ни было любопытно, анализ использования Ципфом чужих исследований не входит в наши планы в данной книге). Ципф продолжал работать над этим вопросом в течение долгого времени, много сделав как для создания теоретической базы, так и для масштабного рассмотрения аналогичных явлений в общественных науках. Также Ципф объединил разрозненные идеи и популяризовал их. В обзоре на его книгу Human Behavior and Principle of Least Effort («Человеческое поведение и принцип минимизации усилий»), написанном в 1949 году, она названа «одной из самых амбициозных книг из когда-либо написанных… свежей и непохожей на прочие. Как ни одна другая из написанных за последние полвека, она преодолевает границы между различными областями исследований». См. Stewart John Q. Обзор книги Zipf George Kingsley. Human Behavior and the Principle of Least Effort // Science 110, no. 2868 (16 декабря 1949 г.). P. 669. Для краткости мы не описываем подробно данную книгу. И все же, учитывая историю его развития, как дать закону Ципфа более точное название? Разумно предположить, что закон Ципфа должен на самом деле называться закономерностью Эсту – Кондона – Ципфа. Но даже такое название будет не вполне справедливым. Работа Ципфа стала возможной благодаря индексации и подсчетам, сделанным Хенли, Йоосом и Элдриджем. Работа Кондона также была основана на частотном анализе, проведенном другими исследователями: в данном случае Леонардом Айресом и Годфри Дьюи (сыном Мелвила Дьюи, изобретателя одноименной десятичной системы). Поэтому закон Ципфа стоило бы называть закономерностью Эсту – Кондона – Ципфа – Элдриджа – Айреса – Дьюи – Хенли – Йооса. Возможно, именно по этой причине мы придерживаемся более простого варианта – «закон Ципфа». В любом случае мы давно привыкли к тому, что всякое открытие, основанное на кропотливом анализе по-настоящему впечатляющего массива данных, не называется в честь человека, собравшего этот массив. Поэтому нам стоит заняться вручением утешительных призов. Как вариант, подошло бы название «принципа Хенли». См. Estoup Jean-Baptiste. Gammes Sténographiques. Paris: Institut Sténographique, 1916; Condon E.U. Statistics of Vocabulary // Science 67, no. 1733 (16 марта 1928 г.). P. 300. Доступно в сети Интернет: http://goo.gl/Qi5B49; Ayres Leonard P. A Measuring Scale for Ability in Spelling. New York: Russell Sage Foundation, 1915, доступно в сети Интернет: http://goo.gl/C0cgke; Dewey Godfrey. Relative Frequency of English Speech Sounds. Cambridge, MA: Harvard University Press, 1923; Petruszewycz M. L’Histoire de la Loi d’Estoup-Zipf: Documents // Mathématiques et Sciences Humaines 44 (1973). P. 41–56. Доступно в сети Интернет: http://goo.gl/LlrNn. Краткое и изящное описание этих идей приведено в книге Levelt Willem. A History of Psycholinguistics. Oxford: Oxford University Press, 2012. Обширная библиография на тему закона Ципфа и связанных с ним принципов приводится в работе Beebe Nelson H. F. A Bibliography of Publications about Benford’s Law, Heaps’ Law, and Zipf ’s Law. Salt Lake City: University of Utah, 2013, доступно в сети Интернет: http://goo.gl/TuyT0. Связанной с законом Ципфа может считаться концепция «розового или 1/f шума». См. Mandelbrot Benoit B. Multifractals and 1/f Noise: Wild Self-Affinity in Physics. New York: Springer, 1999.


[Закрыть].

Мир глазами Ципфа

До Ципфа ученые полагали, что большинство вещей, поддающихся измерению, ведут себя подобно человеческому росту.

Рост человека не очень сильно варьируется. Рост 90% жителей США составляет от 155 см до 185 см. Разумеется, рост некоторых особенно высоких баскетболистов достигает 220 см и выше, а рост самого низкого взрослого человека в мире составляет менее 62 см. Однако подобные случаи встречаются крайне редко. Но даже с учетом этих крайностей самые высокие люди всего в 4–5 раз выше самых низкорослых[53]53
  См. Fryar C. D., Gu Q., Ogden C. L. Anthropometric Reference Data for Children and Adults: United States, 2007–2010 // Vital Health Statistics 11, no. 252 (2012), доступно в сети Интернет: http://goo.gl/uEuiV.


[Закрыть]. У математиков имеется особый термин для описания распределения такого рода, при котором значения настолько тесно группируются вокруг среднего значения. Подобное часто встречающееся распределение называется «нормальным». До Ципфа люди считали, что мы живем в нормальном мире, где нормальным оказывалось бы все окружающее.

Однако, как мы уже видели, мир слов далек от нормального – распределение в нем соответствует вполне определенному, но кажущемуся на первый взгляд странным математическому принципу. В наши дни ученые называют такое поведение степенными законами[54]54
  Если быть более точным, то степенным законом называется закономерность, при которой одна величина пропорциональна другой величине и растет по экспоненте (степенной константе). Закон Ципфа является степенным законом, величины в котором – это количество и частотность, экспонента равна 1. Если величины составляют сеть, то такая сеть называется «безмасштабной». См. Strogatz Steven H. Exploring Complex Networks // Nature 410, no. 6825 (2001). P. 268–276. Доступно в сети Интернет: http://goo.gl/gO6Eb4. Когда величины представляют собой геометрическую структуру, а экспонента не равна целому числу, для такой структуры есть специальное название: фрактал. См. Mandelbrot Benoit. The Fractal Geometry of Nature. San Francisco: W. H. Freeman, 1985. Хотя Ципф был одним из первых, кто выявил степенную закономерность в частотном распределении слов, еще ранее исследователи находили степенные последовательности в других областях. Самым заметным было наблюдение Вильфредо Парето, согласно которому 80% земли в Италии принадлежало 20% населения. Это было первое правило 80/20 из целого ряда подобных. Такой перекос на языке математики называется степенным законом.
  Многие из степенных законов были впервые упомянуты Ципфом в его книге 1949 года, в которой он также приводит наблюдения других исследователей. Из самых последних обзоров см. Clauset Aaron, Shalizi Cosma Rohilla, Newman M. E. J. Power-Law Distributions in Empirical Data // SIAM Review 51, no. 4 (2009). P. 661–703. Доступно в сети Интернет: http://goo.gl/6PLJFF; Schroeder Manfred. Fractals, Chaos, Power Laws: Minutes from an Infinite Paradise. New York: W. H. Freeman, 1991. Подобные закономерности встречаются столь часто, что можно привести великое множество примеров в самых узких областях науки. См., например, Rodríguez-Iturbe Ignacio, Rinaldo Andrea. Fractal River Basins: Chance and Self-Organization. Cambridge, England: Cambridge University Press, 2001.


[Закрыть]. Удивительно, но как только Ципф обнаружил свой первый степенной закон в языке, то начал тут же находить и другие его проявления.

Например, Ципф обнаружил, что степенным законам следуют показатели богатства и доходов. Если бы ваш рост был пропорционален величине вашего банковского счета, а среднее американское домохозяйство имело рост около 170 см, то рост Билла Гейтса оказался бы больше, чем расстояние от Земли до Луны[55]55
  Согласно данным переписи 2010 года, средний капитал американского домохозяйства (за вычетом недвижимости) составлял 15 000 долларов. В марте 2010 г. журнал Forbes оценил состояние Билла Гейтса в 53 млрд долл. Таким образом, в нашем гипотетическом сценарии рост Гейтса должен составлять около 6007 км. Это значительно больше, чем диаметр Плутона (2390 км), Меркурия (4879 км) и Луны (3474 км); он сопоставим с диаметром Марса (6792 км). Даже при включении в расчет стоимости недвижимости, что повышает величину среднего собственного капитала до 66 740 долларов, высота Гейтса все равно составляла бы не менее 1350 км, что значительно больше половины диаметра Плутона. См. The World’s Billionaires: William Gates III // Forbes (10 марта 2010 г.), доступно в сети Интернет: http://goo.gl/8ykj; Wealth and Asset Ownership // U. S. Census Bureau (11 июля 2013 г.), доступно в сети Интернет: http://goo.gl/llnbC, и в особенности Wealth Tables 2010 // U. S. Census Bureau, доступно в сети Интернет: http://goo.gl/v7mxk.


[Закрыть]. Величина статей в Encyclopedia Britannica также следует степенному закону, как и тираж газет. Ученые, следовавшие по стопам Ципфа, обнаружили тысячи других примеров: размер городов, частотность определенных фамилий, количество жертв в ходе военных действий, продолжительность аплодисментов после спектакля, популярность людей в Facebook и Twitter, объем пищи, потребляемой животными, трафик на веб-сайтах, доля белков в наших клетках, количество клеток различных типов в наших телах, распространенность тех или иных биологических видов в наших экосистемах и даже размер дырок в швейцарском сыре. Степенному закону следует даже продолжительность отключений электричества (хотя в данном случае, возможно, нам стоит назвать это «законом отсутствия энергии»).

Хотя работа Ципфа была настоящим прорывом, причины выявленного им закона остаются тайной. Сам Ципф верил, что такая закономерность объясняется практической эффективностью подобного распределения. Другие исследователи указывали на то, что большому объекту несложно стать еще больше. Этот процесс можно описать формулой «богатым проще богатеть». С математической точки зрения было показано, что процесс, описываемый словами «богатым проще богатеть», может проявляться в огромной массе степенных законов. Например, знакомство с одними людьми помогает знакомиться с новыми, поэтому изначально популярные люди, следуя выявленной Ципфом закономерности, становятся еще более популярными. Города, уже ставшие крупными, могут показаться привлекательными для тех, кто подумывает о переезде, что демонстрирует степенной закон размера города. Вот вам еще один пример – доказано, что обезьяны, печатающие на компьютере случайным образом, могут создавать «слова» (символы, разделенные пробелами) и количество этих слов также следует степенному закону[56]56
  См. Newman M. E. J. Power Laws, Pareto Distributions and Zipf’s Law // Contemporary Physics 46, issue 5 (2005), доступно в сети Интернет: http://goo.gl/nrkMB. Рассказ об обезьянах, печатающих на машинках случайные символы, приводится в статье Miller George A. Some Effects of Intermittent Silence // American Journal of Psychology 70, no. 2 (июнь 1957). P. 311–314. Доступно в сети Интернет: http://goo.gl/p6PLll.


[Закрыть].

Существует немало конкурирующих между собой объяснений любого конкретного распределения, следующего степенному закону. К сожалению, не исключено, что это изобилие объяснений отражает тот факт, что ученые не знают, что происходит на самом деле.

Тем не менее вне зависимости от причины возникновения степенные законы четко описывают огромный диапазон природных и социальных явлений. Ципф, преподаватель немецкого языка, воспользовавшись невероятной любовью Хенли к «Улиссу», начал революцию, последствия которой в значительной мере трансформировали измерения в социальных науках и щупальца которой дотянулись до биологии, физики и даже математики. Теперь нормально то, что выявил Ципф.