Текст книги "Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность"

Глава IV
Суперпрогнозисты

«Мы считаем, что Ирак продолжает развивать программы оружия массового поражения (ОМП), демонстративно не подчиняясь резолюциям и ограничениям ООН. Багдад располагает химическим и биологическим оружием, а также ракетами, дальность которых превосходит ограничения ООН. Если оставить ситуацию без контроля, у него, вероятно, в течение десяти лет появится ядерное оружие»[63]63
  Официальное слушание Оценки национальной безопасности в Белом доме по вопросу оружия массового разрушения в Ираке, октябрь 2001 года http://fas.org/irp/cia/product/iraq-wmd.html.


[Закрыть]. Изложено бесстрастно, но после обнародования в октябре 2002 года эта информация произвела мощнейший эффект. Террористы совершили злодеяния 9/11 всего 13 месяцев назад. Соединенные Штаты вторглись в Афганистан, чтобы свергнуть «Талибан», приютивший Усаму бен Ладена. Затем администрация Джорджа У. Буша переключила внимание на Ирак Саддама Хусейна и предположила, что у того есть связи с «Аль-Каидой», что Ирак стоял за 9/11, что Ирак был угрозой для других стран Ближнего Востока и текущей из этого региона нефти, что Ирак не уничтожил ОМП вопреки требованию ООН, что Ирак наращивает арсенал и становится с каждым днем все опаснее. У Саддама Хусейна была или скоро появится возможность нанести удар по Европе, утверждал Белый дом, и даже по Соединенным Штатам. Критики возражали, что Белый дом давно уже решил вторгнуться в Ирак и теперь преувеличивает опасность, используя цветистый язык («Мы не хотим, чтобы дым от ружья превратился в грибовидное облако» – слова Кондолизы Райс), чтобы обеспечить поддержку этой войны[64]64
  Кондолиза Райс в интервью с Вольфом Блитцером, CNN, 8 сентября 2002 года.


[Закрыть]. Именно в этот момент появилась Национальная разведывательная оценка (НРО) 2002–16HC. Вообще НРО – это приведенные к общему знаменателю мнения ЦРУ, Управления национальной безопасности, Разведывательного управления Министерства обороны и других тринадцати разведывательных организаций, известных вместе как разведывательное сообщество, или РС.

Точные цифры не подлежат разглашению, но, по грубым подсчетам, бюджет РС более 50 миллиардов долларов, а штат его сотрудников – 100 тысяч человек. Из них 20 тысяч – разведывательные аналитики, чья работа заключается не в том, чтобы собирать данные, а в том, чтобы анализировать уже собранную информацию и оценивать, как она повлияет на национальную безопасность[65]65
  Комитет по исследованиям поведенческой и социальной науки с целью улучшения разведывательного анализа для национальной безопасности; Комиссия по поведенческой, когнтивной и сенсорной наукам; Отделение поведенческой и социальной науки и образования; Совет по национальным исследованиям. Intelligence Analysis for Tomorrow: Advances from the Behavioral and Social Sciences. Washington, DC: National Academies Press, 2011.


[Закрыть]. И этот невероятно разработанный, дорогой и опытный разведывательный аппарат заключил в октябре 2002 года, что ключевые заявления администрации Буша относительно иракских ОМП соответствовали действительности. Многие люди сочли это убедительным. Известно, что работа разведки – говорить властям правду, а не то, что политики, временно находящиеся у власти, хотят услышать, поэтому НРО оказалась для них решающим фактором. После этого саддамовские программы ОМП, занимающиеся производством смертельного оружия, и нарастание угрозы со стороны Ирака стали неопровержимыми фактами. Что делать по поводу этих фактов – уже другой вопрос, но отрицать их могли только люди, ослепленные политикой. Даже самые едкие критики правительства вроде Тома Фридмана, презрительно называвшие администрацию Буша «бушменами», были уверены, что Саддам Хусейн что-то где-то да прячет.

Сейчас мы знаем, что эти «факты» оказались ложными. После вторжения в 2003 году США в поисках ОМП перевернули Ирак вверх тормашками, но ничего не нашли. Это был один из худших – если не худший – провалов разведки в современной истории. РС подверглось унижению. В СМИ появились обвинения, были проведены официальные расследования и знакомый ритуал слушаний, на которых комитеты Конгресса разносили официальных лиц разведки, слушавших их со взмокшими мрачными лицами.

Что же пошло не так? Была выдвинута версия, что РС поддалось нажиму Белого дома и политизировалось, но официальные расследования это опровергли. Опроверг эту версию и Роберт Джервис, что для меня более весомо, потому что у Джервиса сорокалетний опыт проницательного, непредвзятого изучения разведки. Джервис – автор книги «Почему разведка ошибается», в которой тщательно препарирует как провал разведки в предсказании Иранской революции 1979 года (в этом случае Джервис провел для ЦРУ анализ минувших событий, которые в течение десятков лет были засекречены), так и ложную тревогу по поводу саддамовского ОМП. В последнем случае заключение РС было искренним и обоснованным, решил Джервис.

«Но заключение не могло быть обоснованным, – возможно, подумаете вы. – Ведь оно оказалось неверным!» Такая реакция понятна – и тоже неверна. Помните, вопрос был не о верности заключения, а о его обоснованности. Чтобы ответить на него, нужно поставить себя на место людей, которые делали выводы в то время. А это означает пользоваться только той информацией, которая была у них. Той информации хватало, чтобы практически каждое крупное разведывательное агентство на планете подозревало, с варьирующейся степенью уверенности, что Саддам что-то прячет. Не потому что кто-то обладал неопровержимыми доказательствами, а потому что он вел себя как человек, который что-то прячет. Чем еще можно было объяснить его игру в прятки с инспекторами ООН по вооружению, когда на кону стояло вторжение в страну и падение установленного им режима?

Но мало что на свете сложнее мысленного путешествия во времени. Даже историкам непросто поставить себя на место человека определенной эпохи и не отвлекаться на знания о том, что случилось позже. Так что вопрос «Было ли суждение РС обоснованным?» очень сложен. Зато просто ответить на вопрос «Было ли суждение РС правильным?». Как я отмечал в главе 2, в подобной ситуации возникает соблазн использовать пример «заманить и подменить»: заменить сложный вопрос на простой, ответить на него и всерьез верить, что вы ответили на сложный вопрос.

Подмена, которая осуществляется в данном случае (вопроса «Было ли это хорошее решение?» на вопрос «Имело ли оно хороший результат?»), одновременно популярна и пагубна. Опытные игроки в покер считают эту ошибку заблуждением новичка. Новичок может переоценить вероятность, что следующая карта будет хорошей, повысить ставку и в результате везения выиграть, что не делает его поведение мудрым поступком. И наоборот: профессионал может верно оценить высокую вероятность получения хорошей карты, повысить ставку и в результате невезения проиграть, но это не значит, что его поведение было глупым. Хорошие игроки в покер, инвесторы и руководители высшего звена это понимают. Те, кто не понимает, не могут оставаться профессионалами в том, чем занимаются: они извлекают из опыта ложные уроки, и их суждения со временем становятся все хуже и хуже.

Так что нельзя назвать оксюмороном заключение, которое сделал Роберт Джервис: что оценка разведывательного сообщества была одновременно обоснованной и неверной. Однако – и этот момент ключевой – Джервис все равно подверг разведывательное сообщество критике. «Это были не просто ошибки, но ошибки, которые можно было исправить, – написал он об аналитиках РС. – Анализ мог и должен был быть лучше». Оказалась бы разница существенной? В каком-то смысле – нет. «Результатом могла бы стать менее уверенная оценка разведки, нежели фундаментально неверное заключение».

Так что РС все равно могло бы решить, что у Саддама есть ОМП, но проявить при этом меньше уверенности. Вам может показаться, что мы лишь слегка критикуем РС. На самом деле все крайне серьезно: ведь менее уверенное заключение РС могло бы очень сильно изменить ситуацию. Если бы некоторые конгрессмены установили планку «за пределами разумного сомнения» в вопросе поддержки вторжения, то их бы не устроила 60–70 %-ная уверенность РС, что Саддам производит орудие массового поражения. Резолюция Конгресса, дающая добро на использование силы, могла бы не пройти – и Соединенные Штаты могли бы не вторгнуться в Ирак. Редко когда в истории ставки поднимались выше этой – тысячи жизней и триллионы долларов[66]66
  С точки зрения анализа рентабельности вопрос состоит в том, сколько США должны быть готовы заплатить за создание улучшенной системы определения вероятности, которая снизит риск двухтриллионной «ошибки», скажем, на 20–30 %. Согласно теории ожидаемой стоимости – сотни миллиардов долларов. По этим стандартам, проект «Здравое суждение» – самая выгодная сделка века. Но обратите внимание на то, что слово «ошибка» заключено в кавычки. В 2003 году вторжение в Ирак большинству казалось ошибкой. Но никто не знает, где бы мы сейчас оказались, если бы Саддам Хусейн удержался у власти, или сколько бы мы тратили на национальную безопасность в таком мире. Мое личное предположение: даже в мрачной альтернативной реальности турнир был бы удачной сделкой.


[Закрыть].

Но в НРО 2002–16HC не говорилось о 60 или 70 %. Там говорилось: «Ирак продолжает…», «Багдад располагает…». Подобные утверждения не допускают сомнений. Они эквивалентны утверждениям «Солнце встает на востоке, а садится на западе». На брифинге в Белом доме 12 декабря 2002 года директор ЦРУ Джордж Тенет использовал слова «верное дело». Позже он протестовал, что его цитату выдернули из контекста, но это неважно, потому что словами «верное дело» действительно характеризовалось отношение РС. И это необычно. Анализ разведки всегда включает в себя долю неуверенности, причем иногда большую, и аналитики это знают. Однако в отношении иракского ОМП РС пало жертвой завышенной самооценки. В результате оно не просто ошиблось – оно ошиблось в случае, по поводу которого заявило, что не может ошибаться. Последующий анализ продемонстрировал, что РС никогда даже серьезно не допускало и мысли об ошибке. Джервис писал:

Не было никаких «красных команд», чтобы атаковать взгляды подавляющего большинства, не было анализа от адвокатов дьявола, никаких документов, которые предоставляли бы противоположные варианты. Самое поразительное: никто даже не высказал мнение, близкое варианту, который мы сейчас считаем истинным.

Как едко заметила комиссия по президентскому расследованию катастрофы, «одно дело – не сделать заключение о том, что Саддам прекратил производить запрещенное оружие, и совсем другое – даже не допустить такой возможности»[67]67
  Комиссия по возможностям разведки США относительно оружия массового уничтожения. Report to the President of the United States. Washington, DC. 2005. March 31. P. 155.


[Закрыть].

РС – огромная бюрократическая система, которая медленно реагирует даже на шок серьезнейших неудач. Джервис сказал мне, что произошло после окончания его анализа провала 1979 года, когда американская разведка не смогла предвидеть Иранскую революцию (а это была величайшая геополитическая катастрофа той эпохи): «Я встретился с главой кабинета (ЦРУ) по политическому анализу, и она сказала мне: “Я знаю, что вы от нас пока ничего не слышали, и это должно было подтвердить все ваши опасения, но мы собираемся устроить большую встречу, на которой все проанализируем и обсудим с вами”. И это был конец истории. Ничего подобного не произошло». Однако шок от провала с ОМП был другим. Бюрократическая система была сотрясена до основания. «Они это восприняли близко к сердцу», – сказал Джервис[68]68
  Роберт Джервис, в беседе с автором, 27 марта 2013 года.


[Закрыть].

В 2006 году было создано Агентство передовых исследований в области разведки (IARPA). Его миссией было финансирование самых передовых исследований, которые потенциально могли сделать разведывательное сообщество более эффективным и проницательным. Как можно догадаться по названию, IARPA была создана по образу и подобию DARPA (Агентства передовых исследований в области обороны). Это знаменитое оборонное агентство, чьи исследования, относящиеся к военной сфере, имели и имеют огромное влияние на весь мир. Работа DARPA даже поспособствовала изобретению интернета.

В 2008 году Дирекция национальной разведки, которая находится на верхушке всей системы шестнадцати разведывательных агентств, попросила Государственный совет по исследованиям создать комиссию. Задачей комиссии стало объединение исследований по хорошему прогнозированию и помощь РС в их применении. По стандартам Вашингтона это было дерзкое (или поспешное) решение. Далеко не каждый день бюрократия платит одному из самых уважаемых научных институтов в мире, чтобы тот провел объективное исследование, результаты которого могли бы доказать беспомощность этой самой бюрократии.

В работе комиссии принимали участие заслуженные ученые разных областей знаний, а председателем был назначен психолог Барух Фишхофф. Я тоже был в числе участников – возможно, из-за шумихи, которую поднял, когда в вышедшей в 2005 году книге «Экспертное политическое суждение» бросил вызов: «Можете ли вы побить играющую в дартс шимпанзе?» Спустя два года мы выдали заключение, которое было на 100 % в духе Арчи Кокрана: не верьте, пока не протестируете. «РС не должно опираться на аналитические методы, которые нарушают задокументированные поведенческие принципы или не имеют никаких доказательств эффективности, помимо интуитивной привлекательности», – отмечалось в нашем заключении. РС рекомендовалось «тщательно проверять текущие и предложенные методы в условиях, как можно более близких к реальности. Подобный подход к анализу, базирующийся на доказательствах, будет стимулировать дальнейшее обучение, необходимое для того, чтобы РС обходило противников государства в проницательности и динамичности»[69]69
  Комитет по исследованиям поведенческой и социальной науки с целью улучшения разведывательного анализа для национальной безопасности. Intelligence Analysis for Tomorrow. National Academies Press. 2011.


[Закрыть].

Это совсем простая идея, но, как происходило в медицине в течение тысячелетий, ею стандартно пренебрегают. Например, ЦРУ дает своим аналитикам инструкцию, написанную Ричардсом Хейером, бывшим аналитиком, которая содержит в себе полезные психологические подсказки, включая предубеждения, которые могут помешать мышлению аналитика. Это тонкая работа. И в этом есть смысл: базовое знакомство с психологией может помочь аналитикам избегать когнитивных ловушек и таким образом выдавать лучшие суждения. Но так ли все на самом деле? Никто не знает. Это никогда не проверялось. Некоторые аналитики думают, что подобная подготовка имеет такую инстинктивную привлекательность, что ее не нужно подвергать проверке. Звучит знакомо, правда?

Даже на вопрос на 50 миллиардов долларов – «Насколько точны прогнозы разведывательных аналитиков?» – нет ответа. Конечно, некоторые думают, что они знают. Высокопоставленные чиновники могут утверждать, что РС не ошибается в 80 или 90 % случаев, но это только предположения. Как врачи XIX века, которые были уверены, что их лекарства излечивают пациентов в 80–90 % случаев, они могут быть правы, или почти правы, или совсем не правы. В отсутствие мерок для подсчета точности не существует ни одного осмысленного способа призвать разведывательных аналитиков к ответственности за точность. Заметьте слово «осмысленного» в последнем предложении. Потому что, когда директора национальной разведки тащат распекать в Конгресс – это тоже ответственность за точность. Пусть к ответу в данном случае призывают люди плохо проинформированные и своевольные, пусть процедура не служит никакой иной цели, кроме как политической игре на зрителя, но это ответственность. По контрасту, для того чтобы осмысленно призвать к ответственности, требуется не просто расстроиться, когда что-то пошло не так. Требуется систематическая оценка точности – по всем вышеизложенным причинам. Но прогнозы разведывательного сообщества никогда не подвергались систематической оценке. Вместо этого существует ответственность за процесс: разведывательным аналитикам говорят, что они должны делать, когда проводят исследования, думают и оценивают ситуацию, и они несут ответственность за соответствие этим стандартам. Рассматривали ли вы альтернативные гипотезы? Искали ли вы контрдоказательства? Это все разумно, но суть прогнозирования не в том, чтобы проставить галочки во всех пунктах списка «как делать прогноз», а в том, чтобы предвидеть будущее. Ответственность за процесс, а не за результат – это как если бы от врачей требовали, чтобы они мыли руки, осматривали пациента и думали обо всех симптомах, но не проверяли при этом, как работает назначенное ими лечение.

Разведывательное сообщество не одиноко в таком подходе к работе. Количество организаций, которые производят или покупают прогнозы, не заботясь о том, чтобы проверить их на точность, просто ошеломляет. Но благодаря шоку от катастрофы, которая случилась с предсказанием ОМП в Ираке, а также тычку со стороны комиссии Государственного совета по исследованиям и усилиям некоторых преданных своему делу чиновников, РС решило что-нибудь по этому поводу предпринять. А именно IARPA решило. Агентство передовых исследований в области разведки очень мало кому известно за пределами разведывательного сообщества. И это неудивительно. В этом агентстве нет шпионов и приключений, нет там и аналитиков, которые интерпретируют информацию. Его работа – организовывать и поддерживать исследования с высоким риском, но и высокой отдачей, которые повысили бы возможности РС. В этом IARPA похоже на DARPA, но последнее гораздо более знаменито, потому что оно крупнее, дольше существует и часто финансирует высокие технологии. Большинство разведывательных исследований не столь экзотично, хотя может иметь такую же важность для национальной безопасности.

Летом 2010 года два официальных представителя IARPA, Джейсон Мэтни и Стив Рибер, навестили Беркли. Мы с Барбарой Меллерс встретились с ними в отеле с видом на Сан-Франциско – настоящей приманкой для туристов. Новости, которыми они поделились, были такими же прекрасными, как открывавшаяся из окна панорама. Они планировали претворить в жизнь главную рекомендацию заключения Государственного совета по исследованиям – а я-то с уверенностью предсказал, что эта рекомендация благополучно покроется пылью. IARPA решила спонсировать масштабный турнир, чтобы выяснить, кто сможет изобрести лучшие методы для производства прогнозов, подобных тем, которые разведывательные аналитики делают каждый день. Сбежит ли президент Туниса в уютное изгнание в течение ближайшего месяца? Унесет ли начавшаяся эпидемия птичьего гриппа жизни более десяти человек в ближайшие шесть месяцев? Упадет ли евро ниже отметки 1,20 доллара в течение года?

IARPA искала вопросы в обитаемой зоне сложности – не такие простые, чтобы на них мог ответить любой внимательный читатель New York Times, но и не до такой степени сложные, что на них не мог ответить ни один человек на планете. IARPA считала, что в обитаемой зоне можно будет найти новых талантливых прогнозистов и протестировать новые методы культивирования талантов. Будущий турнир не должен был походить на проведенное мною ранее исследование EPJ: самые большие временные рамки в нем предполагались меньше самых маленьких в моем. IAPRA не хотело тратить время и заставлять людей делать то, что, как мы теперь знаем, просто невозможно. Человеческое зрение никогда не сможет распознать нижнюю строчку таблицы Снеллена со стометрового расстояния. И как бы вы ни упражняли глазные мышцы, вы этого не измените. Как показало EPJ и другие исследования, человеческая система мышления никогда не сможет предсказать поворотные моменты в жизни людей и государств на несколько лет вперед, и никакие героические поиски суперпрогнозистов этого не изменят.

План IARPA заключался в том, чтобы с помощью турниров стимулировать лучших исследователей делать точные вероятностные оценки для вопросов из обитаемой зоны[70]70
  Подбор вопросов в зоне Златовласки был сложной задачей, требовавшей отсеивания слишком легких вопросов (имевших менее 10 или более 90 % вероятности) и неподатливо сложных (нельзя было ожидать, что кто-либо знает на них ответы). В свете вышесказанного команда генерации вопросов Майкла Горовица заслуживает признания.


[Закрыть]. Команды исследователей будут соревноваться друг с другом и с независимой контрольной группой. Команды должны обойти общий прогноз («мудрость толпы») контрольной группы, причем с отрывом, который мы все тогда сочли устрашающим. IARPA хотело, чтобы за первый год команды превзошли этот стандарт на 20 %, а к четвертому году отрыв уже должен был достичь 50 %.

Но это было только частью плана. Внутри каждой команды исследователи могли проводить эксперименты в стиле Арчи Кокрана, чтобы определить, что́ на самом деле работает против внутренних контрольных групп. Например, исследователи думают, что базовый тренинг поможет улучшить точность прогнозистов. Но если они проведут тренинг всем прогнозистам, что это докажет? Если их точность возрастет, это может быть благодаря тому, что тренинг сработал. Или вопросы стали легче. Или прогнозистам просто повезло. Если же точность снизится, это может быть из-за того, что тренинг возымел обратный эффект, или, возможно, точность без тренинга снизилась бы еще сильнее. Не было бы ни одного способа это выяснить. Узнаете проблему? Та самая, с которой сталкивались врачи в течение всей истории медицины. Арчи Кокран увидел решение: прекратить притворяться, что ты что-то знаешь, и начать эксперименты. Тренинг можно было провести с одной случайно выбранной группой прогнозистов и не проводить с другой. Все остальные факторы не должны меняться. Затем сравниваются результаты. Если прогнозисты, прошедшие тренинг, стали более точными, чем не прошедшие, значит, он сработал.

Возможности исследований ограничивались только воображением, но, чтобы их реализовать, нам нужно было большое количество прогнозистов. Мы с коллегами распространили информацию о проекте через блоги и профессиональную сеть: «Хотите ли вы предсказывать будущее мира? У вас есть шанс! И вам даже не нужно выходить из дома: просто уделяйте каждый день какое-то время политически-экономическим загадкам и выдвигайте ваши лучшие предположения». Наши общие усилия не пропали даром. За первый год в проект записалось несколько тысяч добровольцев. Из них 3200 прошли нашу начальную серию психометрических тестов и приступили к работе. Мы, как я уже говорил, назвали нашу команду исследователей и всю программу «Проект “Здравое суждение”».

Исследования подобного масштаба стоят много миллионов долларов в год. Но не это делало инициативу IARPA такой дерзкой по бюрократическим меркам. В конце концов, ежегодный бюджет разведывательного сообщества около 50 миллиардов долларов – это больше, чем ежегодный ВВП большинства стран. Рядом с такой горой денег стоимость турнира IARPA выглядела скромным муравейником. Нет, дерзость крылась в том, что проект мог выявить.

Вот одно из возможных открытий: представьте себе, что вы собрали пару сотен обычных людей для предсказания геополитических событий. Вы видите, как часто они редактируют свои прогнозы и какова точность этих прогнозов, и используете эту информацию, чтобы отобрать около сорока лучших. Затем вы просите всех делать много прогнозов. На этот раз рассчитываете общий прогноз группы – «мудрость толпы», – но с дополнительной нагрузкой, данной сорока лучшим прогнозистам. Затем вы вносите в прогноз окончательную поправку – «экстремизируете» его, то есть сдвигаете ближе к 100 или к 0 %. Если в прогнозе указывается 70 % вероятности, вы можете повысить процент, скажем, до 85. Если 30 % – уменьшить до 15[71]71
  Заслуга открытия этого приема принадлежит двум коллегам из Университета Пенсильвании: Лайлу Ангару и Джонатану Барону. Лайл несет ответственность за все алгоритмы, задействованные в нашем проекте, за исключением L2E, разработанного Дэвидом Скоттом в Университете Райса.


[Закрыть].

А теперь представьте, что прогнозы, которые вы делаете таким образом, обходят по точности прогнозы остальных групп и все доступные методы, зачастую с большим отрывом. Ваши прогнозы превосходят даже те, которые выдают профессиональные разведывательные аналитики, имеющие доступ к секретной информации, – с отрывом, который тоже секретен.

Подумайте, каким шоком для профессионалов разведки, которые всю свою жизнь занимаются предсказанием геополитических событий, могло бы стать поражение, нанесенное несколькими сотнями обычных людей и небольшим количеством простых алгоритмов.

И это действительно произошло. Я описал метод, который мы использовали, чтобы победить в турнире IARPA. В этом методе нет ничего ослепительно инновационного. Даже прием экстремизации основан на довольно-таки простом принципе: когда комбинируются суждения большой группы людей, чтобы рассчитать «мудрость толпы», собирается вся полезная информация, распределенная между всеми этими людьми. Но никто из них не имеет доступа ко всей информации. Один человек знает часть, другой знает еще немного и т. д. Что случится, если этим людям дать всю информацию? Они станут более уверенными – и изменят вероятность своих прогнозов ближе к 100 или 0 %. И если вы тогда рассчитаете «мудрость толпы», она тоже станет более экстремальной. Конечно, невозможно дать каждому человеку всю информацию, поэтому мы экстремизируем, симулируя то, что случилось бы, если бы мы это сделали.

Благодаря IARPA мы теперь знаем, что несколько сотен обычных людей и обычная математика могут не просто соревноваться с профессионалами, находящимися на службе многомиллиардной организации, но и превосходить их[72]72
  Дэвид Игнатиус. Слишком много трескотни // Washington Post. 2013. 1 ноября. Игнатиус, должно быть, беседовал с кем-то в правительстве, имеющим доступ к засекреченным источникам.


[Закрыть].

И это только одно из тревожных открытий, которое спровоцировала IARPA, решив провести турнир. А что, если бы турнир выявил существование обычных людей, которые могут и безо всякой магии алгоритмов обходить РС? Представьте, какая бы это была угроза.

Даг Лорч, седобородый лысеющий очкарик, на вид совершенно не представляет угрозы. Он выглядит как программист – и он действительно был программистом в IBM. Сейчас он на пенсии. Живет в тихом районе Санта-Барбары с женой-художницей, которая пишет чудесные акварели. Его аватарка в «Фейсбуке» – уточка. Даг любит кататься на своем маленьком красном кабриолете Miata по солнечным улицам, наслаждаясь калифорнийским ветерком, но целыми днями этим заниматься не будешь. У него нет специальных знаний в международных отношениях, но есть здоровое любопытство по поводу того, что происходит в мире. Он читает New York Times и может найти на карте Казахстан, так что он вызвался участвовать в проекте «Здравое суждение». Раз в день, примерно на час, его столовая превращается в центр прогнозирования. Он открывает свой ноутбук, читает новости и пытается предугадать судьбы мира. В первый год Даг ответил на 104 вопроса из серии «Дадут ли Сербии официальный титул кандидата на вступление в ЕС к 31 декабря 2001 года?» и «Превысит ли твердая цена золота на Лондонском рынке (в US долларах за унцию) 1850$ к сентябрю 2011 года?».

Это крупный объем прогнозирования, но на самом деле Даг делал гораздо больше. В исследовании EPJ я просил экспертов выдать только один прогноз на каждый вопрос и позже оценивал результат. Однако в турнире IARPA прогнозисты могли уточнять свои прогнозы в режиме реального времени. То есть если прогнозистке впервые поступал вопрос с временным лимитом на полгода в будущее, она могла сделать изначальный прогноз, что событие, допустим, произойдет за эти шесть месяцев с вероятностью 60 %. Но на следующий день в новостях она могла услышать что-то, что убеждало ее изменить вероятность на 75 %. С целью подсчета баллов эти прогнозы позже засчитывались за отдельные. Если за неделю не происходило ничего, что могло бы заставить прогнозистку поменять мнение, прогноз оставался на 75 % в течение этих семи дней. Затем она могла узнать новую информацию, которая заставила бы ее снизить вероятность до 70 % – и прогноз оставался на этой позиции до следующего изменения. Такой процесс продолжался в течение всего полугода, пока вопрос не закрывался. В этот момент все ее прогнозы складывались, подсчитывались – и выводился результат Брайера для данного вопроса. И это только один вопрос, а за четыре года было задано почти 500 вопросов на тему международных отношений, и тысячи прогнозистов – участников GJP произвели значительно более одного миллиона прогнозов на будущее. Но даже на индивидуальном уровне числа складывались очень быстро. Только за первый год Даг Лорч сделал примерно тысячу отдельных прогнозов. Точность Дага была такой же впечатляющей, как объем работы. К концу первого года общий результат Брайера у Дага был 0,22, что позволило ему занять пятое место среди 2800 участников проекта «Здравое суждение». Напоминаю, что результат Брайера измеряет разницу между прогнозами и реальностью, где 2,0 означает, что ваши прогнозы – полная противоположность реальности, 0,5 – то, что получается при произвольном угадывании, и 0 – идеальная меткость. Так что 0,22 – это для начала впечатляющий результат, учитывая сложность вопросов. Взять, к примеру, такой, заданный 9 января 2011 года: «Произойдет ли в Италии реструктуризация или дефолт к 31 декабря 2011 года?» Сейчас мы знаем, что правильный ответ на этот вопрос – нет. Чтобы получить 0,22, среднестатистический прогноз Дага на этот вопрос в течение всех одиннадцати месяцев должен был быть «нет с примерно 68 % вероятности» – очень неплохо, учитывая волны финансовой паники, которые захлестывали еврозону в этот период. И Даг должен был быть столь же точным в среднем по всем остальным вопросам.

На второй год Даг присоединился к команде суперпрогнозистов и показал даже лучший окончательный результат Брайера – 0,14, что сделало его лучшим прогнозистом из всех 2800 добровольцев. Он даже обошел на 40 % рынок прогнозирования, на котором трейдеры покупают и продают фьючерсные сделки на исходы этих же вопросов. Он был единственным человеком, который обошел алгоритм экстремации. И Даг не просто превзошел «мудрость толпы» контрольной группы – он побил ее на 60 %, а это означает, что он в одиночку побил четырехлетнюю цель, поставленную IARPA перед многомиллионными исследовательскими программами, которые могли пользоваться любым трюком из руководства по прогнозированию, чтобы улучшить свою точность.

По любым человеческим стандартам результаты Дага Лорча невероятно хороши. Единственный способ заставить его выглядеть обыденно – это сравнить с божественным всезнанием, результатом Брайера 0, а это все равно что умалить талант Тайгера Вудса во времена расцвета его спортивной карьеры из-за того, что он не всегда мог попасть в лунку с одного удара.

Успехи превратили Дага Лорча в угрозу. Ведь он – человек без соответствующего опыта и образования, безо всякого доступа к секретной информации. Единственной оплатой, которую он, как и все остальные добровольцы к концу каждого сезона, получил, был подарочный сертификат Amazon на 250 долларов. Даг Лорч – обычный пенсионер, который, вместо того чтобы коллекционировать марки, или играть в гольф, или строить модели самолетов, стал делать прогнозы – и оказался настолько в этом деле хорош, что практически не оставил возможности опытному разведывательному аналитику – с зарплатой, допуском к секретным материалам и рабочим местом в штаб-квартире ЦРУ – его превзойти. Кто-нибудь может поинтересоваться, почему США тратят миллиарды долларов каждый год на геополитическое прогнозирование, если вместо этого можно подарить Дагу сертификат – и пусть себе этим занимается.

Конечно, если бы Даг Лорч был уникально одаренным оракулом, он бы не представлял большой угрозы для статус-кво. Один человек может сделать ограниченное количество предсказаний. Но Даг не уникален. Мы уже встречались с Биллом Флэком, бывшим сотрудником Министерства сельского хозяйства из Небраски. Из числа 2800 добровольцев было еще 58 человек, которые заняли верхние позиции в итоговых таблицах первого года. Они стали нашим первым классом суперпрогнозистов. Их коллективный результат Брайера составил 0,25 – в сравнении с 0,37 остальных прогнозистов. И этот разрыв еще сильнее увеличился за последующие годы, так что к концу четырехгодичного турнира суперпрогнозисты обошли других участников на 60 %. Еще один критерий качества работы суперпрогнозистов – то, как далеко они могли заглядывать в будущее. В течение всех четырех лет турнира суперпрогнозисты заглядывали вперед на триста дней точнее, чем обычные прогнозисты заглядывали на сто. Другими словами, обычным прогнозистам нужно было утроить свое предвидение, чтобы смотреть на то же расстояние, которое доступно суперпрогнозистам.

Насколько важна разница параметров? Давайте условно скажем, что результат Брайера у обычного прогнозиста равен зрению 0,2. Офтальмолог дает этому прогнозисту очки, которые улучшают его зрение до 0,5. Это улучшение на 60 %. Насколько это важно? 0,5 даже близко не стоит с ястребиным зрением. Но посмотрите на табличку Снеллена на этой странице. Изменение результата с 0,2 до 0,5 приводит к тому, что человек может разглядеть со второго по пятый ряд – и в итоге у него появляется гораздо больше возможностей поймать мяч, узнать друзей на улице, прочитать мелкий шрифт в контрактах и избежать лобовых столкновений. В общем и целом это разница, меняющая жизнь.