Текст книги "Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность"

Возьмем хотя бы проблему времени. Очевидно, что предсказания с размытыми временными рамками – это абсурд. Но прогнозисты постоянно их делают, как в том письме Бену Бернанке. Дело тут обычно не в нечестности – просто подразумевается некое общее понимание, какие временные рамки, пусть и грубо очерченные, имеются в виду. Именно поэтому прогнозы без указания времени не кажутся абсурдными. Но время проходит, воспоминания тускнеют, и подразумеваемые временны́е границы перестают быть очевидными. В результате часто возникает утомительная дискуссия об «истинном» значении прогноза. Ожидалось ли событие в этом году или в следующем? В этом десятилетии или следующем? Без временных ограничений такие споры невозможно разрешить к всеобщему удовлетворению, особенно когда на кону чья-то репутация.

Одна только проблема превращает многие каждодневные прогнозы в непригодные для проверки. Еще одна проблема: предсказания часто опираются на то, что их ключевые термины всем понятны и без четких определений (как «весомое место на рынке» у Стива Балмера). Такие расплывчатые формулировки – скорее правило, чем исключение, и они тоже переводят прогнозы в категорию непригодных для проверки.

Но это еще не самые большие препятствия на пути к оценке прогнозов; со степенью их вероятности возникает куда больше проблем.

Некоторые предсказания проверить легко: в них однозначно утверждается, что какое-то событие случится или не случится, как в прогнозе Джонатана Шелла: или мы избавимся от ядерного оружия, или «апокалипсис… произойдет». В итоге ни одна супердержава не уничтожила свой ядерный арсенал, но и ядерной войны не случилось – ни в том году, когда появилась книга Шелла, ни до сих пор. Поэтому, если читать прогноз Шелла буквально, прогнозист окажется очевидно не прав.

Но что, если бы Шелл сказал, что ядерная война случится «с большой вероятностью»? Тогда прогноз был бы не столь очевиден: Шелл мог чрезмерно преувеличить риск, но мог и оказаться совершенно прав – просто человечеству повезло выжить в самой отчаянной в истории нашей планеты игре в русскую рулетку. Тогда был бы только один способ проверить его предсказание: воспроизвести жизнь цивилизации заново сотни раз, и, если в большей части этих «перезапусков» она окончится в груде радиоактивных обломков, значит, Шелл был прав. Но этого мы сделать не можем.

Однако же давайте представим, что мы всемогущие создания и можем провести такой эксперимент. Мы прокручиваем историю сотни раз и выясняем, что 63 % их заканчиваются ядерной войной. Прав ли Шелл в этом случае? Возможно. Но мы все равно не можем судить определенно – так как не знаем, что именно имелось в виду под «большой вероятностью».

Похоже на семантическую увертку, правда? Но это явление гораздо более значительно, как в свое время с тревогой обнаружил Шерман Кент.

В разведывательных кругах Шерман Кент – легенда. Получив степень доктора философии в области исторических наук, Кент ушел с преподавательской должности в Йеле, чтобы присоединиться к отделу исследований и анализа только что образованного Бюро координации информации (БКИ) в 1941 году. БКИ превратилось в Управление стратегических служб (УСС), а УСС стало Центральным разведывательным управлением (ЦРУ). К 1967 году, когда Кент ушел в отставку, он успел существеннейшим образом повлиять на формирование в американском разведсообществе разведывательного анализа – методики исследования информации, собранной шпионами или слежкой, с целью выяснения ее значения и прогнозирования дальнейших событий.

Ключевое слово в работе Кента – «оценка». Как он писал,

оценивание – это то, что вы делаете, когда ничего не знаете[48]48
  Sherman Kent. Estimates and Influence // Studies in Intelligence. 1968. Summer. P. 35.


[Закрыть].

А мы, подчеркивал он снова и снова, никогда на самом деле не знаем, что случится дальше. Таким образом, прогнозирование – это оценивание вероятности того, что что-то произойдет. Именно этим Кент и его коллеги занимались в течение многих лет в Управлении национальных разведывательных оценок обстановки. Это неприметное, но крайне влиятельное бюро занималось тем, что собирало всю доступную ЦРУ информацию, синтезировало ее и предсказывало дальнейшие события, что могло помочь высшим чинам в правительстве США определиться со стратегией и тактикой.

Работа Кента и его коллег не была идеальной. Самый громкий провал относится к 1962 году, когда в опубликованнной ими оценке обстановки утверждалось, что Советы не могут совершить такую глупость, как размещение наступательных ракет на Кубе, – в то время как это уже было сделано. Но по большей части прогнозы Управления очень ценились, потому что Кент поддерживал высокие стандарты аналитической скрупулезности. В национальных разведывательных оценках обстановки ставки были крайне высоки. Каждое слово имело значение. Кент взвешивал их крайне осторожно. Однако даже его профессионализм не смог предотвратить путаницу.

В конце 1940-х коммунистическое правительство Югославии разорвало отношения с Советским Союзом. Возникла угроза вторжения Советов на территорию страны. В марте 1951 года в США была опубликована Национальная разведывательная оценка 29–51:

Хотя невозможно определить, какой курс действий изберет Советский Союз, уровень милитаристской и пропагандистской подготовки [в Восточной Европе] указывает на то, что нападение на Югославию в 1951 году следует рассматривать как серьезную возможность.

Почти по всем стандартам это ясный, осмысленный язык. Никто из чиновников высшего ранга в правительстве, прочитавших эту оценку, даже не предполагал иного исхода прогноза. Однако несколько дней спустя, когда Кент разговаривал с представителем Госдепартамента, тот спросил его мимоходом: «Кстати, а что вы имели в виду под выражением “серьезная возможность”? Какой расклад вы подразумевали?» Кент сказал, что его прогноз пессимистичен: 65 против 35 он ставил на то, что нападение произойдет. Представитель Госдепартамента был поражен. Он и его коллеги восприняли «серьезную возможность» как гораздо меньшую разницу в раскладе[49]49
  Sherman Kent. Words of Estimative Probability / ed. Donald P. Steury // Sherman Kent and the Board of National Estimates. Washington, DC: History Staff, Center for the Study of Intelligence, CIA, 1994. P. 134–135.


[Закрыть].

Обеспокоенный, Кент вернулся к своей команде. Они все согласились на формулировку «серьезная возможность», когда составляли оценку, так что Кент спросил каждого человека по очереди, что именно, по его мнению, под этой формулировкой имелось в виду. Один аналитик сказал, что в его представлении это расклад примерно 80 к 20, то есть нападение в 4 раза более вероятно. Другой думал, что имеется в виду 20 к 80 – то есть ровно наоборот. Остальные ответы оказались между двумя этими крайними величинами.

У Кента словно почву из-под ног вышибло. Выражение, казавшееся таким информативным, оказалось настолько нечетким, что не несло почти никакого смысла. А возможно, все еще хуже – ведь оно привело к неправильному пониманию положения вещей, что было опасно. И как же быть с остальной работой, которую они делали ранее? Неужели они, «казалось бы, соглашались в течение пяти месяцев с оценками обстановки, по которым на самом деле не было никакого согласия? – написал Кент в своем эссе в 1964 году. – Были ли другие оценки усеяны “серьезными возможностями” и прочими выражениями, имевшими разное значение как для составителей, так и для читателей? Что на самом деле мы пытались сказать, когда писали подобные предложения?[50]50
  Там же. P. 135.


[Закрыть]»

Кент имел основания волноваться. В 1961 году, когда ЦРУ планировало свергнуть правительство Кастро, высадив небольшую армию кубинских эмигрантов в заливе Свиней, президент Джон Ф. Кеннеди обратился к военным с просьбой дать непредвзятую оценку. Комитет начальников штабов заключил, что план имеет «неплохой шанс» на успех. Человек, который использовал слова «неплохой шанс», позже уточнил, что он имел в виду вероятность 3 к 1 против успеха. Но Кеннеди не сообщили, что именно имелось в виду под «неплохим шансом», так что он не без оснований воспринял этот прогноз как гораздо более оптимистический. Конечно, мы не можем быть уверены, что, если бы Комитет сказал: «Мы считаем, что операция провалится с вероятностью 3 к 1», Кеннеди отменил бы ее, но, безусловно, это заставило бы его гораздо более тщательно подумать, прежде чем дать приказ на высадку, обернувшуюся в итоге катастрофой[51]51
  Richard E. Neustadt and Ernest R. May. Thinking in Time. New York: Free Press, 1988.


[Закрыть].

Шерман Кент предложил решение. Во-первых, слово «возможно» для важных вопросов, по которым аналитики должны были делать прогнозы, решено было все-таки оставить, хотя оно и не означало никакой конкретной степени вероятности. Таким образом, все, что «возможно», подразумевало вероятность от чуть больше нуля до почти 100 %. Конечно, смысла в этом мало, поэтому аналитики должны были по возможности каждый раз сужать границы своих оценок. Чтобы избежать при этом путаницы, за каждым термином, который они использовали, установили численное выражение, которое Кент внес в таблицу[52]52
  Sherman Kent and the Profession of Intelligence Analysis. Center for the Study of Intelligence, Central Intelligence Agency. 2002. November. P. 55.


[Закрыть].

Таким образом, если Национальная разведывательная оценка обстановки говорит, что нечто «вероятно», значит, это нечто случится с вероятностью от 63 до 87 %.

Простенькая схема Кента значительно снизила вероятность путаницы, но не стала общепринятой. Теоретически людям нравилась определенность, но, когда дело доходило до точных и ясных прогнозов, они не так уж стремились обозначить конкретные цифры. Некоторые говорили, что им это кажется неловким и неестественным. Ну, если всю жизнь используешь нечеткие формулировки, то, конечно, будешь испытывать именно такие ощущения – но это не особо серьезный аргумент против изменений. Другие выражали эстетическое отвращение: у языка есть собственная поэтика, считали они, и вставлять в него конкретные цифры – просто безвкусица, это делает человека похожим на букмекера. Кента этот аргумент не впечатлил. Тогда, кстати, и прозвучал его легендарный ответ: «Я лучше буду букмекером, чем чертовым поэтом!»[53]53
  Там же.


[Закрыть]

И тогда, и сейчас высказывается более серьезное возражение: мол, обозначение степени вероятности числом может создать у читателя ощущение, что речь об объективном факте, а не субъективном мнении, а это опасно. Однако же для решения проблемы не нужно искоренять цифры. Нужно просто проинформировать читателей, что они, как и слова, служат только для выражения оценки, мнения – и ничего больше. Можно утверждать, что точная цифра как бы намекает: «Прогнозист точно знает, что это число верно». Но такой смысл не подразумевается, и предсказание не должно восприниматься так. Не нужно забывать и о том, что слова вроде «серьезная вероятность» предполагают то же, что числа, однако видимая разница цифр придает прогнозу определенность и снижает риск непонимания. У чисел есть еще одно преимущество: неопределенные мысли легко выражать неопределенным языком, однако, когда прогнозисты вынуждены оперировать числами, им приходится тщательно обдумывать свое мнение, прежде чем озвучить его. Этот процесс называется метапознанием. Практикующиеся в нем прогнозисты начинают лучше видеть тонкую разницу между разными степенями неопределенности – так же как художники со временем лучше различают мельчайшие оттенки серого.

Однако есть еще одно, более серьезное препятствие к принятию точных чисел в прогнозировании. Оно относится к ответственности за результат; я называю его «заблуждением не той стороны “может быть”».

Если метеоролог говорит, что дождь пойдет с 70 %-ной вероятностью, а дождь в итоге не идет, ошибается ли он? Необязательно. Прогноз подразумевает 30 % вероятности того, что дождь не пойдет. Так что, если дождь не пошел, прогноз может оказаться неудачным, но может быть и так, что метеоролог совершенно прав. Единственный способ узнать это точно – прогнать день заново сто раз: если в 70 % этих прогонов будет идти дождь, а в 30 % нет, значит, метеоролог составил верный прогноз. Но мы не всевластны и поэтому не можем вернуть этот день, не можем оценить точность прогноза. Однако люди все равно ее оценивают, и всегда одинаково: смотрят, на какой стороне от «может быть» (50 %) была вероятность. Если в прогнозе говорилось, что вероятность дождя 70 %, и дождь в итоге пошел, значит, прогноз верный. Если не пошел – неверный.

Такая простая ошибка невероятно распространена, ее допускают даже самые опытные, умудренные жизнью люди. В 2012 году, когда Верховный суд должен был огласить давно ожидаемый вердикт по конституционности реформы здравоохранения (Obamacare), на рынках прогнозов – то есть там, где у людей принимают ставки на возможные исходы, – вероятность, что закон будет отменен, держалась на уровне 75 %. Когда Верховный суд признал закон, весьма здравомыслящий репортер New York Times Дэвид Леонхардт объявил, что «рынок – мудрость толпы – оказался не прав»[54]54
  David Leonhardt. When the Crowd Isn’t Wise // New York Times. 2012. July 7.


[Закрыть].

Распространенность этой элементарной ошибки имеет ужасные последствия. Если, допустим, разведывательное агентство говорит о 65 %-ной вероятности, что какое-то событие произойдет, оно рискует оказаться у позорного столба в случае, если это событие все-таки не случится. А риск велик – целых 35 %, что заложено в прогнозе. Как же избежать этой опасности? Придерживаться неопределенных формулировок. Используя термины вроде «неплохой шанс» и «серьезная возможность», прогнозисты могут заставить работать на себя даже «заблуждение не той стороны “может быть”»: если событие произошло, «неплохой шанс» задним числом объявляется чем-то значительно большим, чем 50 %, и получается, что прогнозист был прав. Если же событие не произошло, этот шанс может съежиться и обозначать значительно меньше 50 % – и опять-таки прогнозист оказывается прав. Неудивительно, что со столь ложными стимулами люди предпочитают гибкие формулировки точным цифрам.

Кент эти политические барьеры не смог преодолеть, но с годами доводы, которые он приводил в пользу применения цифр, только укреплялись: одно исследование за другим показывало, что словам, касающимся вероятностей, таким как «может быть», «возможно», «вероятно», люди придают очень разное значение. И все равно разведывательное сообщество сопротивлялось. Только после провала с предполагаемым оружием массового поражения Саддама Хусейна и последовавших за ним крупных реформ выражение степени вероятности в числах стало более приемлемо. Когда аналитики ЦРУ сообщили президенту Обаме: они на 70 или 90 % уверены, что загадочный человек, прячущийся в пакистанском убежище, – Усама бен Ладен, – это был маленький посмертный триумф Шермана Кента. В некоторых областях числа и вовсе стали стандартом: так, в прогнозах погоды «небольшая вероятность ливней» уступила место «тридцатипроцентной вероятности ливней». Но увы, язык неопределенности до сих пор настолько распространен, особенно в СМИ, что мы редко замечаем его бессодержательность, просто не обращаем на это внимания.

«Думаю, долговой кризис в Европе не решен и может быть очень близок к критической отметке, – сказал гарвардский экономический историк и популярный комментатор Ниал Фергюсон в январе 2012 года. – Дефолт Греции может быть вопросом ближайших дней». Был ли он прав? Популярное понимание слова «дефолт» включает в себя полный отказ от выплаты долга, а в Греции этого не произошло в течение ни последующих дней, ни месяцев, ни лет. Однако есть также техническое определение дефолта, и именно он случлся в Греции вскоре после интервью с Фергюсоном. Какое именно определение имел в виду Фергюсон? Непонятно. Поэтому, хотя у нас есть основания полагать, что он был прав, мы не можем быть в этом уверены.

Но давайте представим себе, что в Греции не произошло вообще никакого дефолта. Смогли бы мы сказать, что Фергюсон был не прав? Нет. Он ведь только сказал, что дефолт «может» произойти, а «может» – пустое слово. Оно говорит только о возможности чего-то, без уточнения степени ее вероятности. «Может» произойти практически все что угодно. Я могу с уверенностью предсказать, что на Землю завтра могут напасть инопланетяне. А если не нападут? Это не будет означать, что я не прав. Каждое «может» снабжено сноской, в которой мелким шрифтом приписано «или не может». Однако интервьюер не заметил мелкий шрифт в прогнозе Фергюсона и не попросил его уточнить, что именно он имел в виду[55]55
  Henry Blodget. Niall Ferguson: Okay, I Admit It – Paul Krugman Was Right // Business Insider. 2012. January 30. http://www.businessinsider.com/niall-ferguson-paul-krugman-was-right-2012-1.


[Закрыть].

При серьезном отношении к оценкам и улучшениям такие прогнозы никуда не годятся. В прогнозах нужно указывать четко определенные термины и временны́е рамки. Они должны использовать числа. И еще один необходимый момент: прогнозов должно быть много.

Мы не можем заново проиграть историю, поэтому не можем оценить одно вероятностное предсказание; ситуация меняется, когда мы располагаем множеством вероятностных прогнозов. Если метеоролог говорит, что завтра пойдет дождь с вероятностью 70 %, этот прогноз оценить невозможно. Но если он предсказывает погоду на завтра, послезавтра, послепослезавтра – и так в течение месяцев, – все прогнозы можно свести в таблицу и определить кривую показателей. Если прогнозирование идеально, дождь будет идти в 70 % случаев, когда предсказывается вероятность 70 %, что он пойдет; в 30 % случаев, когда объявляется вероятность 30 %, и т. д. Это называется калибровка. Она может быть изображена в виде простого графика. Идеальную калибровку выражает диагональная линия на графике.

Идеальная калибровка

Если кривая метеоролога сильно выходит вверх за эту линию, значит, у него недостаток уверенности: то, что она предсказывает с 20 %-ной уверенностью, происходит в 50 % случаев (см. следующую страницу). Если кривая сильно опускается за линию вниз, значит, у метеоролога переизбыток уверенности: то, что он предсказывает с 80 %-ной уверенностью, происходит в 50 % случаев.

Два вида нарушения калибровки: недостаток уверенности (над линией) и переизбыток уверенности (под линией)

Этот метод хорошо подходит для прогнозов погоды, потому что погода каждый день новая, и прогнозы быстро накапливаются. Для таких событий, как президентские выборы, он не годится – ведь должны пройти века, причем не потревоженные войнами, эпидемиями и прочими чрезвычайными происшествиями, которые нарушают чистоту глубинных причин, чтобы сформировалась какая-то статистика. Тут поможет творческий подход. Например, можно сосредоточиться на результатах конкретного штата в президентских выборах – и тогда получим за выборы не один, а 50 прогнозов.

И все равно остается проблема. Из-за того, что для калибровки требуется много прогнозов, оценивать те, которые касаются редких событий, непрактично. И даже когда речь идет о повседневности, мы должны быть терпеливыми сборщиками информации – и осторожными ее интерпретаторами.

Как бы ни была важна калибровка, дело не только в ней, потому что, говоря об идеальной точности прогноза, мы представляем себе не «идеальную калибровку». Идеальность – это божественное всезнание, когда после слов «это случится» что-то случается, а после слов «это не случится» – не случается. Технический термин для такого всезнания – «разрешение».

Два графика на странице 84 показывают, как калибровка и разрешение запечатлевают разные аспекты хорошего прогнозирования. График сверху представляет идеальную калибровку, но плохое разрешение. Калибровка здесь идеальна, потому что, когда прогнозист говорит, что что-то случится с вероятностью 40 %, это происходит в 40 % случаев, а когда говорит, что вероятность 60 %, – это действительно происходит в 60 % случаев. Но разрешение при этом плохое, потому что прогнозист никогда не выходит за теневые рамки зоны «возможно», между 40 и 60 %. График внизу представляет великолепные калибровку и разрешение. Калибровка вновь идеальна, потому что события происходят с прогнозируемой частотой: предсказанное с вероятностью 40 % происходит в 40 % случаев. Но на этот раз прогнозист гораздо более решителен и точно распределяет высокие вероятности событиям, которые происходят, и низкие вероятности событиям, которые не происходят.

Комбинируя калибровку и разрешение, мы получаем систему оценки, которая полностью выражает наше ощущение от того, что должен делать хороший прогнозист. Если кто-то говорит, что событие Х произойдет с вероятностью 70 %, и событие происходит – это достаточно неплохой прогноз. Но если кто-то предсказал Х с вероятностью 90 % – его прогноз лучше. А прогнозист, достаточно смелый, чтобы предсказать Х с уверенностью 100 %, получает наивысшую оценку. Однако самоуверенность наказуема. Если кто-то говорит, что Х – верный случай, то он должен понести убытки, если Х не случится. Вопрос о том, насколько велики эти убытки, дискуссионен, но наиболее верно думать о нем в терминах тотализатора. Если я говорю, что «Янкиз» побьют «Доджерс» с вероятностью 80 % и готов на это поставить, я предлагаю вам ставку 4 к 1. Если вы принимаете и ставите со своей стороны 100 долларов, вы заплатите мне 100 долларов, если «Янкиз» выиграют, а я заплачу вам 400 долларов, если они проиграют. Но если я скажу, что вероятность победы «Янкиз» 90 %, я подниму ставку до 9 к 1. Если, по моему мнению, вероятность победы 95 %, ставка поднимается до 19 к 1. Это экстремальное значение. Если вы согласитесь поставить 100 долларов, я заплачу вам 1900 в случае, если «Янкиз» проиграют. Оценочная система в прогнозировании должна использовать подобное наказание.

Хорошо откалиброванный, но трусливый (сверху);

хорошо откалиброванный и смелый (снизу)

Математическая основа этой системы была разработана Гленом В. Брайером в 1950 году. Соответственно, ее результаты называются результатами Брайера. По сути, они показывают дистанцию между вашим прогнозом и тем, что на самом деле случилось. Поэтому тут как в гольфе: чем ниже результаты, тем лучше. Идеал – ноль. Прогноз от подстраховщика с вероятностью 50 на 50 или произвольное угадывание в целом даст результат Брайера 0,5. Прогноз, максимально неверный, – то есть такой, в котором утверждается, что событие произойдет с вероятностью 100 %, а оно не происходит, – получает катастрофический результат 2,0, настолько удаленный от Истины, насколько это вообще возможно[56]56
  Результат Брайера «правильный», потому что побуждает прогнозиста высказывать свое настоящее мнение, а не подстраивать его под политические требования. Прогнозист, которого заботит только результат Брайера, выскажет свое искреннее мнение, что, допустим, есть 4 % вероятности, что Иран проведет ядерные испытания в 2015 году; но прогнозист, который переживает, что его назначат козлом отпущения, может поднять процент вероятности, чтобы не допустить возможных обвинений впоследствии – «но вы же говорили, что вероятность всего 4 %!». Результат Брайера предусматривает потери в репутации из-за самоуверенности, и они соответствуют финансовым потерям, которые несут игроки, допустившие такие же ошибки. Если вы не готовы сделать ставку в соответствии с вашим расчетом вероятности, пересчитайте вероятность. Glenn W. Brier. Verification of Forecasts Expressed in Terms of Probability // Monthly Weather Review 78. 1950. № 1. P. 1–3; Robert L. Winkler. Evaluating Probabilities: Asymmetric Scoring Rules // Management Science 40. 1994. № 11. P. 1395–1405.


[Закрыть].

Итак, мы прошли долгий путь. У нас есть вопросы для прогнозирования с четко сформулированными терминами и временны́ми рамками. У нас есть много предсказаний с числами и есть математическая основа для подсчета результатов. Мы устранили двусмысленность настолько, насколько это вообще в человеческих силах, и готовы полным ходом отправиться в эпоху Нового Просвещения, так?

Значение математики

Не вполне. Вспомните: основная суть наших занятий – определение возможности оценить точность предсказаний, чтобы понять, что в прогнозировании работает, а что нет. Чтобы сделать это, мы должны интерпретировать значение результатов Брайера, что требует еще двух параметров: эталона для сравнения и сопоставимости.

Давайте предположим, что у вас обнаружили результат Брайера 0,2. Это далеко от божественного всезнания (0), но намного лучше угадывания шимпанзе (0,5), так что такой результат соответствует уровню ожидания от, скажем, человеческого существа. Но этим дело не ограничивается. Значение результата Брайера зависит от того, на что именно составляется прогноз. Например, очень просто представить обстоятельства, при которых результат Брайера 0,2 будет выглядеть разочаровывающим. Например, возьмем погоду в Фениксе, штат Аризона. Каждый июнь там очень жарко и солнечно. Прогнозист, который будет следовать бездумному правилу «всегда ставь 100 % на жарко и солнечно», получит результат Брайера, близкий к нулю, и легко обставит результат 0,2. Настоящее мастерство покажет здесь только тот прогнозист, который способен на большее, нежели бездумно предсказывать «без изменений». Это момент всегда недооценивают. Например, после президентских выборов 2012 года Нейта Сильвера, а также Сэма Вонга из Принстона и других предсказателей превозносили за то, что они угадали итоги по всем пятидесяти штатам, но при этом почти никто не заметил, что самое грубое универсальное предсказание «без изменений» (если штат голосовал за демократов или республиканцев в 2008 году, он сделает то же самое в 2012-м) дало бы результат 48 из 50. Поэтому восторженные восклицания, слышные в то время: «Он угадал все 50 штатов!» – самую малость преувеличивали суть дела. К счастью, предсказатели выборов – профи, они знают, что улучшение прогнозов, как правило, происходит миллиметр за миллиметром.

Еще один эталон сравнения – другие прогнозисты. Кто может обставить всех остальных? Кто может побить совокупный прогноз? Как они умудряются это делать? Чтобы ответить на эти вопросы, требуется сравнить результаты Брайера – что, в свою очередь, требует равных условий. Прогноз погоды в Фениксе гораздо легче предсказания погоды в Спрингфилде, штат Миссури, где она постоянно меняется, так что несправедливо было бы сравнивать результаты Брайера метеорологов в Фениксе и в Спрингфилде. Результат Брайера 0,2 в Спрингфилде может быть знаком того, что перед нами – метеоролог мирового класса. Вывод простой, но несет в себе важную подоплеку: выкапывание старых прогнозов из газет редко предоставляет возможность сравнить, так сказать, яблоко с яблоком, потому что вне пределов турниров прогнозисты редко предсказывают одинаковые события в один и тот же временной период.

Сложите вместе все эти соображения – и мы готовы приступать. Как Арчи Кокрану и другим пионерам медицины, основанной на свидетельствах, нам нужно проводить аккуратно организованные эксперименты. Собрать прогнозистов. Задать им, избегая двусмысленностей, большое количество вопросов с конкретными временными рамками. Потребовать от прогнозистов, чтобы они использовали выраженные в числах степени вероятности. И подождать какое-то время. Если исследователи сделали свою работу, результаты будут четкими. Информацию можно проанализировать и получить ответы на ключевые вопросы («Насколько хороши прогнозисты?», «Кто из них лучший?», «Что их отличает?»).

Экспертное политическое суждение

Этим я и начал заниматься в середине 1980-х, но сразу натолкнулся на сложности. Несмотря на то, что я практически умолял лучших специалистов принять участие в исследовании, никто из них не согласился. И тем не менее я умудрился завербовать 284 серьезных профессионала, дипломированных эксперта, зарабатывающих на жизнь анализом политических и экономических тенденций и событий. Некоторые из них были из академической среды – университетов или НИИ. Другие работали в разных департаментах правительства США, в международных организациях вроде Всемирного банка или Международного валютного фонда или в СМИ. Кое-кто из них даже был довольно знаменит, другие хорошо известны в профессиональных сообществах, некоторые только начинали карьеру и пока ничем не прославились. И все равно следовало гарантировать им анонимность, потому что даже те эксперты, которым далеко было до уровня элиты вроде Тома Фридмана, не хотели рисковать своими репутациями ради нулевой профессиональной отдачи. Анонимность также гарантировала, что участники не будут испытывать давления или бояться попасть впросак, а значит, сделают лучшие предположения. Эффекты публичности могли подождать до следующего исследования.

Первые вопросы, заданные экспертам, касались их самих. Возраст? (Средний – сорок три года.) Рабочий опыт в соответствующей области? (Средний – 12,2 года.) Образование? (Почти все прошли постдипломную подготовку, у половины – кандидатские степени.) Также их спросили об идеологических воззрениях и предпочтительных подходах к решению политических проблем.

Вопросы для прогнозов задавали временны́е рамки от одного до десяти лет вперед и затрагивали различные темы, поднимающиеся в текущих новостях: политических и экономических, местных и международных. На такие темы обычно рассуждают эксперты в СМИ и коридорах власти. Это означало, что нашим экспертам иногда попадались вопросы по их специализации, но чаще – нет, что позволило сравнивать точность прогнозов настоящих профессионалов и умных и хорошо информированных любителей. В общем и целом наши эксперты сделали примерно 28 тысяч предсказаний.

На задавание вопросов ушли годы. Затем потянулось ожидание – испытание терпения даже для людей со стажем. Я начал эксперимент, когда Михаил Горбачев и советское Политбюро были ключевыми игроками, вершащими судьбы мира. К тому моменту, когда началось оформление результатов, СССР существовал только на исторических картах, а Горбачев снимался в рекламе для «Пиццы Хат». Окончательные результаты появились в 2005-м – спустя 21 год, шесть президентских выборов и три войны после того, как я поучаствовал в комиссии Национального совета по исследованиям, заставившей меня задуматься о прогнозировании. Я опубликовал результаты в академическом трактате «Экспертное политическое суждение (Expert Political Judgment): насколько оно хорошо? Откуда мы можем это узнать?». В целях упрощения я буду называть всю эту исследовательскую программу аббревиатурой EPJ.

И результаты…

Если перед тем, как открыть эту книгу, вы не знали комических результатов EPJ, то сейчас они вам уже известны: среднестатистический эксперт оказался точен примерно как шимпанзе, играющий в дартс. Но, как предупреждают студентов на вводных уроках статистики, средние показатели могут вводить в заблуждение. Отсюда старая шутка про статистиков, которые спят, сунув ноги в духовку, а голову в морозилку из-за комфортности средней температуры.

По результатам EPJ эксперты разделились на две статистически отличающиеся группы. Первая не смогла подняться выше произвольного угадывания, а в долгосрочных прогнозах умудрилась проиграть даже шимпанзе. Вторая группа обошла шимпанзе, хоть и не с разгромным счетом, так что особых поводов для гордости у них тоже не было. На самом деле они всего лишь слегка превзошли простые алгоритмы вроде «всегда предсказывай отсутствие изменений» или «предсказывай текущий уровень изменений». И все же, каким бы скромным ни был их дар предвидения, он имелся.

Так почему же одна группа выступила лучше другой? Дело было не в ученых степенях и не в доступе к секретной информации. Дело было и не в том, что они думали: были ли они либералами или консерваторами, оптимистами или пессимистами. Основным фактором было то, как они думали.

Одна группа имела свойство опираться на Большие Идеи, хотя они и не сходились во мнениях по поводу того, какие из Больших Идей правдивы, а какие ложны. Одни хоронили человечество вместе с окружающей средой («У нас заканчиваются все ресурсы!»), другие праздновали наступление эры изобилия («Мы всему можем найти малозатратные заменители!»). Некоторые были социалистами (предпочитавшими государственный контроль над стратегически важными направлениями экономики), другие – фундаменталистами свободного рынка (сторонниками минимальной регуляции). Какими бы ни были их идеологические отличия, объединяла всех экспертов крайняя идеологизированность мышления. Они пытались уместить комплексные проблемы в облюбованные ими причинно-следственные шаблоны, а все, что не помещалось, отбрасывали как помехи, не имеющие отношения к делу. Категорически не приемля неопределенность, они толкали свои аналитические выкладки к границе (а иногда и выталкивали за нее), используя термины вроде «кроме этого» и «более того» и складывая одну на другую причины, по которым они должны быть непременно правы, а остальные – ошибаться. В результате эксперты были необычайно уверены в себе и имели большую склонность объявлять вещи «невозможными» или «непременными». Даже после того как их предсказания со всей ясностью не сбывались, они, сроднившись со своими выводами, с большой неохотой меняли мнение, говоря при этом: «Вы еще подождите!»