Текст книги "Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет"

Что общего между всеми неудачными прогнозами

Финансовый кризис сопровождался как минимум четырьмя крупными неудачами прогнозирования.

• Сам факт образования пузыря на жилищном рынке говорит о том, что прогноз был плохим. Домовладельцы и инвесторы полагали, что рост цен означает, что стоимость домов будет продолжать увеличиваться, хотя на самом деле это должно было навести их на мысль о снижении цен в дальнейшем.

• Рейтинговые агентства и банки типа Lehman Brothers не смогли понять, насколько рискованны ценные бумаги, обеспеченные закладными. Вопреки их предположениям, сделанным на слушаниях в Конгрессе, проблема была не в том, что рейтинговые агентства не смогли увидеть пузырь на жилищном рынке. Скорее, в их модели прогнозирования были заложены ошибочные допущения, основанные на ложной уверенности в том, что риск, связанный с коллапсом на жилищном рынке, достаточно мал.

• Практически никто не смог представить себе, что кризис на рынке жилья станет спусковым крючком глобального финансового кризиса. Однако это произошло – в результате высокой доли левериджа на рынке, при которой на каждый доллар, который средний американец хотел вложить в новый дом, приходилось до 50 долл., инвестированных в производные бумаги.

• И, наконец, непосредственно после финансового кризиса никто не был способен предсказать масштаб финансовых проблем, которые он может вызвать. Экономисты и политики не прислушались к выводу Рейнхарт и Рогоффа о том, что финансовые кризисы обычно приводят к очень глубоким и долгосрочным рецессиям.

У всех этих проблем, связанных с прогнозами, имеется общая черта. В каждом случае при оценке данных люди игнорировали важную часть контекста:

• вера домовладельцев в то, что цены на жилье не упадут, проистекала из того факта, что в недавнем прошлом никакого значительного снижения цен на жилье в США не происходило. Однако никогда прежде не было и столь масштабного роста этих цен;

• доверие банков к способности Moody’s и S&P оценивать ценные бумаги, обеспеченные закладными, могло быть основано на том факте, что агентства достаточно профессионально оценивали другие типы финансовых активов. Однако рейтинговые агентства никогда прежде не оценивали столь новые и сложные ценные бумаги, как кредитные дефолтные опционы;

• вера экономистов в способность финансовой системы выдержать кризис на жилищном рынке могла быть связана с тем, что колебания цен на жилье в прошлом не оказывали существенного влияния на финансовую систему. Однако финансовая система никогда прежде не использовала так много заемных средств и уж точно не создавала так много производных инструментов на жилищном рынке;

• вера политиков в способность экономики быстро восстановиться после финансового кризиса могла быть связана с их опытом недавних рецессий, большинство из которых заканчивалось быстрым «V-образным» восстановлением. Однако эти рецессии прежде не были вызваны финансовыми кризисами, а природа этих кризисов достаточно уникальна.

Для описания проблемы подобного типа существует специальный технический термин. В случае значительных ошибок в прогнозировании специалисты обычно говорят о том, что «данные находятся за пределами выборки». И обычно следы именно этой проблемы можно найти на местах подобных «преступлений».

Что означает этот термин? Объяснить его суть нам поможет простой пример.

За пределами выборки – за пределами мышления, или Формула неудачного предсказания

Представьте себе, что вы – очень хороший водитель. Так о себе думают почти все водители{145}145
  «93 % of Drivers Consider Themselves Above Average. Are You Above Average?» Cheap Car Insurance, Aug. 24, 2011. http://www.cheapcarinsurance.net/above-avarege-driver/.


[Закрыть], но вы можете это доказать – за 30 лет водительского стажа (то есть совершив 20 тыс. поездок) вы пару раз легко наехали на бордюры.

Помимо этого, вы не злоупотребляете алкоголем и уж точно никогда не садитесь за руль пьяным. Однако как-то раз вы расслабляетесь на рождественской вечеринке в офисе. Не так давно умер ваш хороший друг, и вы находитесь в состоянии стресса. Один коктейль водка-тоник превращается в 12. Вы сильно пьяны. Что лучше сделать – поехать домой, сев за руль, или же вызвать такси?

Ответ кажется очевидным – взять такси. И отменить утреннюю встречу.

Рис. 1.6. Аккуратность и точность

Однако вы начинаете руководствоваться иной логикой. Прежде вы уже совершили 20 тыс. поездок, и лишь в двух из них произошли незначительные инциденты. Иными словами, вы спокойно добрались до места назначения в 19 998 случаях. Кажется, что все свидетельствует о том, что вы способны благополучно доехать до дома. А если у вас есть столь убедительные шансы на успех, зачем напрягать себя вызовом такси?

Разумеется, проблема состоит в том, что ни в одной из этих 20 тыс. поездок вы не находились в состоянии столь сильного опьянения. Размер вашей выборки для оценки успеха при вождении в нетрезвом состоянии равен не 20 тыс., а 0, и вы не сможете использовать свой прежний опыт для предсказания риска аварии в будущем. Это – типичный пример проблемы, связанной с ошибкой выборки.

Хотя может показаться, что избежать подобной ошибки легко, рейтинговые агентства ее допустили. Проделанный Moody’s расчет корреляции между различными ипотечными ценными бумагами на основании данных из прошлого был неверен – особенно принимая во внимание тот факт, что компания учитывала данные о ценах на жилье в США, начиная с 1980‑х гг.{146}146
  Financial Crisis Inquiry Commission Report, 2011. http://www.gpo.gov/fdsys/pkg/GPO-FCIC/pdf/GPO-FCIC.pdf.


[Закрыть]. Однако в период с 1980‑х до середины 2000‑х гг. цены были стабильными или росли. В подобных обстоятельствах предположение о том, что закладная одного домовладельца мало связана с закладной другого, было достаточно точным. При этом ничто в данных из прошлого не могло показать, что произойдет, когда начнут снижаться цены на все дома. Коллапс на жилищном рынке оказался событием, находившимся за пределами выборки, поэтому созданная модель не могла применяться для оценки риска в этих условиях.

Ошибки, которые мы совершили, – и чему они учат

Разумеется, сотрудники Moody’s не были такими уж беспомощными. Они могли бы дать куда более правдоподобные оценки, расширив горизонт ви́дения. Соединенные Штаты никогда ранее не испытывали подобного краха на жилищном рынке – однако он происходил в других странах и приводил к плачевным результатам. Возможно, если бы экономисты Moody’s посмотрели, как изменились ставки в Японии после развития пузыря на рынке недвижимости, то смогли бы более реалистично представить себе всю опасность ценных бумаг, обеспеченных закладными, – и не дали бы им рейтинга AAA.

Однако большинство из тех, кто составляет прогнозы, как правило, избегает проблем, находящихся за пределами выборки. Расширяя выборку и включая в нее события, отделенные от нас пространством и временем, мы часто сталкиваемся с примерами того, что изучаемые связи выглядят совсем не так, как мы привыкли видеть. Наша собственная модель начинает казаться куда более слабой и смотрится уже куда менее впечатляюще при ее презентации (в статье в журнале или посте в блоге). Мы вынуждены признать, что знаем о мире значительно меньше, чем нам казалось. И наши личные и профессиональные стимулы почти всегда препятствуют подобному расширению выборки.

Мы забываем – или сознательно игнорируем – тот факт, что наши модели представляют собой упрощение мира. Мы считаем, что любая допускаемая нами ошибка будет находиться в разумных пределах. Однако в комплексных системах ошибки измеряются не в процентах, а в разах. S&P и Moody’s недооценили величину риска, связанного с CDO, в 200 раз. Экономисты считали, вероятность именно такой рецессии, которая произошла в реальности, составляла лишь 1 к 500.

Как я уже писал во введении, один из самых широко распространенных рисков, с которыми мы сталкиваемся в информационную эпоху, состоит в следующем: несмотря на увеличение объема знания в мире, разрыв между тем, что мы знаем, и тем, о чем мы думаем, что знаем, постоянно расширяется. Этот синдром часто связан с тем обстоятельством, что прогнозы, кажущиеся нам невероятно точными, на самом деле не являются таковыми. Moody’s провела расчеты с точностью до второго знака после запятой – однако они были невероятно далеки от реальности. Это все равно, что заявлять, что вы умеете хорошо стрелять, потому что ваши пули всегда оказываются в одних и тех же местах – хотя и невероятно далеко от центра мишени (рис. 1.6).

Финансовые кризисы, как и большинство других неудачных предсказаний, возникают как раз вследствие подобного фальшивого ощущения доверия. Аккуратные прогнозы притворяются точными, заставляя кое-кого из нас попасться на удочку и удвоить свои ставки. И в тот самый момент, когда нам кажется, что мы смогли преодолеть все основные недостатки своих суждений, ступор может наступить даже в такой сильной экономике, как американская.

Глава 2
Кто умнее: вы или «эксперты[20]20
  В данном случае автор использует слово «pundit», которое переводится не только как «эксперт», «ученый», «аналитик», но и является ироническим обозначением «теоретиков», пытающихся научно объяснить события на финансовых рынках, в экономике.


[Закрыть]» из телевизионных передач?

Для многих людей выражение «политический прогноз» практически стало синонимом телевизионной программы McLaughlin Group, политического круглого стола, транслируемого по воскресеньям с 1982 г. (и примерно с того же времени пародируемого в юмористическом шоу Saturday Night Live). Ведет эту программу Джон Маклафлин, сварливый восьмидесятилетний человек, предпринимавший в 1970 г. неудачную попытку стать сенатором США. Он воспринимает политические прогнозы как своего рода спорт. В течение получаса в передаче обсуждаются четыре-пять тем, при этом сам Маклафлин настойчиво требует, чтобы участники программы отвечали на совершенно различные вопросы – от политики Австралии до перспектив поиска внеземного разума.

В конце каждого выпуска McLaughlin Group наступает время рубрики «Прогнозы», в которой каждому участнику дается несколько секунд, чтобы выразить мнение по тому или иному актуальному вопросу. Иногда они имеют возможность выбрать тему самостоятельно и поделиться своим мнением о чем-то, весьма далеком от политики. В других же случаях Маклафлин устраивает им своего рода неожиданный экзамен, на котором участники должны дать так называемые вынужденные прогнозы и ответить на один конкретный вопрос.

На некоторые вопросы Маклафлина – например, назвать следующего претендента на место в Верховном суде из нескольких достойных кандидатов – сложно ответить. На другие намного проще. Например, в выходные перед президентскими выборами 2008 г. Маклафлин спросил у участников, кто одержит верх – Джон Маккейн или Барак Обама?{147}147
  Стенограмма встречи The McLaughlin Group, Federal News Service, записана 31 октября 2008 г. http://www.mclaughlin.com/transcript.htm?id=687.


[Закрыть].

Казалось, что ответ на этот вопрос не заслуживает длительного размышления. Барак Обама опережал Джона Маккейна практически в каждом национальном опросе, проводимом после 15 сентября 2008 г., когда банкротство Lehman Brothers привело к одному из самых сильных спадов в экономике со времен Великой депрессии. Также Обама вел по результатам опросов почти в каждом колеблющемся штате: Огайо, Флориде, Пенсильвании и Нью-Гемпшире – и даже в тех нескольких штатах, где демократы обычно не выигрывают, таких как Колорадо и Виргиния. Статистические модели, наподобие той, что я разработал для FiveThirtyEight, показывали, что шансы Обамы на победу в выборах превышают 95 %. Букмекерские конторы были менее конкретны, однако все равно оценивали шансы Обамы как 7 против 1{148}148
  «Iowa Electronic Markets», Henry B. Tippie College of Business, University of Iowa. http://iemweb.biz.uiowa.edu/pricehistory/PriceHistory_GetData.cfm.


[Закрыть].

Однако первый участник дискуссии, Пэт Бьюкенен, уклонился от ответа. «В этот уик-энд свое слово скажут неопределившиеся», – заметил он, вызвав смех остальных участников круглого стола. Другой гость, Кларенс Пейдж из газеты Chicago Tribune, сказал, что данные кандидатов слишком «близки друг к другу, чтобы делать ставки». Моника Кроули из Fox News была упрямее и заявила, что Маккейн выиграет с перевесом «в пол-очка». И лишь Элеанор Клифт из Newsweek констатировала очевидное мнение и предсказала победу Обамы и Байдена.

В следующий вторник Обама стал избранным президентом. Он получил 365 голосов выборщиков против 173, отданных за Джона Маккейна, – результат, практически совпавший с предсказанным на основании опросов и статистических моделей. Хотя это и не убедительная историческая победа, все равно это был не тот случай, когда трудно предсказать результаты выборов – Обама обогнал Джона Маккейна почти на десять миллионов голосов. И казалось бы, что всем, кто делал противоположные прогнозы, следует объясниться.

Однако через неделю, когда те же участники McLaughlin Group собрались снова{149}149
  Стенограмма встречи The McLaughlin Group, Federal News Service; записана 7 ноября 2008 г. http://www.mclaughlin.com/transcript.htm?id=688.


[Закрыть], ничего подобного не произошло. Они обсуждали статистические нюансы победы Обамы, его выбор Рама Эмануэля в качестве главы администрации и его отношения с президентом России Дмитрием Медведевым. Никто не упомянул о неудачных прогнозах, сделанных на национальном телевидении, невзирая на массу свидетельств обратного. Скорее, участники передачи попытались сделать вид, что исход был полностью непредсказуемым. Кроули сказала, что это был «необычный год» и что Маккейн провел ужасную предвыборную кампанию, забыв упомянуть, что сама хотела сделать ставку на этого кандидата неделей ранее.

Специалистов по прогнозированию редко стоит судить по одному-единственному прогнозу, но в данном случае можно сделать исключение. За неделю до выборов единственная правдоподобная гипотеза, позволявшая поверить в победу Маккейна на выборах, заключалась в массивном всплеске расовой враждебности по отношению к Обаме, почему-то не замеченной в ходе опросов{150}150
  Nate Silver, «Debunking the Bradley Effect», Newsweek, October 20, 2008. http://www.thedailybeast.com/newsweek/2008/10/20/debunking-the-bradley-effect.html.


[Закрыть]. Однако подобную гипотезу не высказал ни один из экспертов. Вместо этого они, казалось, существовали в альтернативной вселенной, в которой не проводятся опросы, отсутствует коллапс экономики, а президент Буш все еще более популярен, чем Маккейн, рейтинг которого стремительно падает.

Тем не менее я решил проверить, не был ли данный случай аномальным. Насколько вообще умеют предсказывать участники дискуссии McLaughlin Group – люди, получающие деньги за свои разговоры о политике?

Я оценил достоверность примерно 1000 прогнозов, сделанных в последней рубрике шоу как самим Маклафлином, так и участниками его передачи. Около четверти из них или были слишком расплывчатыми, что не позволяло их анализировать, или касались событий в отдаленном будущем. Все остальные я оценивал по пятибалльной шкале, варьировавшейся в диапазоне от абсолютно ошибочных до полностью точных.

С таким же успехом участники шоу могли бы подбрасывать монетку. 338 их прогнозов были неточными – либо полностью, либо в значительной степени. Точно такое же количество – 338 – оказалось верными полностью или в значительной степени{151}151
  Научные исследования деятельности McLaughlin Group привели к тем же заключениям. См., например: Lee Sigelman, Jarol B. Manheim, and Susannah Pierce, «Inside Dopes? Pundits as Political Forecasters», The International Journal of Press/Politics 1, 1 (January 1996). http://hij.sagepub.com/content/1/1/33.abstract.


[Закрыть] (табл. 2.1).

Таблица 2.1. Анализ прогнозов, высказанных в телевизионной программе McLaughlin Group{152}152
  * Предсказания не оценивались по одной из трех причин: ответ участника группы был слишком расплывчатым, чтобы сформулировать тестируемую гипотезу; или же предсказание касалось события в отдаленном будущем; или же участник группы отказывался отвечать на вопрос Маклафлина и не формулировал никаких предсказаний.


[Закрыть]

Кроме этого, ни одного из участников дискуссии – даже Клифта с его точным прогнозом итогов выборов 2008 г. – нельзя было выделить как лучшего среди остальных. Я рассчитал для каждого участника показатель, отражавший долю их личных верных индивидуальных прогнозов. Наиболее часто принимающие участие в обсуждении – Клифт, Бьюкенен, покойный Тони Блэнкли и сам Маклафлин – получили почти одинаковую оценку от 49 до 52 %, что означало, что они могли с равным успехом дать как верный, так и неверный прогноз{153}153
  Результаты двух более редко принимающих участие в передаче – Клэренс Пейдж и Морта Цукермана – были более многообещающими, а у Кроули – особенно плохими, однако эти результаты не имели особого смысла со статистической точки зрения.


[Закрыть]. Иными словами, их политическое чутье оказалось на уровне любительского джазового квартета, состоящего из парикмахеров.

Разумеется, программа McLaughlin Group в большей или меньшей степени задумана как своеобразное фарсовое развлечение для политических наркоманов. Это – своего рода пережиток прежней эры, такой же как программа Crossfire на канале CNN, в которой либералы и консерваторы бесконечно ругались друг с другом. Нынешняя, камерная эра не особо отличается от прежней, за исключением лишь того, что либералы и консерваторы вещают на своих кабельных каналах, а в качестве демилитаризованной демаркационной зоны между ними находятся Food Network или Golf Channel[21]21
  Большинство основных поставщиков кабельных услуг стараются разделить Fox News и MSNBC хотя бы парой других каналов. – Прим. авт.


[Закрыть]. Подобная расстановка сил повышает рейтинги, однако далеко не всегда обеспечивает более надежный анализ.

Но что можно сказать о тех, кому платят за правильность и тщательность исследований, а не просто за количество высказываемых мнений? Можно ли считать, что качество прогнозов политологов или аналитиков из вашингтонских мозговых центров выше?

Действительно ли политологи лучше «экспертов»?

Распад Советского Союза и некоторых других стран Восточного блока происходил невероятно высокими темпами и, учитывая все обстоятельства, довольно упорядоченным образом[22]22
  Из всех революций в Восточном блоке в 1989 г. лишь одна, в Румынии, привела к значительному кровопролитию. – Прим. авт.


[Закрыть].

12 июня 1987 г. Рональд Рейган, стоявший перед Бранденбургскими воротами, призвал Михаила Горбачева разрушить Берлинскую стену. И тогда его слова казались не менее дерзкими, чем обязательство Джона Ф. Кеннеди отправить человека на Луну. Рейган оказался лучшим пророком: стена рухнула менее чем через два года.

16 ноября 1988 г. парламент республики Эстония, государства размером со штат Мэн, заявил о суверенитете Эстонии, то есть о ее независимости от всемогущего СССР. Менее чем через три года Горбачеву удалось отразить попытку переворота со стороны сторонников жесткой линии в Москве, а затем советский флаг был в последний раз спущен перед Кремлем; Эстония и другие советские республики вскоре стали независимыми государствами.

Если постфактум падение советской империи и кажется вполне предсказуемым, то предвидеть его не мог практически ни один ведущий политолог. Те немногие, кто говорил о возможности распада этого государства, подвергались насмешкам{154}154
  Eugene Lyons, Workers’ Paradise Lost (New York: Paperback Library, 1967).


[Закрыть]. Но если политологи не могли предсказать падение Советского Союза – возможно, самого важного события в истории конца XX в., – то какой вообще от них прок?

Филип Тэтлок, преподаватель психологии и политологии, работавший в то время в Калифорнийском университете в Беркли{155}155
  С тех пор Тэтлок работает в Пенсильванском университете.


[Закрыть], задавал себе именно такие вопросы. В период распада СССР он организовал амбициозный и беспрецедентный проект. Начиная с 1987 г. Тэтлок принялся собирать прогнозы, сделанные обширной группой экспертов из научных кругов и правительства по широкому кругу вопросов внутренней политики, экономики и международных отношений{156}156
  «Экспертом», по мнению Тэтлока, может считаться любой человек, зарабатывающий себе на жизнь за счет профессионализма в определенной области, например корреспондент газеты Washington Post в Москве мог быть таким же экспертом по СССР, как и отставной советолог в университете Беркли.


[Закрыть].

Тэтлок обнаружил, что политическим экспертам было довольно сложно предвидеть развал СССР, поскольку для понимания происходившего в стране нужно было связать воедино различные наборы аргументов. Сами эти идеи и аргументы не содержали ничего особенно противоречивого, однако они исходили от представителей разных политических направлений{157}157
  Phillip E. Tetlock, Expert Political Judgment (Princeton, NJ: Princeton University Press, 2006), pp. 107–108.


[Закрыть], и ученые, бывшие сторонниками одного идеологического лагеря, вряд ли могли так легко пользоваться аргументацией оппонентов.

С одной стороны, непосредственно от Горбачева зависело довольно много, и его желание реформ было искренним. Если бы вместо того, чтобы заняться политикой, он предпочел стать бухгалтером или поэтом, то Советский Союз мог бы просуществовать еще несколько лет. Либералы симпатизировали Горбачеву. Консерваторы же мало верили ему, а некоторые из них считали его разговоры о гласности простым позерством.

С другой стороны, критика коммунизма консерваторами была скорее инстинктивной. Они раньше остальных поняли, что экономика СССР разваливается, а жизнь среднего гражданина становится все более сложной. Уже в 1990 г. ЦРУ рассчитало – причем неверно{158}158
  Неточность в расчетах ВВП Советского Союза, проведенных ЦРУ, отчасти возникла из-за того, что аналитики рассчитывали общий размер экономики, базируясь на цифрах впечатляющих военных расходов. Фактически, однако, Советский Союз тратил на развитие армии значительно бо́льшую долю внутреннего продукта, чем страны Европы и Северной Америки со свободной экономикой.


[Закрыть], – что ВВП Советского Союза примерно в два раза меньше, чем в США{159}159
  Abram Bergson, «How Big Was the Soviet GDP?» Comparative Economic Studies, March 22, 1997. http://web.archive.org/web/20110404205347/http://www.allbusiness.com/government/630097-1.html.


[Закрыть] (в расчете на душу населения, что сопоставимо с уровнем демократических в настоящее время государств типа Южной Кореи и Португалии). Однако недавно проведенные исследования показали, что советская экономика, ослабленная длительной войной в Афганистане и невниманием центрального правительства к целому ряду социальных проблем, была примерно на 1 трлн долл. беднее, чем думало ЦРУ, и сворачивалась почти на 5 % в год с инфляцией, темпы которой описывались двузначными цифрами.

Если связать эти два фактора воедино, то коллапс Советского Союза было бы легко предвидеть. Обеспечив гласность прессы, открыв рынки и дав гражданам больше демократических прав, Горбачев, по сути, наделил их механизмом, катализирующим смену режима. А благодаря обветшавшему состоянию экономики страны люди с радостью воспользовались представленной возможностью. Центр оказался слишком слаб, чтобы удержать контроль, и дело было не в том, что эстонцы к тому времени устали от русских. Русские и сами устали от эстонцев, поскольку республики-сателлиты вносили в развитие советской экономики значительно меньше, чем получали из Москвы в виде субсидий{160}160
  Отчасти данный раздел книги основан на материалах моих интервью, взятых у Брюса Буэно де Мескита, политолога из Нью-Йоркского университета.


[Закрыть].

Как только к концу 1989 г. в Восточной Европе начали сыпаться костяшки домино – Чехословакия, Польша, Румыния, Болгария, Венгрия и Восточная Германия, – Горбачев, да и кто-либо еще вряд ли смогли бы что-то сделать, чтобы предотвратить этот процесс. Многие советские ученые осознавали отдельные части проблемы, однако мало кто из экспертов мог собрать все кусочки головоломки воедино, и практически никто не был способен предсказать внезапный коллапс СССР.

Тэтлок, вдохновленный примером с Советским Союзом, начал проводить опросы экспертов и в других областях. Например, он просил их поделиться мнением и дать прогнозы, касающиеся Войны в Заливе, пузыря на рынке недвижимости в Японии, потенциального отделения Квебека от Канады и практически каждого из других важных событий 1980‑х и 1990‑х гг.

Была ли неспособность предсказать коллапс Советского Союза исключением, и заслуживает ли своих лавров «экспертный» политический анализ? Исследования Филипа Тэтлока, проводившиеся свыше 15 лет, были опубликованы в 2005 г. в книге «Знания экспертов: Насколько мы можем им верить?» (Philip E. Tetlock «Expert Political Judgement: How good is it?»).

Выводы Тэтлока оказались убийственными. Эксперты в рамках его опросов – вне зависимости от их рода занятий, опыта или отрасли знаний – демонстрировали ничуть не лучшие результаты, чем можно получить при обычном гадании. Более того, они предсказывали будущие политические события хуже, чем даже рудиментарные статистические методы. Они были слишком самоуверенны, оценивая их вероятность: около 15 % событий, которые, по их мнению, не имели ни малейшего шанса на возникновение, все же реализовывались, а еще 25 % событий, в возникновении которых эксперты были полностью уверены, так и не произошли{161}161
  Louis Menand, «Everybody’s an Expert», New Yorker, December 6, 2005. http://www.newyorker.com/archive/2005/12/05/051205crbo_books1.


[Закрыть]. И не имело значения, какие это были события: касались ли они экономики, внутренней политики или международных дел, суждения экспертов оказались одинаково ошибочными по всем вопросам.