Текст книги "Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет"

Принцип 2. Сегодняшний ваш прогноз – это первый прогноз из тех, что еще будут в вашей жизни

Еще одно заблуждение состоит в том, что хороший прогноз не следует изменять. Разумеется, если ваш прогноз резко изменяется день ото дня, это не говорит ни о чем хорошем. Либо у вас плохая модель, либо вы пытаетесь предсказать непредсказуемые события. В 2012 г., когда я опубликовал прогнозы республиканских праймериз в каждом из штатов на основании одних лишь данных опросов, вероятности победы различных кандидатов существенно менялись каждый раз после появления результатов очередного опроса.

Когда исход более предсказуем – как, например, в случае общих выборов на последних этапах гонки, – прогнозы обычно выглядят более стабильными. После выборов 2008 г. я часто слышал, что многие люди, вовлеченные в этот процесс, обращались к сайту FiveThirtyEight, чтобы просто успокоиться[26]26
  Неудивительно, что никто из демократов не говорил мне этого после кампании 2010 г., когда наши модели последовательно показывали, что их ждет серьезное поражение. – Прим. авт.


[Закрыть]. К окончанию президентской гонки каждый день из различных штатов поступают данные 30–40 опросов, и результаты некоторых из них неминуемо выпадут за пределы обычной ошибки. Кандидаты, стратеги и телевизионные комментаторы, заинтересованные в том, чтобы сделать гонку более интригующей, чем она есть, будут обращать внимание на подобные необычные цифры, однако расчеты с использованием модели FiveThirtyEight показали, что они редко на чем-либо сказываются.

Самое правильное из того, что вы можете сделать, это создать лучший из возможных на сегодняшний день прогнозов – вне зависимости от того, что вы говорили на прошлой неделе, в прошлом месяце или прошлом году. Появление новых прогнозов не означает, что старый прогноз просто исчезает (в идеале, вы должны сохранить его и позволить другим людям оценить, насколько хорошо вы проделали свою работу в течение всего периода предсказания события). Но если у вас есть основания считать, что вчерашний прогноз был неверным, то держаться за него нет никакого смысла. «Когда меняются факты, меняется и мое мнение, – говорил знаменитый экономист Джон Мейнард Кейнс. – А у вас разве не так, сэр?»

Некоторым людям не нравится подобный тип корректирования курса, и они ошибочно принимают его за признак слабости. Им кажется, что в таких действиях присутствует некий элемент мошенничества, как будто вы вместо научного анализа пытаетесь определить направление ветра с помощью поднятого вверх пальца{175}175
  Matthew Dickinson, «Nate Silver Is Not a Political Scientist», in Presidential Power: A Non-partisan Analysis of Presidential Power, Blogs Dot Middlebury, November 1, 2010. http://blogs.middlebury.edu/presidentialpower/2010/11/01/nate-silver-is-not-a-political-scientist/.


[Закрыть].

Критики обычно полагают, явно или косвенно, что политика в чем-то сходна с физикой или биологией, в которых соблюдаются фундаментальные законы, познаваемые по своей природе. (Кстати, один из наиболее часто критикующих меня людей – профессор нейробиологии из Принстона{176}176
  Sam Wang, «A Weakness in FiveThirtyEight.com», Princeton Election Consortium, August 8, 2008. http://election.princeton.edu/2008/08/04/on-a-law-in-fivethirtyeightcom/.


[Закрыть].) Если же придерживаться подобных взглядов, то новая информация не имеет особенного значения; выборы должны двигаться по предсказуемой орбите, как комета, направляющаяся в сторону Земли.

Однако, в отличие от физики или биологии, прогнозирование на выборах напоминает, скорее, покер: мы можем наблюдать за поведением оппонента и улавливать те или иные подсказки, но мы не видим его карт. Пытаясь выкачать как можно больше из имеющейся ограниченной информации, мы должны быть готовы изменить свой прогноз по мере получения более новых и более качественных сведений. Неспособность изменить свой прогноз вследствие излишнего стыда говорит лишь об отсутствии у нас должной смелости.

Принцип 3. Ищите консенсус

Каждый «еж» представляет себе, как он создает смелый, дерзкий и нестандартный прогноз, радикально отличающийся от точки зрения, основанной на консенсусе.

Коллеги над ним смеются, и даже их золотые ретриверы начинают смотреть на него недоуменно. Однако затем предсказание вдруг оказывается глубоким, точным и несомненно правильным. Через два дня рассказ о нем появляется на первой полосе Wall Street Journal, а он сам – смелый и решительный первопроходец – сидит в гостевом кресле на шоу Джея Лино.

Время от времени делать такие прогнозы вполне нормально и правильно. Консенсус между экспертами может быть ошибкой – человек, который осмеливался бы предсказать коллапс Советского Союза, заслуживал бы огромной благодарности. Однако выступить с таким фантастическим сценарием довольно сложно. Хотя «лисы», и в том числе я сам, считают себя нонконформистами, мы все равно начинаем нервничать всякий раз, когда наши прогнозы радикально отличаются от творений конкурентов.

Существует довольно много свидетельств тому, что совокупные, или групповые, прогнозы являются более точными, чем индивидуальные (для разных дисциплин значения показателя могут находиться между 15 и 20 %). И это не всегда означает, что групповые прогнозы хороши (чуть позже в книге мы детально рассмотрим этот вопрос). Но это значит, что вы можете извлечь определенную пользу от изучения проблемы с разных точек зрения.

«“Лисы” часто прокручивают в голове то, на что способна лишь группа “ежей”», – рассказал мне Тэтлок. Он имеет в виду, что «лисы» выработали у себя способность имитировать процесс консенсуса. Вместо того чтобы задавать вопросы целой группе экспертов, они постоянно задают вопросы сами себе. Зачастую это означает, что они объединяют различные виды информации – так обычно делает группа людей с различными идеями об окружающем мире, – а не относятся к каждому факту как Святому Граалю (например, в прогнозах FiveThirtyEight часто совмещаются данные опросов с информацией о состоянии экономики, демографических сведений о штате и т. д.). Составители прогнозов, которым не удается следовать рекомендациям Тэтлока, часто вынуждены платить за это высокую цену.

Остерегайтесь чудодейственных прогнозов

В преддверии выборов 2000 г. экономист Дуглас Хиббс опубликовал модель прогнозирования и заявил, что при ее использовании можно невероятно точно предсказывать итоги президентских выборов, учитывая всего лишь две переменных. Одна из них была связана с экономическим ростом, а вторая – с военными потерями{177}177
  Douglas A. Hibbs Jr., «Bread and Peace Voting in U. S. Presidential Elections», Public Choice 104 (January 10, 2000): pp. 149–180. http://www.douglas-hibbs.com/HibbsArticles/Public%20Choice%202000.pdf.


[Закрыть]. Хиббс сделал ряд смелых заявлений в стиле «ежа». Он сказал, что рейтинг одобрения деятельности президента (исторически считавшийся надежным индикатором возможности переизбрания) никак не улучшал его прогнозы. Не имели значения ни уровень инфляции, ни уровень безработицы. Не важны были и личности кандидатов – партия могла выдвинуть как идеолога типа Джорджа Макговерна, так и центриста и героя войны наподобие Дуайта Д. Эйхенхауэра. Хиббс утверждал, что вместо всех этих показателей главным критерием выступает довольно туманная экономическая переменная, названная им «реальным располагаемым доходом на душу населения».

Какие результаты показала эта модель? Она предсказала убедительную победу Ала Гора с перевесом в девять пунктов. Однако выборы после пересчета голосов во Флориде выиграл Джордж У. Буш. Гор доказал свою популярность, однако из модели следовало, что результат будет совершенно иным. Согласно ей, вероятность тех событий, которые произошли на самом деле, составляла лишь 1 к 80{178}178
  Модель Хиббса предсказывала, что Ал Гор выиграет двухпартийное голосование (то есть голосование, в котором исключены кандидаты третьих партий) с результатом 54,8 %. На самом деле Гор выиграл с результатом 50,3 %. То есть величина ошибки составила 4,5 %. Утверждалось, что его модель имеет стандартную ошибку в пределах 2 пунктов при прогнозировании количества голосов за любого кандидата (или около 4 пунктов при прогнозировании разрыва между ними). Таким образом, прогноз переоценил положение Гора на величину 2,25 стандартного отклонения, что при нормальном распределении возникает лишь 1 раз в 80 случаях.


[Закрыть].

Аналогичный подход был использован и в некоторых других моделях. Их создатели утверждали, что смогли свести столь сложный вопрос как президентские выборы, к формуле с двумя переменными (как ни странно, никто из авторов не использовал одни и те же две переменные). Некоторые из них показали еще более неточные результаты, чем метод Хиббса. В 2000 г. одна из этих моделей предсказала победу для Гора с перевесом в 19 пунктов, а шансы на реальный исход составили, согласно ей, всего один к миллиарду{179}179
  James E. Campbell, «The Referendum That Didn’t Happen: The Forecasts of the 2000 Presidential Election», PS: Political Science & Politics (March 2001). http://cas.buffalo.edu/classes/psc/fczagare/PSC%20504/Campbell.pdf.


[Закрыть].

Такие модели стали популярными после выборов 1988 г., когда казалось, что фундаментальные показатели на стороне Джорджа Х. У. Буша – экономика пребывала в хорошем состоянии, а уровень популярности республиканского предшественника Буша, Рональда Рейгана, был достаточно высоким, – однако результаты опросов говорили о предпочтении Майкла Дукакиса до последних дней гонки{180}180
  Andrew Gelman and Gary King, «Why Are American Presidential Election Campaign Polls So Predictable?» British Journal of Political Science 23, no. 4 (October 1993). http://www.rochester.edu/College/faculty/mperess/ada2007/Gelman_King.pdf.


[Закрыть]. В конечном счете, Буш одержал легкую победу.

Поскольку эти модели были доступны широкой публике для изучения, их последующие результаты оказались не менее плачевными. В среднем в ходе пяти президентских выборов после 1992 г. типичная модель, основанная на «фундаментальных факторах», – то есть модель, игнорирующая результаты опросов и заявляющая, что способна определить поведение избирателей без их учета, – ошибалась в величине разрыва между основными кандидатами почти на семь пунктов{181}181
  Nate Silver, «Models Based on ‘Fundamentals’ Have Failed at Predicting Presidential Elections», FiveThirtyEight, New York Times, March 26, 2012.


[Закрыть]. Модели, основанные на «лисьем» подходе, то есть совмещавшие экономические данные с данными опросов и других источников информации, показали более надежные результаты.

Взвешивайте качественную информацию

Все эти чудодейственные модели прогнозирования провалились, даже несмотря на то что они были количественными и основывались на опубликованной экономической статистике. К количественным относятся и некоторые из самых неудачных прогнозов, описанных мной в этой книге. Например, модели рейтинговых агентств, которые должны быть точными и использовать управляемые данные[27]27
  Об управляемых данных говорят, когда вычислительный процесс синхронизируется с поступающими данными, а не жестко привязан к тактовому сигналу.


[Закрыть], оценивали вероятность дефолта, учитывая невыполненные обязательства. Эти модели были неверными и опасными, поскольку основывались на довольно своекорыстном допущении, заключавшемся в том, что риск дефолта для различных закладных не зависит друг от друга, но это предположение не имело никакого смысла при образовании пузырей на рынках жилья и кредитов. Сразу скажу, что я предпочитаю при создании своих прогнозов именно количественный подход. При этом «ежи» берут любую информацию и используют ее для подкрепления своих предубеждений, а «лисы», умеющие взвешивать различные типы информации, могут извлечь немалую пользу из сочетания качественных и количественных факторов.

Очень мало найдется политических аналитиков, имеющих такое большое количество свидетельств успеха, как дружная команда, управляющая Cook Political Report. Эта группа, созданная в 1984 г. гениальным Чарли Куком, круглолицым уроженцем Луизианы, почти неизвестна за пределами вашингтонских политических кругов. Однако истинные любители политики годами полагаются на прогнозы Кука, и у них редко возникают основания испытать разочарование.

Кук и его команда работают над реализацией одной конкретной миссии – предсказать исход выборов в США, в частности в Конгресс. Это значит, что они выдают прогнозы для всех 435 избирательных кампаний в Конгресс США, а также примерно для 35 кампаний по выборам в Сенат США, проходящих раз в два года.

Предсказание исхода выборов в Сенат или губернаторских выборов – процесс сравнительно простой. Обычно кандидаты достаточно хорошо известны избирателям, а самые важные кампании привлекают широкое внимание и оцениваются многими уважаемыми аналитиками. В этих обстоятельствах представляется довольно сложным предложить более хороший метод объединения результатов опросов, наподобие предложенного мной в модели FiveThirtyEight.

Однако выборы в Конгресс – это совсем иное дело. Кандидаты часто появляются практически из ниоткуда – то могут быть члены городских собраний или владельцы небольших бизнесов, решившие попробовать себя в национальной политике. В некоторых случаях они почти неизвестны избирателям еще за несколько дней перед выборами. При этом избирательные участки размещаются буквально в каждом уголке страны, что сопровождается проявлением огромного количества демографических особенностей. Зачастую опросы на избирательных участках в Конгресс не происходят, а даже если это и бывает, то крайне несистемно и запутанно{182}182
  В период между 1998 и 2008 гг. ошибка обычного опроса по результатам выборов в Сенат США, проведенного в последние три недели кампании, достигала 5 пунктов, а по результатам выборов в Конгресс США – 5,8 пункта.


[Закрыть].

Но это не значит, что у аналитиков типа Кука нет вообще никакой информации. На самом деле ее можно найти в изобилии: помимо результатов опросов имеются и демографические сводки по району, и информация о том, как его избиратели голосовали на прошедших выборах. Существуют данные и об общих тенденциях и склонностях к предпочтению той или иной партии по всей стране (в том числе рейтинги одобрения тех или иных кандидатов в президенты). Есть информация и о том, сколько собрано средств, так как об этом партии должны подавать детальную отчетность в Федеральную избирательную комиссию.

Другие типы информации носят более качественный характер, но тем не менее могут быть потенциально полезными. Может ли кандидат считаться хорошим оратором? Насколько пересекается его платформа с особенностями избирательного района? Какой тип рекламных роликов он использует? Политическая кампания представляет собой, по сути, небольшой бизнес, и важный вопрос состоит в том, насколько хорошо кандидат управляет людьми.

Разумеется, если бы вы были «ежом», не умеющим тщательно взвешивать информацию, она бы вся показалась вам лишь источником дополнительных проблем. Однако компания Cook Political имеет немалый опыт в создании прогнозов, а ее прогнозы довольно часто оказываются правильными.

Cook Political оценивает предвыборные кампании по семибалльной шкале, начиная от «Солидного преимущества республиканцев» (это означает, что данную кампанию почти гарантированно выиграет республиканский кандидат) до «Солидного преимущества демократов» (с обратным исходом). За период между 1998 и 2010 гг. кампании, отнесенные Cook к группе «Солидное преимущество республиканцев», действительно были выиграны республиканскими кандидатами 1205 раз из 1207 – то есть более чем в 99 % случаев. Аналогично, кампании, которые они отнесли к группе «Солидное преимущество демократов», были выиграны демократами в 1226 из 1229 случаев.

Большинство кампаний, которые Cook относит к группам «Солидного преимущества», происходят в районах, где одна и та же партия каждый год выигрывает со значительным перевесом, – их исход несложно предсказать. Однако Cook Political удается добиваться отличных результатов даже тогда, когда в ходе кампаний прогнозирование результатов требует значительно более серьезных навыков. Например, кампании, которые можно было назвать «склоняющимися» в сторону республиканских кандидатов, были выиграны республиканцами примерно в 95 % случаев. Аналогичным образом, «склоняющаяся» в сторону демократов кампания приводила к выигрышу демократов в 92 % случаев{183}183
  В качестве достаточно мягкого критического замечания можно сказать, что Cook Political относит к категории неопределенных слишком много кампаний, даже когда имеется достаточное количество свидетельств об умеренном превосходстве того или иного кандидата. Методология FiveThirtyEight, определяющая номинального фаворита во всех гонках вне зависимости от величины превосходства, позволила точно выявить победителя в 38 из 50 кампаний (76 %), которые Cook Political в 2010 г. охарактеризовала как неопределенные.


[Закрыть]. Более того, Cook удается спрогнозировать правильный результат даже тогда, когда он расходится с такими количественными индикаторами, как опросы{184}184
  В период между 1998 и 2010 гг. имелось 17 примеров, в которых Cook классифицировала кампанию одним образом (например, отдавая предпочтение демократу), хотя среднее по итогам опросов приходило к обратному заключению (иногда демонстрируя незначительное превосходство республиканца). Прогнозы Cook оказались правильными в 13 из 17 таких случаев.


[Закрыть].

Я посетил офис Cook Political в Вашингтоне в сентябре 2010 г., примерно за пять недель до ноябрьских выборов, и провел несколько часов в обществе Дэвида Вассермана, кудрявого мужчины в возрасте за 30, отвечающего в компании за прогнозы, касающиеся выборов в Конгресс.

Самое уникальное свойство принятого у Cook процесса связано с интервью кандидатов. Во время предвыборных кампаний дверь на пятый этаж комплекса «Уотергейт», где располагаются офисы Cook, буквально не закрывается. Кандидаты приезжают туда на часовые беседы в промежутках между мероприятиями по сбору денег и стратегическими совещаниями. В день моего визита у Вассермана было назначено три таких интервью. Он предложил мне принять участие в одном из них – с республиканским кандидатом по имени Дэн Капанке.

Капанке надеялся обойти своего основного конкурента – демократа Рона Кайнда – в третьем избирательном районе штата Висконсин, представляя несколько небольших поселений в юго-западной части штата. Cook Political оценивал состояние в этом районе как «Возможную победу демократов». Это означало, что они дают Капанке лишь небольшие шансы на победу и размышляют о переводе района в более сильную категорию – «Предпочтение демократам». Капанке, сенатор штата, управлял небольшой компанией, производившей вспомогательное оборудование для сельского хозяйства. По виду и манерам он напоминал школьного учителя физкультуры. У него был сильный местный акцент: когда он произносил название местной бейсбольной команды La Crosse Loggers, я никак не мог разобрать, говорит ли он о «logger» (дровосеках) или «lager» (пиве). Стоит отметить, что для бейсбольного клуба из Висконсина в принципе подходили оба названия. В то же самое время прямота помогала ему компенсировать недостаток очарования – и он раз за разом получал свое место в сенате штата в районе, который обычно голосовал за демократов{185}185
  Позднее Капанке потерял свое место в Сенате штата Висконсин после выборов 2011 г.


[Закрыть].

Вассерман использует в интервью подход профессионального игрока в покер. Он держит каменное лицо и ведет себя безупречно с профессиональной точки зрения, однако подспудно пытается вызывать у кандидата напряжение, позволяющее больше о нем узнать.

«Моя базовая техника, – говорил он, – состоит в том, чтобы сформировать комфортные и дружеские отношения с кандидатом в самом начале интервью, в основном заставляя их рассказывать о том, откуда они родом. Затем я пытаюсь задать более нацеленный вопрос. Назовите тот вопрос, по которому вы не согласны с лидерами своей партии. Цель состоит не в том, чтобы дать им раскрыться, а в том, чтобы лучше почувствовать их стиль и подход».

Интервью с Капанке следовало тому же шаблону. Тот факт, что Вассерман знает кучу нюансов и деталей политической географии, заставляет его казаться местным уроженцем, и Капанке был счастлив поговорить об особенностях своего района – о том, как много голосов избирателей ему нужно выиграть в Ла-Кросс, чтобы компенсировать потерю в О-Клер. Однако он начал запинаться после серии вопросов, связанных с обвинением в том, что он использовал переданные ему лоббистами средства на покупку нового освещения для стадиона «Loggers»{186}186
  Scott Schneider, «Democrats Unfairly Accuse Dan Kapanke of Ethics Violations», La Crosse Conservative Examiner, August 27, 2010. http://www.examiner.com/conservative-in-la-crosse/democrats-unfairly-accuse-dan-kapanke-of-ethics-violations.


[Закрыть].

Это была мелочь; Капанке не обвиняли ни в измене жене, ни в махинациях с налогами. Однако этого было достаточно для того, чтобы убедить Вассермана изменить рейтинг{187}187
  Через несколько недель Cook Political изменила свой рейтинг с «вероятной победы демократа» на «незначительный перевес демократа». Однако это было связано скорее с общими проблемами демократической партии на национальной политической арене, а не с имевшим место в ходе кампании интервью с Капанке.


[Закрыть]. Капанке действительно проиграл выборы в ноябре того года, отстав от лидера примерно на 9500 голосов, хотя республиканцы в целом выиграли выборы в большинстве подобных районов на Среднем Западе.

Это происходит не так уже часто; Вассерман обычно сохраняет тот же рейтинг после интервью. Несмотря на то что он пытается получить как можно больше новой информации из кандидатов, часто та оказывается не настолько важной, чтобы заставить его изменить мнение.

Подход Вассермана работает, поскольку он способен оценить полученные сведения, не поддаваясь очарованию сидящего перед ним кандидата. Многие менее способные аналитики могли бы чрезмерно открыться перед людьми, пытающимися их очаровать или обмануть, или какими-то еще путями потерялись бы в рассказах о кампании. Или же они могли влюбиться в собственное представление о том, как будет вести себя кандидат в ходе интервью, и полностью игнорировать всю другую информацию, связанную с кампанией.

Вместо этого Вассерман рассматривает все в более широком политическом контексте. Отличный кандидат от демократической партии, умело отвечающий на вопросы в ходе интервью, может не иметь никаких шансов в районе, где республиканец обычно побеждает с опережением на 20 пунктов.

Так для чего вообще тратить время на интервью с кандидатами? Чаще всего Вассерман ищет так называемые красные флаги. Например, конгрессмен-демократ Эрик Масса (который позднее был вынужден с позором уйти из Конгресса после обвинений в сексуальных домогательствах к сотруднику-мужчине) постоянно пытал Вассермана о том, сколько тому лет. Психолог Пол Меель называет такие случаи «примером сломанной ноги» – то есть ситуациями, в которых нечто становится настолько заметным, что будет глупо не принимать это во внимание{188}188
  Paul E. Meehl, «When Shall We Use Our Heads Instead of the Formula», Journal of Counseling Psychology 4, no. 4 (1957), pp. 268–273. http://mcps.umn.edu/assets/pdf/2.10_Meehl.pdf.


[Закрыть].

Способность улавливать подобные сигналы несколько раз в год помогает Вассерману улучшить прогнозы по тем или иным кампаниям. Он способен взвешивать информацию, получаемую в ходе интервью, без чрезмерного внимания к ней (что могло бы привести к ухудшению прогнозов). Не так важно, какая количественная или качественная информация к вам поступает, – гораздо важнее, каким образом вы ее используете.

Быть объективным непросто

В этой книге я очень тщательно подхожу к использованию понятий объективное и субъективное. Порой слово объективное ассоциируется с количественным, но это не всегда так. Напротив, оно означает способность не ограничиваться нашими личными предубеждениями и изучать истинное положение дел с той или иной проблемой{189}189
  Douglas Harper, Online Etymology Dictionary. http://www.etymonline.com/index.php?term=objective.


[Закрыть].

Абсолютная объективность всегда желательна, но недостижима в этом мире. Создавая прогноз, мы можем выбирать любой из множества различных методов. Некоторые из них, например опросы, основываются исключительно на количественных переменных, а другие подходы (например, подход Вассермана) могут принимать во внимание и качественные факторы. Однако все они приводят к принятию решений и выдвижению предположений специалистом по прогнозированию.

Везде, где имеется человеческое суждение, возможно и появление предубеждений. Чтобы стать более объективным, нам стоит признавать влияние, которое имеют наши предположения на прогнозы, и критически к ним относиться. И это может оказаться особенно сложным (особенно если учитывать наши собственные идеологические убеждения и сложности процесса создания связного повествования из данных) в областях с высоким уровнем шумов.

Поэтому вам придется принять на вооружение привычки некоторых ученых, которых можно увидеть в телевизионных передачах. Вам нужно научиться выражать – и оценивать количественным образом – неопределенность своих предсказаний. Вам понадобится корректировать свой прогноз по мере изменения фактов и обстоятельств. От вас потребуется признать необходимость видеть мир с разных точек зрения. Чем больше вы захотите это делать, тем легче вам будет оценивать огромные массивы информации без искажений и злоупотреблений.

Короче говоря, вам нужно научиться думать как «лиса». Прогнозист-«лиса» признает ограниченность человеческого суждения в попытках предсказания развития мира. И знание об этой ограниченности помогает ему создавать больше правильных предсказаний.