Текст книги "Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность"

Метеорологи знают об этом лучше, чем кто бы то ни было. Они постоянно делают прогнозы и проверяют их на точность; именно поэтому мы знаем, что прогнозы на день-два вперед обычно точны, а на восемь – не очень. По результатам анализа собственных предсказаний метеорологи корректируют свои представления, как работает погода, подправляют модели, которыми руководствуются, и пробуют снова. Прогноз, замер, исправление. Повторить. Идет непрестанный процесс пошагового улучшения, объясняющий, почему прогнозы погоды хороши и постепенно становятся все точнее. Однако у этого улучшения есть предел, потому что погода – классическая иллюстрация нелинейности. Чем дальше прогнозист пытается заглянуть, тем больше у хаоса возможностей взмахнуть крыльями бабочки и смести все ожидания. Увеличение вычислительной мощи компьютеров и усовершенствование моделей прогнозирования могут сдвинуть пределы предсказаний в чуть более отдаленное будущее, но постепенно прогресс замедляется и отдача от него скатывается к нулевым отметкам. До какой степени еще удастся улучшить результаты прогнозирования той же погоды? Никто не знает. Но представление о текущих границах наших возможностей – уже успех.

Во многих других важных областях приходится продвигаться буквально на ощупь, в темноте. Там прогнозисты понятия не имеют, насколько точны их предсказания на короткие, средние или длительные периоды, как не знают и того, можно ли в принципе их улучшить. Максимум, что у них есть, – смутные предположения. Дело в том, что процедура «прогноз – замер – исправление» результативна только в узких границах высокотехногенного прогнозирования. В частности, ей следуют макроэкономисты из некоторых банков, маркетологи и финансисты крупных компаний и аналитики опросов общественного мнения, такие как Нейт Сильвер[8]8
  Чтобы найти островки профессионализма в море недобросовестности, обратитесь к следующим книгам, посвященным концепциям и способам прогнозирования: Nate Silver. The Signal and the Noise: Why So Many Predictions Fail – but Some Don’t. New York: Penguin Press, 2012; Principles of Forecasting: A Handbook for Researchers and Practitioners / ed. J. Scott Armstrong. Boston: Kluwer, 2001; Bruce Bueno de Mesquita. The Predictioneer’s Game. New York: Random House, 2009. Увеличить количество этих островков, как выяснилось, сложно. Часто в книгах практически не встречается переход от учебных статистических концепций (таких как регрессия к среднему значению) к проблемам, с которыми студенты могут встретиться позже в жизни. См.: D. Kahneman and A. Tversky. On the Study of Statistical Intuitions // Cognition. 1982. № 11. P. 123–141. Такое положение вещей крайне усложняет попытки проекта «Здравое суждение» научить людей думать как суперпрогнозисты.


[Закрыть]. Чаще же всего бывает так, что прогнозы делают, но дальше с ними ничего не происходит. Их точность если и проверяется, то определенно не с той частотой и тщательностью, чтобы можно было делать какие-то выводы. Каковы причины этого? Самая распространенная – особенности спроса на такие прогнозы. Их потребители: правительства, бизнесмены, публика – не требуют свидетельств точности. Поэтому такие прогнозы никак не оценивают, а значит, и не исправляют. Но без исправлений не может быть никакого улучшения. Представьте себе мир, в котором люди любят бегать, но понятия не имеют, с какой скоростью бежит среднестатистический человек и какова максимальная скорость самого быстрого из них, потому что не установили основных правил: каждый бегун должен двигаться по своей дорожке, начинать забег после выстрела стартового пистолета, заканчивать после преодоления определенной дистанции. Также у них нет никаких судейских коллегий и статистики результатов по замерам времени. Каковы шансы, что беговая скорость в этом мире будет увеличиваться? Очень небольшие. Улучшают ли тамошние бегуны свой результат, бегают ли они со скоростью, на которую в принципе способен человек? Опять-таки – вряд ли.

«Меня поразило, как важны измерения для улучшения человеческого существования, – писал Билл Гейтс. – Можно достичь невероятного прогресса, если задать ясную цель и найти меру, которая будет вести прогресс по направлению к этой цели… Это может показаться элементарным, но просто поразительно, как часто это не делается – и как сложно сделать это правильно»[9]9
  Bill Gates: My Plan to Fix the World’s Biggest Problems // Wall Street Journal. 2013. January 25. http://www.wsj.com/articles/SB 10001424127887323539804578261780648285770.


[Закрыть]. Он прав в том, что нужно для достижения прогресса, и остается только удивляться, как редко нечто подобное осуществляется в прогнозировании. Даже первый, самый простой шаг – постановка ясной цели – и тот еще не был сделан.

Можно подумать, что цель прогнозирования – точно предвидеть будущее, но зачастую все на самом деле не так – или, по крайней мере, это не единственная цель. Иногда прогнозы делают для развлечения. Помните Джима Крамера с канала CNBC и его фирменное восклицание «Бу-у-уя!» или Джона Маклафлина, ведущего «Маклафлин груп», который орет на участников своей передачи, чтобы те предсказывали вероятность того или иного события «по шкале от нуля до десятки, где нуль – нулевая вероятность, а десять – метафизическая уверенность»? Иногда прогнозы делают, чтобы популяризировать какую-нибудь политическую программу или побудить людей к тем или иным действиям – именно так ведут себя активисты, когда предупреждают об ужасах, якобы грозящих нам, если мы не изменим своего мнения. Иногда прогнозы нужны, чтобы пустить пыль в глаза, – так делают банки, когда платят знаменитому умнику, чтобы тот составил для богатых клиентов прогноз мировой экономики в 2050 году. А некоторые прогнозы служат для того, чтобы успокоить публику, уверить ее в том, что все надежды оправданны и все будет происходить по ожидаемому сценарию. Особенно подобные прогнозы – когнитивный эквивалент погружения в теплую ванну – любят политики.

Такую мешанину целей мало кто осознает, и поэтому трудно даже начать работать над замерами и прогрессом. Вообще говоря, не похоже, чтобы вся эта запутанная ситуация хоть как-то улучшалась.

Но в то же время именно подобная стагнация – весомая причина моего оптимизма. Мы знаем, что множество областей, в которых нам хочется уметь предсказывать (политика, экономика, финансы, бизнес, технологии, повседневная жизнь), вполне поддаются прогнозированию – до определенной степени и при определенных обстоятельствах. Но очень многого мы пока не знаем. А для ученых незнание – это стимул, возможность совершить открытие. И чем больше мы не знаем, тем больше эта возможность. Благодаря же откровенно удивительному отсутствию энтузиазма в большинстве областей прогнозирования эта возможность просто огромна. Все, что нужно сделать, чтобы ею воспользоваться, – поставить четкую и точную цель и серьезно подойти к вопросам измерений.

Я занимался этим большую часть своей карьеры. Исследование, показавшее результат играющего в дартс шимпанзе, было первым этапом. Второй начался летом 2011 года, когда мы с моим партнером (по исследованиям и по жизни) Барбарой Меллерс запустили проект «Здравое суждение» (Good Judgment Project, GJP) и пригласили добровольцев присоединиться к нему с целью предсказания будущего. На наш призыв откликнулся Билл Флэк, а помимо него еще пара тысяч человек в первый год и тысячи в последующие четыре года. В итоге более двадцати тысяч любознательных непрофессионалов пытались выяснить, распространится ли в России волна протестов, рухнет ли цена на золото, закроется ли индекс Nikkei на отметке выше 9500, начнется ли война на Корейском полуострове, – искали ответы на множество вопросов, касающихся сложнейших мировых проблем. Варьируя экспериментальные условия, мы могли оценить, какие факторы улучшают прогноз, в какой степени и на какой период времени, а также можно было определить, как он уточнится, если наложить друг на друга лучшие методы. В таком изложении задача кажется простой, однако это не так. На самом деле получилась сложная программа, потребовавшая больших затрат сил и талантов мультидисциплинарной команды из Калифорнийского университета в Беркли и из Пенсильванского университета.

Несмотря на свою масштабность, GJP был лишь частью гораздо более крупного исследования, проспонсированного Агентством передовых исследований в сфере разведки (Intel-ligence Advanced Research Projects Activity, IARPA). Пусть пресное название не вводит вас в заблуждение: IARPA – это агентство, созданное в рамках разведывательного сообщества, которое отчитывается лично директору ЦРУ. Его задача – поддерживать смелые исследования, которые могут вывести работу американской разведки на новый качественный уровень. А большая часть работы американской разведки – предсказание глобальных политических и экономических тенденций. По грубым подсчетам, сейчас в Соединенных Штатах действует двадцать тысяч разведывательных аналитиков, занимающихся буквально всем: от несущественных загадок до глобальных вопросов, вроде вероятности тайного нападения Израиля на иранские ядерные установки и выхода Греции из еврозоны[10]10
  Intelligence Analysis: Behavioral and Social Scientific Foundations / eds. B. Fischhoff and C. Chauvin. Washington, DC: National Academies Press, 2011; Committee on Behavioral and Social Science Research to Improve Intelligence Analysis for National Security, Board on Behavioral, Cognitive, and Sensory Sciences, Division of Behavioral and Social Sciences and Education, National Research Council // Intelligence Analysis for Tomorrow: Advances from the Behavioral and Social Sciences. Washington, DC: National Academies Press, 2011.


[Закрыть]. Каково качество их работы? Сложно ответить, потому что разведывательное сообщество, как и многие другие предсказатели, никогда не стремилось тратить деньги на оценку точности получаемых прогнозов. Тому есть целый ряд причин, более или менее уважительных, и мы к ним еще вернемся. Пока же существенно то, что при огромной значимости такого прогнозирования для национальной безопасности мы мало что с уверенностью можем сказать о его качестве – и о том, оправдывают ли это качество многомиллиардные вложения и задействование двадцати тысяч человек. Чтобы изменить ситуацию, IARPA объявило турнир предсказателей: пять научных команд, возглавляемых лучшими экспертами в соответствующих областях, соревновались в создании точных прогнозов для сложных проблем, с которыми разведывательные аналитики сталкиваются каждый день. GJP был в числе участников. Каждая команда представляла собой исследовательский проект и могла использовать любые эффективные, по мнению ее членов, методы. Главным требованием было предоставление прогнозов в девять утра по Североамериканскому восточному времени каждый день с сентября 2011-го по июнь 2015 года. Благодаря тому что каждая команда отвечала на одни и те же вопросы в одно и то же время, турниру удалось обеспечить равные для всех условия и собрать богатую коллекцию информации о том, что, как и когда срабатывает. За четыре года IARPA поставила участникам около пяти сотен вопросов на тему разнообразных мировых событий. Временные рамки были ограничены сильнее, чем в моем предыдущем исследовании, – большинство прогнозов охватывали период от месяца до года вперед. В итоге набралось более миллиона индивидуальных суждений о будущем.

За первый год GJP обошел официальную контрольную группу на 60 %. За второй год – на 78 %. GJP оказался лучше своих соперников – Мичиганского университета и МТИ, причем с заметным отрывом, от 30 до 70 %, и обогнал даже профессиональных разведывательных аналитиков, имеющих доступ к секретной информации. По итогам двух лет результаты GJP настолько превосходили результаты его конкурентов, что IARPA рассталась с остальными командами[11]11
  P. E. Tetlock, B. Mellers, N. Rohrbaugh, and E. Chen. Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate // Current Directions in Psychological Science. 2014. P. 290–295.


[Закрыть].

Позже я углублюсь в детали; сейчас же хочу просто отметить два ключевых вывода этого исследования. Первый: дар предвидения существует на самом деле. Некоторые люди, вроде Билла Флэка обладают им в избытке. Они, конечно, не гуру и не оракулы, способные заглянуть на десятилетия в будущее, но у них есть реальный, измеримый талант прогнозировать то, как в течение трех, шести, двенадцати или восемнадцати месяцев могут развернуться важные события. Второй вывод касается того, почему прогнозисты так успешны. Суть не в том, кто они, а в том, что они делают. Предсказание – не загадочный дар, дающийся при рождении; это результат определенного хода мысли, сбора информации, уточнения своих представлений. Соответствующие мыслительные привычки может выработать и культивировать в себе любой умный, думающий, целеустремленный человек. Причем начать обучение не так уж сложно. Меня больше всего удивил совершенно неожиданный результат проведенного исследования – тот эффект, который оказывает на участников руководство, излагающее базовые принципы прогнозирования. Позже мы его рассмотрим и познакомимся с кратким его содержанием, данным в приложении в виде Десяти заповедей. Чтобы прочитать это руководство, нужен всего час; при этом оно улучшило точность предсказаний примерно на 10 % в течение всего турнирного года. Да, на первый взгляд, 10 % – довольно скромная планка, но ведь она была достигнута практически без дополнительных усилий. Не стоит забывать, что даже скромные улучшения предвидения, выработанные с течением времени, в сумме дают неплохой результат. Я говорил об этом с Аароном Брауном – автором книг, ветераном Уолл-стрит и главным менеджером по рискам AQR Capital Management, хедж-фонда с активами на сумму более 100 миллиардов долларов. «Разницу сложно заметить, потому что она не очень внушительна, – сказал он, – но, учитывая длительность эффекта, это разница между человеком, который постоянно выигрывает и зарабатывает этим себе на жизнь, и человеком, который неизменно терпит крах»[12]12
  Аарон Браун, в беседе с автором, 30 апреля 2013 года.


[Закрыть]. Международная звезда покера, которую мы позже встретим на страницах этой книги, полностью бы с ним согласилась. Разница между корифеями и дилетантами, как она считает, в том, что корифеи видят разницу между ставкой 60 к 40 и ставкой 40 к 60.

И все-таки: если точность предвидения можно улучшить с помощью измерений и если получаемые в результате преимущества столь существенны, почему же измерения точности прогнозов не являются общепринятой практикой? По большей части ответ на этот вопрос лежит в области нашей психологии: мы убеждаем себя, что знаем то, о чем на самом деле понятия не имеем, – например, точный ли прогнозист Том Фридман. В главе 2 я подробно рассмотрю эту психологическую особенность. Она веками тормозила прогресс в медицине. Когда врачи наконец признали, что их опыт и восприятие – ненадежные средства оценки эффективности лечения, они обратились к научному тестированию – и только после этого медицина начала быстрыми шагами двигаться вперед. Та же самая революция должна произойти и в прогнозировании.

Осуществить ее будет непросто. Глава 3 расскажет, какие усилия нужно приложить, чтобы тестировать предсказания так же тщательно, как современные экспериментальные методы лечения. Это сложнее, чем может показаться. В конце восьмидесятых я разработал методологию и составил на тот момент самую большую аналитическую подборку политических прогнозов экспертов. Одним из ее результатов много лет спустя стал тот самый анекдот, который теперь вызывает у меня раздражение. Другое же открытие, совершенное в ходе моего исследования, не получило и десятой доли внимания, уделенного анекдоту, хотя заслуживает его гораздо больше: из всех экспертов одна группа действительно обладала хоть и скромной, но реальной способностью к предвидению. В чем же заключалась разница между «способными» экспертами и совершенно безнадежными, опустившими общий результат до уровня играющего в дартс шимпанзе? Дело не в каком-то мистическом даре, и не в доступе к информации, которой нет у других, и не в определенной совокупности воззрений – как раз мнения у них зачастую расходились очень широко, и не имело значения, что именно они думали. Важно то, как они думали.

Отчасти вдохновившись этим открытием, IARPA и запустила тот беспрецедентный турнир по предсказаниям. Глава 4 посвящена тому, как это происходило и как выявляли суперпрогнозистов. Почему они так хороши в своем деле? На этот вопрос отвечают главы 5–9. Когда знакомишься с этими людьми, сложно не заметить их выдающийся ум, и можно заподозрить, что все дело именно в интеллекте. Однако это не так. Суперпрогнозисты также отличаются математическими способностями. Как и у Билла Флэка, у многих есть степени в точных и естественных науках. Значит ли это, что секрет – в математике? Вновь ответ «нет». Даже дипломированные математики-суперпрогнозисты, делая предсказания, редко пользуются цифрами. А еще они в основном повернуты на новостях, отслеживают развитие мировых событий и постоянно обновляют свои прогнозы, поэтому возникает соблазн объяснить их успех бесконечными часами, потраченными на изучение информации. Это тоже будет ошибкой.

Суперпрогнозирование действительно требует определенного уровня интеллекта, математических способностей и знаний о том, что происходит в мире, однако этим требованиям, вероятно, соответствует любой человек, который читает серьезные книги о психологических исследованиях. Так что же тогда поднимает прогнозирование на уровень «супер»? Как и в случае с экспертами из ранней моей работы, суть – в том, как думает прогнозист. Я еще рассмотрю это подробнее, но если говорить в двух словах, то, чтобы стать суперпрогнозистом, необходимо мышление, отличающееся внимательностью, открытостью, любопытством и – прежде всего – самокритикой. Также требуется умение сосредотачиваться. Тип мышления, вырабатывающий повышенную проницательность, не может сформироваться безо всяких усилий. Только целеустремленный человек может пользоваться им более-менее регулярно; именно поэтому наши исследования демонстрируют, что самый главный параметр результативности в данном случае – постоянное стремление к самосовершенствованию.

В последних главах я разрешу кажущееся противоречие между необходимостью трезвых суждений и эффективным руководством, отвечу на два самых серьезных вызова моему исследованию и завершу свою работу – что логично для книги о прогнозировании – рассуждениями о том, что день грядущий нам готовит.

Прогноз о прогнозировании

Впрочем, возможно, вы считаете, что все это безнадежно устарело. В конце концов, мы живем в эпоху невероятно мощных компьютеров, неподвластных пониманию алгоритмов и Больших данных. Что же касается изучаемого мной прогнозирования, то в его основе лежит субъективный фактор – размышления и суждения живых людей. Не пора ли прекратить заниматься догадками?

В 1954 году блистательный психолог Пол Мил написал небольшую книгу, вызвавшую значительный резонанс[13]13
  Paul Meehl. Clinical Versus Statistical Prediction. Minneapolis: University of Minnesota Press, 1954.


[Закрыть]. В ней анализировались двенадцать исследований, согласно которым хорошо информированные эксперты, предсказывавшие, добьется ли студент учебных успехов или вернется ли заключенный, условно отпущенный на свободу, обратно в тюрьму, в своих прогнозах оказывались не так точны, как простые автоматизированные алгоритмы, подытоживавшие объективные данные (итоги теста на способности или записи о поведении в тюрьме). Заявление Мила расстроило многих экспертов, но и последующие исследования – на данный момент их проведено уже более двухсот – показали, что в большинстве случаев статистические алгоритмы точностью превосходят субъективные суждения, а в той горстке исследований, где это не так, играют вничью. Учитывая, что алгоритмы, в отличие от субъективных суждений, – это быстрый и дешевый способ прогнозирования, ничья засчитывается за их выигрыш. Теперь уже вывод неоспорим: если у вас есть надежный статистический алгоритм, используйте его.

Этот вывод никогда не угрожал царствованию субъективных суждений, потому что мы очень редко располагаем надежными алгоритмами для решения конкретной проблемы. Непрактично заменять математикой старый добрый мыслительный процесс – и в 1954-м, и даже сейчас.

Однако потрясающий прогресс в области информационных технологий свидетельствует, что мы приближаемся к историческому перелому в отношениях человечества и машин. В 1997 году созданный на базе IBM компьютер Deep Blue обыграл шахматного чемпиона Гарри Каспарова. В наши дни имеющиеся в продаже шахматные программы могут обыграть любого человека. В 2011 году суперкомпьютер IBM Watson обошел чемпионов телевикторины Jeopardy! Кена Дженнингса и Брэда Раттера. Для инженеров, создававших Watson, это была гораздо более сложная задача, но они с ней справились. Сейчас уже вполне возможно представить себе соревнование по прогнозированию, в котором суперкомпьютер разгромит как суперпрогнозистов, так и суперумников. После этого люди, конечно, будут и дальше делать прогнозы – но, как случилось с участниками Jeopardy!, мы будем наблюдать за ними исключительно ради развлечения.

Я поговорил об этом с главным инженером Watson Дэвидом Феруччи. У меня не было сомнений, что Watson без проблем выдаст ответ на вопрос о настоящем и будущем – например, «Как зовут двух российских политических лидеров, которые обменялись должностями за последние десять лет?», – однако мне хотелось узнать мнение Дэвида о том, сколько времени пройдет, прежде чем Watson или кто-то из его цифровых потомков сможет ответить на вопрос «Обменяются ли два российских политических лидера должностями в ближайшие десять лет?».

В 1965 году эрудит Герберт Саймон считал, что всего через двадцать лет наступит эпоха, когда машины смогут делать «любую работу, которую могут делать люди». Но тогда вообще часто высказывали подобные наивно-оптимистические мысли, и это одна из причин, по которой Феруччи, работающий в области искусственного интеллекта уже тридцать лет, более осторожен в подобных оценках[14]14
  Stephen Baker. Final Jeopardy!. Boston: Houghton Mifflin Harcourt, 2011. P. 35.


[Закрыть]. Он отметил, что компьютерная наука гигантскими шагами движется вперед и способность машин отслеживать тенденции заметно растет. А их обучение, в сочетании с растущим взаимодействием «человек – машина», которое подпитывает учебный процесс, обещает еще более впечатляющий прогресс в будущем. «Это одна из экспоненциальных кривых, и мы сейчас все еще находимся у ее основания», – сказал Феруччи.

Но все-таки есть огромная разница между вопросом «Как зовут двух российских политических лидеров, которые обменялись должностями за последние десять лет?» и вопросом «Обменяются ли два российских политических лидера должностями в ближайшие десять лет?». Первый вопрос – исторический факт, компьютер может его найти. Второй требует от компьютера высказать обоснованные предположения относительно намерений Владимира Путина, характера Дмитрия Медведева и динамики российской политики, а затем объединить эту информацию в личное мнение. Люди проводят подобный анализ постоянно, но это далеко не просто. Человеческий мозг – удивительный инструмент, раз способен выполнять такие невероятно сложные задания. Даже если учитывать стремительный прогресс компьютеров, они еще не скоро освоят тот тип предсказаний, которым занимаются суперпрогнозисты. И Феруччи вообще не уверен, что мы когда-нибудь увидим под стеклом в Смитсоновском институте человеческую особь с табличкой «субъективное суждение».

Машинам все лучше удается «подражать человеческому мнению» и, соответственно, предсказывать поведение, но «между подражанием мнению и его осмыслением, а также выработкой собственного есть разница», говорит Феруччи. Эта ниша всегда будет занята человеческим суждением. В прогнозировании, как и в других областях, мы будем наблюдать, как от человеческого суждения постепенно отказываются, к отчаянию белых воротничков, но будем встречать и все больше случаев синтеза – как, например, в «шахматах свободным стилем», когда люди и компьютеры соревнуются командами. Люди будут пользоваться несомненной силой компьютеров – но периодически их обыгрывать. В результате должна получиться комбинация, которая может (иногда) превосходить как людей, так и машины. Переосмысляя дихотомию «человек против машины», можно сказать, что комбинация Гарри Каспарова и компьютера Deep Blue может оказаться более плодотворной, чем исключительно человеческий или исключительно компьютерный подходы. Феруччи считает, что если что-то и устареет, то это гуру-модель, которая многие политические дебаты превращает в возню в песочнице: «Я противопоставляю вашим аргументам Пола Кругмана мои контраргументы Ниала Фергюсона и атакую вашу статью Тома Фридмана моим блогом Брета Стивенса». Но он видит свет в конце этого длинного темного тоннеля. Феруччи считает, что будет все более странным следовать советам людей, которые не основываются ни на чем, кроме собственного мнения. Человеческая мысль окружена психологическими западнями – факт, который начали широко признавать только последние пару десятилетий, – «поэтому я хочу, чтобы эксперт-человек работал в паре с компьютером, преодолевая человеческие когнитивные ограничения и предрассудки»[15]15
  Дэвид Феруччи, в беседе с автором, 8 июля 2014 года.


[Закрыть]. Если Феруччи прав – а я думаю, так и есть, – нам нужно будет объединить компьютеризированное прогнозирование с субъективными суждениями. Поэтому настало время отнестись серьезно и к тому, и к другому.