Текст книги "Думай медленно… Решай быстро"

«По ее словам, она по опыту знает, что критика эффективнее похвалы. Но она не понимает, что все это – просто результат регрессии к среднему».

«Возможно, второе собеседование впечатлило нас меньше потому, что кандидат боялся нас разочаровать. Однако, скорее всего, первое собеседование прошло необычайно хорошо».

«Процедура отбора хороша, но неидеальна, так что вероятна регрессия. Не стоит удивляться, что даже самые лучшие кандидаты часто не соответствуют нашим ожиданиям».

18
Как справляться с интуитивными предсказаниями

Жизнь дает нам много возможностей предсказывать. Экономисты прогнозируют инфляцию и безработицу, финансовые аналитики прогнозируют доходы, военные эксперты прогнозируют количество жертв, венчурные капиталисты оценивают прибыльность новых компаний, издатели и продюсеры предсказывают целевые аудитории, подрядчики оценивают время на выполнение проекта, шеф-повара предугадывают спрос на блюда в меню, инженеры вычисляют количество бетона, необходимое для строительства здания, начальники пожарных команд определяют число машин, требуемое для тушения пожара. В личной жизни мы предсказываем реакцию супруга на предлагаемый переезд или свою способность освоиться на новом рабочем месте.

Некоторые предсказательные оценки, например те, что дают инженеры, в основном полагаются на данные таблиц, точные вычисления и подробный анализ результатов, наблюдавшихся в подобных случаях. Для других предсказаний в действие вступают интуиция и Система 1, в двух основных формах. Бывают предчувствия, основанные в первую очередь на навыках и экспертизе, полученных повторением некоторого опыта. Быстрые автоматические оценки и выборы, совершаемые гроссмейстерами, пожарными и врачами, которые описал Гэри Кляйн в «Источниках силы» и других работах, иллюстрируют профессиональную интуицию: решение текущей проблемы быстро приходит в голову, поскольку обусловлено знакомыми подсказками.

Другие предчувствия, иногда субъективно неотличимые от первых, возникают в ходе эвристических процедур, которые часто заменяют заданный трудный вопрос более легким. Интуитивные суждения выносятся уверенно, даже если они основаны на нерегрессивных оценках слабых доказательств. Конечно, многие оценки, особенно в профессиональных областях, рождаются из сочетания анализа и интуиции.

Давайте вспомним старую знакомую:

Джули оканчивает университет штата. Она бегло читала в четыре года. Какой у нее средний балл?

Люди, знакомые с американской системой образования, быстро выдают число, зачастую близкое к 3,7 или 3,8. Как это происходит? Через несколько операций Системы 1.

• Ищется каузальная связь между исходными данными (умением Джули читать) и целью прогноза (средним баллом). Связь может быть непрямой. В данном случае и раннее умение читать, и высокий средний балл отражают хорошие способности, а значит, должна существовать какая-то связь. Вы (то есть ваша Система 2), скорее всего, посчитаете неважной информацию о том, что Джули выиграла соревнования рыболовов-любителей или успешно занималась тяжелой атлетикой в старших классах. Процесс, по сути, дихотомический: можно отбросить то, что заведомо неверно или неважно, но Система 1 не умеет принимать во внимание более мелкие недостатки данных. В результате интуитивные предсказания почти совершенно не учитывают реальные предсказывающие свойства информации. Если найдена связь, как в случае с ранним чтением Джули, срабатывает принцип «что ты видишь, то и есть»: ассоциативная память быстро и автоматически составляет наилучшую возможную при имеющейся информации историю.

• Затем данные оцениваются по отношению к соответствующей норме. Насколько необычно для четырехлетнего ребенка беглое чтение? Какая относительная позиция соответствует такому достижению? Ребенка сравнивают с некоторой группой (мы называем ее референтной), которая также не вполне определена, но в обычной речи так и бывает – если выпускника колледжа описывают как «довольно умного», вам редко приходится спрашивать: «Какую референтную группу вы имеете в виду, говоря „довольно умный“?»

• Далее происходит подстановка и соразмерение интенсивности. Вместо ответа на вопрос о среднем балле в колледже подставляется оценка ненадежных свидетельств детских когнитивных способностей. В процентном выражении Джули получит один и тот же результат и за средний балл, и за достижения по чтению в раннем возрасте.

• В вопросе оговаривалось, что ответ следует представить по шкале среднего балла, то есть требуется еще одно действие по сопоставлению интенсивности общего впечатления от учебных достижений Джули со средним баллом в колледже, подходящим к доказательствам ее таланта. Последний шаг – перевод впечатления об относительном положении Джули по успеваемости в соответствующий средний балл.

Сопоставление интенсивности рождает настолько же крайние предсказания, как и данные, на которых они основаны, и ведет к тому, что люди дают одни и те же ответы на два совершенно разных вопроса:

Каков процентильный балл Джули по раннему чтению?

Каков процентильный балл Джули по среднему баллу?

Сейчас вы легко определите все эти действия как функцию Системы 1. Я перечислил их здесь по порядку, но, разумеется, распространение активации в ассоциативной памяти происходит по-другому. Представьте, что процесс изначально запускается информацией и вопросом, сам себя подпитывает и в конечном итоге останавливается на самом когерентном из возможных решений.

Однажды мы с Амосом предложили участникам нашего исследования оценить описания восьми первокурсников колледжа, якобы составленные консультантом-психологом на основании собеседований, проведенных при зачислении. В каждом описании было пять прилагательных, как в этом примере:

умный, уверенный в себе, начитанный, прилежный, любознательный

Некоторых участников просили ответить на два вопроса:

Что вы думаете об их способностях к учебе, исходя из этого описания?

Какой процент описаний первокурсников, по вашему мнению, произвел бы на вас большее впечатление?

Вопросы требуют оценить данные, сравнивая эти описания с вашими нормами описаний студентов, составляемых психологами. Само существование таких норм удивительно. Вы наверняка не знаете, как вы их приобрели, но довольно отчетливо чувствуете уровень энтузиазма в этом описании: психолог считает, что студент хорош, но не потрясающе хорош. Можно употребить более сильные прилагательные, чем «умный» (например, выдающийся, творческий), «начитанный» (ученый, эрудированный, удивительно знающий) и «прилежный» (увлеченный, склонный к перфекционизму). Вердикт следующий: очень вероятно, что описываемый студент входит в 15 % лучших, но вряд ли входит в 3 % самых-самых. В таких оценках наблюдается удивительное единодушие – по крайней мере, внутри одной культуры.

Другим участникам нашего эксперимента задавали другие вопросы:

По вашему мнению, какой средний балл получит этот студент?

Каков процент первокурсников, которые получат более высокий средний балл?

Между этими парами вопросов существует трудноуловимая разница. Она должна бы быть очевидной, но это не так. В первой паре требуется оценить данные, а во второй много неопределенности. Вопрос касается реальных результатов в конце первого курса. Что случилось за год, прошедший со времени собеседования? Насколько точно можно предсказать реальные достижения студента на первом курсе колледжа по пяти прилагательным? Способен ли психолог совершенно точно предсказать средний балл по результатам собеседования?

Цель нашего исследования заключалась в том, чтобы сравнить процентильные оценки испытуемых, в одном случае сделанные по имеющимся данным, а в другом – при предсказании конечного результата. Итоги подвести легко: оценки оказались идентичны. Хотя пары вопросов различаются (одни – про описание, другие – про будущие результаты), участники воспринимают их как одинаковые. Как и в случае с Джули, предсказание будущего не отличается от оценки имеющихся данных, оно ей соответствует. Это лучшее из имеющихся у нас свидетельств роли подстановки. Испытуемых просят о предсказании, но они подставляют вместо него оценку данных, не замечая, что отвечают на вопрос, отличный от заданного. Такой процесс гарантированно ведет к получению систематически искаженных предсказаний, которые совершенно не учитывают регрессию к среднему.

Во время службы в Армии обороны Израиля я некоторое время провел в подразделении, где отбор кандидатов в офицеры проводился на основании серии собеседований и полевых испытаний. Критерием успешного предсказания считалась оценка курсанта при выпуске из школы офицеров. Надежность рейтингов была довольно низкой (об этом я расскажу подробнее в следующей части книги). Подразделение существовало и тогда, когда я уже стал профессором и вместе с Амосом изучал интуитивные оценочные суждения. Связи с подразделением у меня сохранились, и я попросил командование, чтобы, в дополнение к своим обычным оценкам кандидатов, они попробовали предсказать, какую оценку каждый из будущих курсантов получит в школе офицеров. Мы изучили несколько сотен таких предсказаний. Офицерам, делавшим предсказания, была известна «буквенная» система оценки, применяемая к курсантам школы, и примерное соотношение оценок «A», «B» и так далее. Выяснилось, что относительная частота «A» и «B» в предсказаниях была почти идентична их частоте в заключительных оценках школы.

Это – убедительный пример и подстановки, и сопоставления интенсивности. Офицеры, дававшие предсказания, абсолютно не смогли различить две задачи:

• привычное задание – оценка того, как кандидаты функционируют в подразделении;

• задание, которое дал им я, то есть предсказание будущей оценки кандидата в школе.

Командиры подразделения перевели свои оценки в шкалу, используемую в школе офицеров, с помощью сопоставления интенсивности. И вновь неспособность справиться с (существенной) неопределенностью своих предсказаний привела к тому, что их прогнозы оказались совершенно нерегрессивными.

Вернемся к Джули, нашей одаренной читательнице. Метод правильного предсказания ее среднего балла описан в предыдущей главе. Как и ранее – для гольфа несколько дней подряд или для веса и игры на пианино, – я приведу схематическую формулу для факторов, определяющих оценку навыков чтения и оценки в колледже:

оценка навыков чтения = общие факторы + факторы, важные для оценки навыков чтения = 100%

средний балл = общие факторы + факторы, важные для среднего балла = 100%

К общим факторам относятся генетические способности, то, насколько семья поддерживает интерес к учебе, и все то, из-за чего одни и те же люди в детстве рано начинают читать, а в юности успешно учатся. Конечно, есть множество факторов, которые повлияют только на одно из этих событий: возможно, слишком требовательные родители научили Джули читать в раннем возрасте, или ее оценки в колледже пострадали из-за несчастной любви, или подростком, катаясь на лыжах, она получила травму, вызвавшую задержку в развитии, и так далее.

Вспомните, что корреляция между двумя величинами – в данном случае между оценкой навыков чтения и средним баллом – равна доле совпадающих определяющих факторов в их общем числе. По-вашему, как велика эта доля? По моим самым оптимистичным оценкам – примерно 30 %. Если взять за основу эту цифру, то мы получим все исходные данные для того, чтобы сделать неискаженное предсказание, производя следующие четыре действия:

1. Начните с оценки типичного среднего балла.

2. Определите средний балл, соответствующий вашим впечатлениям от имеющихся сведений.

3. Оцените корреляцию между вашими данными и средним баллом.

4. Если корреляция составляет 0,30, переместитесь от типичного среднего балла на 30 % расстояния в сторону среднего балла, соответствующего впечатлениям.

Первый пункт дает вам точку отсчета, средний балл, который вы предсказали бы для Джули, если бы ничего о ней не знали. В отсутствие информации вы бы предсказали типичный средний балл. (Это похоже на то, как без других данных о Томе В. ему приписывают априорную вероятность студента по специальности «управление бизнесом».) Второй пункт – интуитивное предсказание, соответствующее вашей оценке данных. Третий пункт перемещает вас от точки отсчета в сторону интуиции на расстояние, зависящее от вашей оценки корреляции. В четвертом пункте вы получаете предсказание, учитывающее вашу интуицию, но гораздо более умеренное.

Это – общий подход, который можно применять при любой необходимости прогнозировать количественную переменную: например, средний балл, или доход от инвестиций, или рост компании. Он основывается на интуиции, но умеряет ее, сдвигает к среднему. Если существует веская причина доверять точности интуитивных предсказаний (то есть сильная корреляция между предсказанием и данными), такая поправка будет небольшой.

Интуитивные прогнозы необходимо корректировать, поскольку они нерегрессивны, а потому искажены. Предположим, я предскажу, что у каждого гольфиста на второй день турнира будет то же число очков, что и в первый. Эта оценка не учитывает регрессию к среднему: те, кто в первый день играл хорошо, в среднем на следующий день справятся хуже, а те, кто играл плохо, в основном станут играть лучше. Нерегрессивные предсказания всегда будут искаженными в сравнении с реальными результатами. В среднем они слишком оптимистичны для тех, кто хорошо играл вначале, и слишком мрачны для тех, кто плохо стартовал. Экстремальность прогноза соответствует экстремальности данных. Сходным образом, если использовать детские успехи для предсказания оценок в колледже без регрессии к среднему, то юношеские достижения ранних чтецов разочаровывают, а успехи тех, кто стал читать относительно поздно, приятно удивляют. Скорректированные интуитивные предсказания избавляются от этих искажений, так что и высокие, и низкие прогнозы примерно одинаково переоценивают и недооценивают истинное значение. Разумеется, даже неискаженные предсказания бывают ошибочны, но в таких случаях ошибки меньше и не склоняются в сторону завышенного или заниженного результата.

Ранее мы познакомились с Томом В. для иллюстрации предсказаний дискретных результатов, например области специализации или успеха на экзамене, которые выражаются присвоением вероятности определенному событию (или, в случае с Томом, расположением результатов от наиболее до наименее вероятного). Я также описал процесс противодействия распространенным искажениям дискретных предсказаний: пренебрежению априорными вероятностями и нечувствительности к качеству информации.

Искажения в прогнозах, выражающихся в шкале, как, например, средний балл или доход фирмы, сходны с искажениями, наблюдающимися при оценке вероятностей исходов.

Процедуры коррекции также схожи:

• Обе содержат исходное предсказание, которое бы вы сделали при отсутствии информации. В случае с категориями это были априорные вероятности, в случае с цифрами – средний результат в соответствующей категории.

• Обе оценки содержат интуитивное предсказание, выражающее пришедшее в голову число, независимо от того, вероятность это или средний балл.

• В обоих случаях ваша цель – дать прогноз, находящийся посередине между исходным предсказанием и вашим интуитивным ответом.

• В случае, когда нет никаких данных, вы придерживаетесь исходного прогноза.

• В другом крайнем случае вы придерживаетесь своего интуитивного прогноза. Разумеется, это произойдет, если вы останетесь в нем уверены, критически пересмотрев данные в его пользу.

• Чаще всего вы найдете причины сомневаться в существовании идеальной корреляции между истиной и вашим интуитивным прогнозом и в итоге окажетесь где-то посередине.

Эта процедура – аппроксимация вероятных результатов надлежащего статистического анализа. В случае успеха она приведет вас к неискаженным прогнозам, разумным оценкам вероятности и умеренным предсказаниям численных результатов. Обе процедуры направлены на устранение одного и того же искажения: интуитивные прогнозы, как правило, отличаются чрезмерной уверенностью и экстремальностью.

Коррекция интуитивных предсказаний – задача для Системы 2. Для поиска соответствующей референтной категории, а также для оценки исходного прогноза и качества данных требуются значительные усилия. Они оправданы лишь в случае, когда ставки высоки, а вы усиленно стремитесь не допустить ошибки. Более того, необходимо помнить, что коррекция предсказаний может осложнить вам жизнь. Неискаженные прогнозы отличаются тем, что позволяют предсказывать редкие или экстремальные события лишь при наличии очень хорошей информации. Если вы ждете от своих предсказаний умеренной надежности, вы никогда не угадаете редкий или далекий от среднего результат. Если вы даете неискаженные прогнозы, вам никогда не испытать удовольствия правильно назвать редкий случай. Вы никогда не сможете сказать: «Я так и думал!», когда ваш студент-юрист станет верховным судьей или когда новая компания, казавшаяся вам очень перспективной, в итоге добьется огромного коммерческого успеха. С учетом ограничений данных вы никогда не предскажете, что способный старшеклассник будет учиться на «отлично» в Принстоне. По тем же причинам венчурному капиталисту никогда не скажут, что в начале развития у новой компании «очень высокая» вероятность успеха.

Возражения относительно принципа смягчения интуитивных прогнозов следует воспринимать всерьез, потому что отсутствие искажений – не всегда важнее всего. Неискаженные прогнозы предпочтительны, если все ошибки равнозначны, независимо от их направления. Однако встречаются ситуации, в которых один тип ошибок намного хуже другого. Когда венчурный капиталист ищет новый проект, риск упустить новый Google или Facebook намного важнее, чем риск вложить скромную сумму в заурядную новую компанию. Цель венчурных капиталистов – выявить особые случаи, даже если из-за этого они переоценят перспективы многих других предприятий. Для консервативного банкира, дающего большие займы, риск банкротства одного заемщика может перевесить риск отказа нескольким потенциальным клиентам, которые выполнили бы свои обязательства. В таких случаях использование категоричных выражений («отличные перспективы», «серьезный риск неплатежеспособности») может быть оправдано ради успокоения, даже если информация, на которой они основаны, всего лишь умеренно надежна.

Для разумного человека неискаженные умеренные предсказания не представляют проблемы. В конце концов, разумные венчурные капиталисты знают, что даже у самых многообещающих новых компаний шансы на успех весьма ограничены. Их работа – выбрать лучшие из имеющихся, и они не чувствуют потребности обманывать себя относительно перспектив проекта, в который собираются вложить деньги. Соответственно, рациональные индивиды, предсказывающие доход фирмы, не будут привязываться к одному числу, а рассмотрят диапазон неопределенности вокруг самого вероятного результата. Разумный человек, оценив предприятие, которое, скорее всего, потерпит неудачу, может вложить в него крупную сумму, если награда за успех будет достаточно велика, – но при этом не будет питать иллюзий насчет шансов на подобный исход. Однако не все мы рациональны, и многим необходимо ощущать себя защищенными от искаженных оценок, иначе способность принимать решения будет парализована. Если вы решите обманывать себя, принимая экстремальные прогнозы, не забывайте о том, что вы потакаете собственным желаниям.

Мои корректирующие процедуры ценны тем, что заставляют думать об объеме известной вам информации. Рассмотрим следующий, распространенный в научном мире пример, вызывающий прямые аналогии с другими сферами жизни: факультет собирается нанять молодого преподавателя и хочет выбрать кандидата с наилучшим потенциалом для научной работы. Выбор свелся к двоим.

Ким недавно закончила дипломный проект. У нее отличные рекомендации, она замечательно выступила и произвела на всех прекрасное впечатление во время собеседований. Серьезной истории научных исследований у нее нет.

Джейн последние три года занимала должность постдокторанта. Она очень эффективно работала, провела множество исследований, но доклад и собеседования были не такими яркими, как у Ким.

Интуитивно хочется выбрать Ким, потому что она произвела более сильное впечатление, а что ты видишь, то и есть. Однако информации о Ким гораздо меньше, чем о Джейн. Мы вернулись к закону малых чисел. По сути, выборка информации о Ким меньше, чем о Джейн, а в маленьких выборках намного чаще наблюдаются экстремальные результаты. В них бо́льшую роль играет удача, а значит, предсказания результатов Ким необходимо сильнее сместить к среднему. Допустив, что Ким регрессирует сильнее, чем Джейн, вполне можно выбрать Джейн, хотя она произвела на вас более слабое впечатление. Делая выбор в научной среде, я бы голосовал за Джейн, хотя и приложил бы некоторые усилия для преодоления интуитивного впечатления о большей перспективности Ким. Следовать предчувствиям естественнее и приятнее, чем действовать вопреки им.

Легко представить себе похожие проблемы в других ситуациях, например, когда венчурному капиталисту необходимо выбрать, в какую из двух новых компаний, работающих на разных рынках, вложить деньги. У одной компании есть продукт, спрос на который можно довольно точно оценить. Другая фирма привлекательна и – с точки зрения интуиции – кажется многообещающей, но ее перспективы менее надежны. Следует задуматься о том, сохранит ли прогноз возможностей второй компании свою бо́льшую привлекательность после учета неопределенности.