Текст книги "Шум. Несовершенство человеческих суждений"

Глава 11
Объективная неосведомленность

Нам часто приходилось излагать материал последних двух глав перед руководителями высокого ранга, включая отрезвляющие выводы об ограниченности оценочных суждений. Мысль, которую мы стремимся донести до слушателей, витает в воздухе вот уже более половины столетия; большинство из тех, кто принимает решения, наверняка не раз убеждались в этой ограниченности. Однако в их силах ей сопротивляться.

Некоторые из наших слушателей с гордостью сообщали, что доверяют своей интуиции больше, чем любым исследованиям. Другие оказались не такими безрассудными, однако придерживались тех же взглядов. Исследования на тему принятия решений¹³⁴ менеджерами показали, что руководители, особенно более старшие и опытные, весьма часто прибегают к тому, что они называют интуицией, внутренним чутьем или, проще говоря, собственным суждением (не в том смысле, который мы вкладываем в этот термин в данной книге).

Короче говоря, люди любят прислушиваться к своему внутреннему голосу, и очевидно, большинство из них с радостью с ним соглашаются. Отсюда вопрос: а что, собственно, говорит внутренний голос людям, которым посчастливилось одновременно быть наделенными властью и большой самоуверенностью?

Одно из исследований¹³⁵ о роли интуиции в принятии решений определяет ее как «решение в пользу заданного образа действий, которое возникает в голове с чувством либо убежденности, либо правдоподобия, однако без явно выраженных причин или оправдывающих обстоятельств – то есть я это «знаю», но не знаю почему». Мы предполагаем, что это самое чувство «я знаю, но не знаю почему» является в действительности внутренним сигналом готовности суждения, упомянутым в главе 4.

Внутренний отклик – вручаемая самому себе награда, к которой люди усердно (а то и не очень усердно) стремятся при решении задачи. Это приятное ощущение, чувство завершенности, в котором присутствуют и обоснованные доказательства, и вроде бы верная оценка. Все части головоломки, кажется, встали на место! (Далее мы увидим, что чувство завершенности часто основано на сокрытии или пренебрежении элементами, которым не нашлось места.)

Что же делает внутренний отклик таким важным – и потому вводящим в заблуждение? А то, что он по сути является не чувством, а верой. Эмоциональное удовлетворение («доказательства кажутся правильными») маскируется под рациональную убежденность в истинности суждения («не знаю почему, но знаю»).

Однако убежденность не является гарантией точности, и многие самонадеянные прогнозы на поверку оказываются ложными. Хотя и смещение, и шум способствуют ошибкам в прогнозах, главный источник этих ошибок – не то, что прогнозы плохи сами по себе, а то, что их точность ограниченна. И на то есть объективные причины. На ограничении, называемом объективной неосведомленностью, мы и сосредоточимся в данной главе.

Каким вопросом стоит задаться тем, кто часто делает прогнозы? Причем этот вопрос применим к любой задаче – например, покупке акций или прогнозированию будущих успехов профессиональных спортсменов. Мы же для простоты используем пример, упомянутый в главе 9: выбор кандидатов на должность. Допустим, вы несколько лет отслеживали работу сотни кандидатов. Теперь у вас есть возможность оценить правильность своих решений путем сравнения прогнозов с реальными результатами деятельности кандидатов. Если взять наугад любых двух кандидатов, сколько раз ваши ожидания совпали с фактическим результатом? Другими словами, если сравнивать двух кандидатов, какова вероятность, что тот, кого вы сочли более перспективным, на самом деле оказался лучшим?

Мы часто устраиваем неформальные опросы на эту тему в группах высших должностных лиц. Большинство ответов приходятся на диапазон 75–85 %, и мы подозреваем, что они продиктованы скромностью и желанием не прослыть хвастунами. Частные беседы с глазу на глаз наводят на мысль, что подлинная самооценка руководителей зачастую даже еще выше.

Теперь, когда вы ознакомились со статистикой, проблема налицо. Процент согласия, равный 80 %, примерно соответствует корреляции 0,8. В реальном мире такой уровень точности прогнозов редко достижим. Последние обзоры¹³⁶, посвященные методикам отбора кадров, выявили, что эффективность прогнозов и близко не дотягивает до этого показателя. В среднем корреляция составляет 0,28 (ПС=59 %).

Если учесть, что отбор кадров – тот еще квест, неутешительные результаты вас не удивят. У тех, кого сегодня возьмут на работу, появится много трудностей и много возможностей; не исключено, что в силу различных обстоятельств их жизнь кардинально изменится. Кому-то из соискателей повезет с руководителем, который поверит в них, создаст им все условия, начнет продвигать по служебной лестнице, повысит их самооценку и усилит мотивацию. Другие окажутся менее удачливы и не по своей вине начнут карьеру с деморализующего провала. В личной жизни каждого также могут произойти события, которые повлияют на успехи на работе. Ни одно из этих событий и обстоятельств не может быть предугадано сегодня – ни вами, ни кем-либо другим, ни лучшей в мире моделью. Истинное незнание включает в себя все, что не может быть известно в настоящее время о развитии событий в будущем, которое вы пытаетесь предсказать.

Кроме того, многие сведения о кандидатах, которые можно узнать в принципе, неизвестны вам в момент составления прогноза. В нашем случае не имеет значения, вызваны ли пробелы в сведениях отсутствием качественных тестов или вы сочли, что издержки по получению дополнительной информации необоснованны, или небрежно отнеслись к сбору фактов. Как бы то ни было, достаточно полной информацией вы не обладаете.

Обе причины – истинное незнание (то, чего никак не узнать) и неполная информация (можно было выяснить, но этого не произошло) – делают идеальный прогноз невозможным. Обе эти неизвестные величины – не проблемы смещения и шума в ваших оценках; это объективные характеристики задачи. Объективная неосведомленность о важных, но неизвестных вам вещах жестко ограничивает точность. Мы позволим себе некоторую вольность в терминологии и заменим обычно употребляемое слово незнание на неосведомленность. Термин поможет снизить риск путаницы между незнанием (в смысле незнания фактов о том, что происходит в мире и что случится в будущем) и шумом, который есть не что иное, как разброс в оценках.

В некоторых ситуациях имеется больше известной информации (и меньше объективной неосведомленности), чем в других. Большинство профессиональных оценок очень неплохи. По многим болезням врачи дают верные прогнозы; во многих правовых спорах адвокаты могут с большой точностью предсказать, каким будет решение судей.

Однако в целом можно с уверенностью предположить, что люди, которые занимаются прогнозированием, недооценивают свою объективную неосведомленность. Излишняя самоуверенность¹³⁷ – одно из самых хорошо документированных когнитивных искажений. В частности, излишней самоуверенностью отличаются утверждения о чьей-либо способности давать точные прогнозы даже на основе ограниченной информации. То, что мы говорили о шуме в прогнозировании, можно отнести и к объективной неосведомленности: там, где есть прогноз, найдется место и неосведомленности. И ее будет намного больше, чем вам кажется.

Наш хороший друг, психолог Филип Тетлок, обладает непередаваемым чувством юмора и страстным стремлением к справедливости. В 2005 году он опубликовал книгу под названием «Экспертные политические суждения». Несмотря на нейтральный заголовок, книга содержала убийственные нападки на способность экспертов точно предсказывать политические события.

Тетлок изучил предсказания почти трех сотен экспертов: известных журналистов, уважаемых ученых и высокопоставленных консультантов национальных лидеров. Он задался вопросом: а сбылись ли их прогнозы в политике, экономике и социальной сфере? Исследования охватывали два десятилетия; чтобы выяснить, осуществились ли долгосрочные прогнозы, требуется немало терпения.

Главное открытие Тетлока состояло в том, что в своих предсказаниях важнейших политических событий эксперты крайне разочаровывали. Книга стала знаменитой благодаря уничижительной концовке: «В среднем эксперты попадали в цель примерно с такой же точностью, как шимпанзе при игре в дартс». Более полно суть книги выражалась в том, что эксперты со своими «комментариями и рекомендациями¹³⁸ на политические и экономические темы» оказались «ничуть не лучше, чем журналисты или внимательные читатели New York Times. Разумеется, эксперты за словом в карман не лезли. Они анализировали ситуацию, рисовали захватывающую картину развития событий и уверенно опровергали возражения своих оппонентов по теледебатам. Однако знали ли они наверняка, что случится в будущем? Едва ли.

Тетлок пришел к этому выводу, прорываясь сквозь бесконечный поток красноречия. По каждому пункту он попросил экспертов оценить вероятность трех возможных исходов: статус-кво, некоторый рост или снижение. Бросающая дротики шимпанзе «выбрала» бы каждый из этих исходов с равной вероятностью – один к трем, – невзирая на реальные факты. Эксперты ненамного превысили этот очень низкий уровень. В среднем они чуть выше оценивали вероятность событий, которые произошли, чем тех, которых так и не случилось, однако наиболее яркой чертой их выступлений стала чрезмерная уверенность в своей правоте. Мудрецы, вооруженные логичными теориями о том, как функционирует этот мир, оказались наиболее самоуверенными и наименее точными.

Открытия Тетлока наводят на мысль, что детальные долгосрочные прогнозы отдельных событий попросту невозможны. В мире все настолько запутано, что самые незначительные события могут иметь серьезные последствия. Например, такой факт: имелся равный шанс, что каждый оставивший след в истории человек (да и вообще любой человек) мог бы родиться другого пола. Непредсказуемые события неизбежны, и их последствия также непредсказуемы. В результате чем дальше мы заглядываем в будущее, тем больше накапливается объективной неосведомленности. Ограниченность экспертных политических суждений обусловлена не когнитивной ограниченностью прогнозистов, а полной объективной неосведомленностью о будущих событиях.

Конечно, «мудрых» экспертов не следует порицать за провалы их долгосрочных предсказаний. Однако они заслужили свою долю критики, потому что взялись за невыполнимую задачу и возомнили, что смогут добиться успеха.

Спустя несколько лет после своего скандального открытия, касающегося бессмысленности многих долгосрочных прогнозов, Тетлок и его жена Барбара Меллерс принялись за изучение того, насколько хорошо люди справляются с предсказанием мировых событий на относительно короткий период – как правило, меньше года. Они обнаружили, что давать краткосрочные прогнозы трудно, но вполне возможно, и некоторые люди, названные Тетлоком и Меллерс суперпредсказателями, показывают лучшие результаты, чем другие, – включая работающих в разведке профессионалов. В принятых здесь терминах новые открытия совместимы с гипотезой о том, что чем дальше мы заглядываем в будущее, тем выше объективная неосведомленность. К суперпредсказателям мы вернемся в главе 21.

Ранние исследования Тетлока продемонстрировали присущую людям абсолютную неспособность к долгосрочным политическим прогнозам. Если бы удалось найти хоть одного человека с настоящим магическим кристаллом, это полностью изменило бы сделанные выводы. Задача считается невыполнимой лишь после того, как многие заслуживающие доверия личности попробовали свои силы и потерпели неудачу. Ранее мы уже показали, что как механическая агрегация информации часто одерживает верх над человеческими оценками, так и точность правил и алгоритмов гарантирует лучшую проверку тому, насколько в действительности предсказуем – или непредсказуем – конечный результат.

После прочтения предыдущих глав у вас могло возникнуть впечатление, что алгоритмы непременно берут верх над оценочными суждениями. Однако это впечатление может быть обманчивым. Модели постепенно становятся лучше людей, но ненамного. По сути нет подтвержденных ситуаций, когда, владея одной и той же информацией, люди проявляют себя из ряда вон плохо, а модели, наоборот, очень хорошо.

В главе 9 мы упоминали обзор 136 исследований¹³⁹, которые продемонстрировали превосходство механической агрегации над клиническими оценками. В то время как доказательства этого превосходства, вне сомнения, «обширны и последовательны», разница в эффективности невелика. 93 исследования сосредоточились на бинарных оценках (да или нет); они измеряли «процент попадания» у клиницистов и формул. В среднем клиницисты оказались правы в 68 % случаев, формулы – в 73 %. Меньшая подгруппа (35 исследований) использовала в качестве меры точности коэффициент корреляции. В этом случае клиницисты получили среднюю корреляцию с конечным результатом 0,32 (ПС=60 %), а формулы – 0,56 (ПС=69 %). По обоим показателям формулы работали в равной степени лучше, чем клиницисты, однако ограниченная достоверность механических прогнозов бросается в глаза. Эффективность моделей не изменила картину довольно низкого предельного уровня прогнозируемости.

А что же искусственный интеллект? Как мы заметили, ИИ часто работает лучше простых моделей. Однако в большинстве случаев и его эффективность далека от идеальной. Рассмотрим, например, алгоритм прогнозирования при вынесении решений об освобождении под залог, обсужденный в главе 10. Мы видим, что при одном и том же количестве человек, которым отказано в освобождении, применение алгоритма может снизить уровень преступности до 24 %. Это впечатляющая победа над судьей-человеком, однако если бы алгоритм мог предсказать с идеальной точностью, какие из обвиняемых совершат преступление повторно, уровень преступности мог бы снизиться еще больше. Прогнозирование будущих преступлений в фильме «Особое мнение» неспроста всего лишь фантастика: в предсказании поведения человека немало объективной неосведомленности.

В другом исследовании под руководством Сендила Муллайнатана и Зияда Обермейера была смоделирована постановка диагноза при инфаркте¹⁴⁰. Если у пациента имеются симптомы инфаркта, медикам отделения «Скорой помощи» приходится решать, требуются ли ему дополнительные обследования. В принципе такие обследования нужны только в том случае, если риск достаточно высок: они не только дорогостоящи, но к тому же инвазивны и сами по себе рискованны. Поэтому, если нет особой опасности для пациента, они нежелательны. Таким образом, при назначении обследований врачи должны оценить риск инфаркта. Для этого исследователи создали модель на базе ИИ. Модель использует более 2400 переменных и основана на большом количестве случаев (1,6 миллиона пациентов и 4,4 миллиона обращений к врачам). При таком массиве данных модель, вероятно, достигает нижнего предела объективной неосведомленности.

Неудивительно, что точность модели на базе ИИ оказалась заметно выше, чем у врачей. Чтобы оценить эффективность модели, обратим внимание на пациентов, которых модель отнесла к 10 %, имеющим максимальный риск. По результатам обследований инфаркт был выявлен у 30 % из них, в то время как в группе среднего риска – у 9,3 %. Уровень селективности модели впечатляет, хотя и далек от идеала. Можно сделать разумный вывод, что правильность диагнозов врачей ограничена рамками объективной неосведомленности не менее, чем несовершенством их оценок.

Может показаться, что, настаивая на невозможности идеальных прогнозов, мы утверждаем очевидные вещи. Ясно, что утверждения о непредсказуемости будущего вряд ли можно назвать концептуальным прорывом. Тем не менее очевидность этого факта сравнима разве что с регулярностью, с которой его игнорируют, – что вновь и вновь подтверждают выводы исследователей об излишней самоуверенности в прогнозах.

Засилье самоуверенности проливает новый свет на наши неформальные опросы экспертов, доверяющих своей интуиции. Мы заметили, что люди часто принимают субъективные ощущения своей правоты за признак достоверности прогнозов. Например, после того как вы в главе 9 просмотрели результаты тестирования Натали и Моники и сделали на их основе логичные выводы, не что иное, как внутренний голос нашептывал вам, что Натали более сильный кандидат. Однако если вы уверены в своем прогнозе, вы стали жертвой иллюзии достоверности: точность прогноза на основе данной вам информации довольно низка.

Люди, не сомневающиеся в своей способности достигать невероятно высокого уровня точности прогнозов, не просто излишне самоуверенны. Они к тому же не признают наличия в своих оценках шумовых помех и смещения. Мало того что ставят себя выше других смертных, так еще и верят в предсказуемость событий, которые фактически непредсказуемы, безоговорочно отрицая существование неопределенности! Придерживаясь терминологии этой книги, мы можем назвать их позицию отрицанием неведения.

Отрицание неведения дает ответ на загадку, которая ставила в тупик Мила и его последователей: почему их идею долгое время не принимали во внимание и почему эксперты продолжают полагаться на свою интуицию? Когда они прислушиваются к своей интуиции, они чувствуют внутренний сигнал и испытывают эмоциональный подъем. Этот внутренний сигнал – «я дал правильную оценку!» – заставляет поверить: «не знаю почему, но знаю». Однако объективная оценка истинности подобных озарений редко оправдывает настолько высокую степень уверенности.

Отказаться от эмоциональной награды за интуитивную уверенность нелегко. Лидеры зачастую хвалятся тем, что в крайне неопределенных обстоятельствах¹⁴¹ склонны прибегать к интуитивным решениям. Когда факты не укладываются в их представления о ситуации и не дают почувствовать себя уверенно, они обращаются к интуиции, которая заполнит все пробелы. И чем больше неизвестности, тем больше соблазна отрицать неведение.

Отрицание неведения дает ответ и на другую загадку. Перед лицом фактов, представленных нами здесь, многие лидеры приходят к парадоксальному на первый взгляд умозаключению. Основанные на интуиции решения могут быть небезупречны, утверждают они, однако если и более продвинутые варианты так же далеки от идеала, то есть ли смысл их предпочитать? Вспомним, например, что средняя корреляция между рейтингами экспертов и эффективностью принятых на работу сотрудников составляет 0,28 (ПС=59 %). Согласно тем же исследованиям и вышеприведенным доказательствам, механическое прогнозирование работает лучше, однако ненамного: точность составляет 0,44 (ПС=65 %). Любой руководитель может спросить – а стоит ли игра свеч?

Ответ прост: при решении таких важных задач, как подбор персонала, увеличение достоверности значит очень много. Те же самые руководители регулярно вносят значительные изменения в свои методы работы ради приобретения выгоды, пусть и не особо большой. Разумом они понимают, что успех никогда не гарантирован; максимально повысить шансы успеха – вот к чему они стремятся, принимая решения. К тому же они знают, что такое вероятность. Никто из них не купит лотерейный билет, который выиграет с вероятностью 59 %, если за ту же цену можно купить билет с вероятностью выигрыша 65 %.

Проблема в том, что «цена» в этой ситуации совсем иная. Интуитивные суждения идут в паре с вознаграждением, с внутренним сигналом. Люди готовы доверять алгоритму¹⁴², который достигает очень высокого уровня точности, потому что он дает им чувство уверенности, равное или превосходящее то, что дала интуиция. Однако отказ от эмоционального вознаграждения – слишком высокая цена, если в качестве альтернативы предлагается некий механический процесс, к тому же не претендующий на высокую достоверность.

Это наблюдение имеет важные последствия для улучшения качества оценок. Несмотря на все доводы в пользу механических и основанных на алгоритмах методов и несмотря на рациональные подсчеты, которые ясно показывают важность поэтапного улучшения качества прогнозов, многие эксперты будут отвергать практику принятия решений, которая лишает их возможности «включать» свою интуицию. До тех пор пока алгоритмы далеко не идеальны – и пока во многих сферах объективная неосведомленность внушает, что они никогда не будут идеальны, – ничто не заменит человеческих суждений. Вот почему их так необходимо улучшить.