Текст книги "Как оценить риски в кибербезопасности. Лучшие инструменты и практики"

Человеческий мозг является довольно неэффективным устройством для выявления, отбора, категоризации, записи, сохранения, извлечения информации и манипулирования ею с целью формулирования выводов. Почему мы должны удивляться этому?¹⁹

Все это не означает, что эксперты мало разбираются в своей области. Они обладают большим объемом подробных технических знаний. Эффективность работы экспертов в упомянутых исследованиях касалась только оценки величин на основе субъективных выводов по прошлому опыту. То есть проблема состоит в том, что эксперты, похоже, часто путают знания об огромном множестве деталей с умением прогнозировать неопределенные будущие события. Специалист по кибербезопасности может хорошо разбираться в технических аспектах, таких как проведение тестов на проникновение, использование средств шифрования, настройка файрволов, и многих других и при этом быть неспособным реально оценить собственные навыки прогнозирования будущих событий.

Исходя из рассмотренных выше исследований, может создаться впечатление, что эксперты почти ничего не способны сделать для оценки рисков. Однако мы совсем не это имели в виду. Когда есть возможность создать грамотные математические модели, основанные на объективных наблюдениях и ранее полученных данных, так и нужно сделать. И все же нельзя отрицать, что с некоторыми задачами по-прежнему лучше справится эксперт. Эксперт является компонентом анализа рисков, который невозможно отбросить, но можно улучшить.

Прежде всего эксперты должны помогать определить проблему, в том числе оценивать ситуации, когда данные неоднозначны или условия не соответствуют имеющимся статистическим данным. Эксперты также должны предлагать решения для проверки.

Наша цель – повысить статус эксперта. Нам бы хотелось, чтобы к экспертам в области кибербезопасности относились как к части системы оценки рисков. За ними необходимо наблюдать, как за гоночным автомобилем или спортсменом, и корректировать их работу для достижения максимальной результативности. Эксперт – это такой своеобразный тип измерительного прибора, который можно «откалибровать» для повышения эффективности.

Стоит также отметить, что все проблемы, которые будут перечислены ниже, присущи не только кибербезопасности. Однако профессия эксперта обладает характеристиками, которые относят ее к сферам деятельности, где люди склонны выносить «некалиброванные» суждения. Кибербезопасность может брать пример с других технологичных инженерных областей, зависящих от экспертной оценки, которые применяют конкретные методы для отслеживания и калибровки суждений экспертов. В Комиссии по ядерному регулированию США (КЯР), например, признают значимость роли эксперта на нескольких этапах процесса оценки риска. Отчет КЯР об использовании и получении экспертных оценок гласит следующее:

Экспертные суждения действительны как сами по себе, так и в сравнении с другими данными. Все данные – это несовершенное отображение реальности. Достоверность данных экспертных оценок, как и любых других данных, может варьироваться в зависимости от процедур, применяемых для их сбора. Так называемые точные данные, например полученные с помощью приборов, не могут считаться совершенными из-за наличия таких факторов, как случайный шум, неисправность оборудования, вмешательство оператора, отбор данных или их интерпретация. Достоверность всех данных различна. Достоверность экспертного суждения в значительной степени зависит от качества когнитивного представления эксперта о сфере деятельности и способности выразить свои знания. Получение экспертных оценок является формой сбора данных, которую можно тщательно проверить. Использование суждений также можно и нужно тщательно проверять²⁰.

Мы согласны. Следует пристально проверять эксперта, как и любой другой инструмент измерений. По нашему мнению, специалист в области кибербезопасности – важнейший и в конечном счете незаменимый компонент любого анализа рисков. Даже с учетом появления новых источников данных, позволяющих проводить еще более эффективный количественный анализ рисков, кибербезопасность в обозримом будущем будет по-прежнему зависеть от специалистов в этой области. Именно из-за ключевой роли, отведенной квалифицированным экспертам, необходимо обратить особое внимание на качество выполнения ими различных критически важных задач. И точно так же, как точность измерений прибора не определяется с помощью него самого, не следует полагаться на самих экспертов в оценке их эффективности.

Как и раньше, начнем с изучения имеющихся исследований по теме. Мы хотим рассмотреть применяемые экспертами инструменты и выявить, действительно ли они повышают ценность их суждений или, наоборот, понижают ее.

Компонент субъективной вероятности

Важнейшим компонентом анализа рисков является оценка экспертами по кибербезопасности вероятности возникновения событий, связанных с нарушением кибербезопасности, и потенциальных убытков при их наступлении. Независимо от того, используются ли вероятности в явном виде или неколичественные вербальные шкалы, экспертам необходимо определить, является ли один вид угрозы более вероятным, чем другой. Поскольку в какой-то момент процесса придется полагаться на мнение эксперта, следует рассмотреть, как можно измерить его мастерство в решении задачи и что покажут такие измерения.

На эту тему опубликовано достаточно исследований в самых разных областях, проводившихся с участием экспертов и неспециалистов. Во всех исследованиях применялся схожий подход: собиралось большое количество оценок, сделанных различными людьми, а затем они сравнивались с наблюдаемыми результатами. Полученные выводы убедительны и повторяются в каждом новом исследовании, посвященном данному вопросу.

• Без обучения или других средств контроля почти все люди, определяя вероятности, получают значения, существенно отличающиеся от реально наблюдаемых результатов (например, когда кто-то говорит, что уверен на 90 %, предсказанный результат происходит гораздо реже, чем в 90 % случаев).

• Существуют методы, в том числе обучение, которые значительно повышают способность экспертов оценивать субъективные вероятности (т. е. когда они будут говорить, что уверены на 90 %, то окажутся правы примерно в 90 % случаев).

Приведем пример, связанный с другой профессией – финансовыми директорами, – иллюстрирующий типичные результаты подобных исследований. В 2010 году Национальным бюро экономических исследований был проведен эксперимент, в котором финансовых директоров ряда корпораций попросили оценить годовую доходность индекса S&P 500²¹. Оценки давались в виде диапазонов (значения нижнего и верхнего пределов), достаточно широких, чтобы финансовый директор посчитал, что правильный ответ с вероятностью 80 % будет содержаться в данном диапазоне. Назовем эти диапазоны 80 %-ными доверительными интервалами[4]4
  Некоторые авторы предпочли бы разделять понятия доверительного интервала, вычисляемого на основе данных, и субъективно оцениваемого интервала. Для еще более четкого разделения они могли бы использовать термины «интервал субъективной уверенности» или «байесовский доверительный интервал». Мы, однако, используем термин «доверительный интервал» для выражения неопределенности независимо от того, выявлена ли эта неопределенность на основе мнения экспертов или анализа объективных данных.


[Закрыть]. Просто подождав, в итоге можно было легко узнать фактическую доходность за указанный период времени. Несмотря на то что финансовые директора были очень опытными и образованными, как и требовала должность, их 80 %-ные ДИ на практике содержали правильные ответы только в 33 % случаев. То есть испытуемые считали, что предоставили диапазоны, не содержащие правильный ответ, лишь в 20 % случаев, а на самом деле правильные ответы выходили за пределы их диапазонов в 67 % случаев. Показатель «неожиданных отклонений» оказался гораздо выше, чем они ожидали.

Причина кроется в чрезмерной уверенности. Уверенность экспертов, в данном случае выражавшаяся в ширине 80 %-ного ДИ, позволяла получить правильный ответ гораздо реже, чем они ожидали. Другими словами, они были уверены в значении вероятности 80 %, что указанный интервал содержит наблюдаемое значение, но на самом деле такой вероятности не было. К сожалению, этим грешат не только финансовые директора. Несколько исследований, проведенных в последние десятилетия, подтверждают, что излишняя самоуверенность – распространенная черта почти всех нас. Откалиброванные оценки вероятности, судя по большому объему опубликованных результатов, являются предметом исследований с 1970-х годов, и начало этим исследованиям положили Даниэль Канеман и Амос Тверски²². Их работа показала, что почти все представители самых разных профессии так же излишне самоуверенны, как и упомянутые финансовые директора, причем независимо от рода деятельности.

Это исследование не является чисто академическим. Предмет изучения влияет на реальные суждения и на действия, предпринимаемые для решения реальных проблем. За последние 20 лет Хаббард сумел сформировать один из крупнейших наборов данных, касающихся этого явления. Он протестировал и обучил более 1000 человек из различных отраслей, занимающих разные должности и относящихся к разным уровням управления. Из них по меньшей мере 54 испытуемых специализировались именно в области кибербезопасности.

Чтобы измерить, насколько хорошо эксперты распределяют субъективные вероятности, Хаббард проводил с ними серию тестов, аналогичных тем, что использовались в большинстве других исследований. В контрольном тестировании (оно проводится перед обучением, направленным на совершенствование навыков оценки) он просил участников указать 90 %-ный ДИ количества верных ответов для вопросов на общую эрудицию (когда родился Исаак Ньютон, какова высота самого высокого здания в мире и т. д.). Большинство людей указали диапазоны, содержавшие 40–50 % правильных ответов, что соответствует результатам из упомянутых выше исследований[5]5
  Данное тестирование проводилось на выборке из 10 вопросов на человека. Может показаться, что десять – слишком мало для тестирования, но если участники хорошо откалиброваны, так что существует вероятность 90 %, что правильное значение окажется в указанном ими диапазоне, то шанс получить 5 или менее из 10 вопросов с ответами в указанном диапазоне составляет 1 к 611. Другими словами, размер выборки более чем достаточен, для того чтобы выявить уровень самоуверенности большинства профессионалов.


[Закрыть].

Чрезмерная уверенность также наблюдается при определении вероятностей дискретных событий, например приведет ли кибератака к крупной утечке данных в этом году. Безусловно, результат единичного события, как правило, не является достоверным индикатором того, насколько реалистична ранее заявленная вероятность. Если говорится о существовании 25 %-ной вероятности наступления события к концу следующего года, то сам факт, что оно произошло или не произошло, еще не будет являться доказательством нереалистичности вероятности. Но если отследить работу ряда экспертов, делающих множество вероятностных оценок, то можно сравнить ожидания с наблюдениями и составить более достоверное представление о качестве оценки. Например, пусть группа экспертов дает 1000 оценок вероятности определенных событий. Это могут быть утечки данных какого-то минимального объема, возникающие в течение конкретного периода времени, вероятность убытков на сумму более 10 млн долл. и т. п. Предположим, по словам экспертов, в 100 из этих оценок они уверены на 90 %. Тогда заявленный результат должен происходить примерно в 90 случаях из 100. Можно ожидать некоторых расхождений в силу удачного стечения обстоятельств или же вычислить (о чем будет рассказано позже) допустимое количество случайных ошибок. С другой стороны, если они окажутся правы только в 65 из 100 случаев, когда заявляли, что уверены в результате на 90 %, такой показатель гораздо хуже, чем можно было бы ожидать при банальном невезении (если бы речь шла только о невезении, шанс, что они будут ошибаться так часто, составил бы всего 1 к 68,9 млрд). Поэтому гораздо правдоподобнее выглядит объяснение, что эксперты просто наделяли слишком высокой вероятностью события, в которых им следовало быть менее уверенными.

К счастью, другими исследователями были проведены эксперименты²³, показавшие, что экспертов можно научить лучше оценивать вероятности с помощью наборов оценочных тестов, обеспечения быстрой, постоянной и четкой обратной связи в достаточном объеме, а также техник повышения точности субъективных вероятностей. Иными словами, исследователи обнаружили, что оценка неопределенности – общий навык, которому можно обучить, добившись измеримого улучшения показателей. То есть, когда откалиброванные эксперты в области кибербезопасности говорят, что они на 85 % уверены в том, что в ближайшие 12 месяцев в их отрасли произойдет крупная утечка данных, значит, действительно вероятность утечки составляет 85 %.

И еще раз, выборка людей, проходивших тестирование по этому «компоненту», включала в себя не только финансовых директоров, но и врачей, студентов, ученых, менеджеров проектов и многих других. Поэтому можно вполне обоснованно утверждать, что эти наблюдения, вероятно, относятся ко всем. А если кто-то попытается доказать, что эксперты по кибербезопасности отличаются от представителей других профессий, участвовавших в исследованиях, помните, что в выборке Хаббарда было 54 эксперта в области кибербезопасности из нескольких компаний. В первом тесте они показали примерно такие же низкие результаты, как и представители любой другой профессии. В процессе же обучения их результаты существенно улучшились, как и у представителей остальных профессий, которых тестировал Хаббард, а успешность калибровки к концу обучения тоже оказалась у всех групп примерно одинаковой (85–90 % экспертов научились выверять свои оценки).

В главе 7 будут подробнее описаны процесс обучения и его результаты. Мы объясним, как научиться калибровать свои оценки с помощью несложного упражнения и как можно измерять собственную эффективность с течением времени. Этот навык станет отправной точкой для разработки более совершенных количественных моделей.

Компонент согласованности оценок экспертов

В целом проверка субъективных вероятностей для калибровки чрезмерной самоуверенности подразумевает, что придется ждать проявления наблюдаемых результатов. Однако есть и другой вид калибровки, действие которого можно легко наблюдать почти сразу, не дожидаясь, пока наступит предсказанный результат и наступит ли вообще, – измерение согласованности оценок эксперта. То есть, независимо от точности оценки, следует ожидать, что эксперт будет последовательно давать один и тот же ответ при возникновении похожих ситуаций. Конечно, единообразие ответов не означает, что они верны, но, как известно, два противоречащих друг другу ответа не могут одновременно быть правильными. Величина несогласованности должна хотя бы соответствовать нижнему пределу ошибки оценивания. Если же «эксперты» дают совершенно разные ответы каждый раз при решении сходных задач, то с тем же успехом они могли бы просто игнорировать предоставленную информацию и наугад выбирать оценки путем жеребьевки. Не нужно ждать наступления предсказываемых событий, чтобы оценить согласованность оценок таких экспертов.

Аналогичным образом, даже если специалисты отвечают в полном соответствии с собственными предыдущими суждениями, но ответы сильно отличаются от мнения других экспертов, то как минимум известно, что все они не могут быть правы (зато могут быть все неправы). К счастью, эти компоненты деятельности экспертов также измерялись в долгосрочной перспективе. Исследователи дали названия обеим мерам согласованности оценок²⁴:

• стабильность – согласие эксперта с собственным предыдущим суждением, сделанным в идентичной ситуации (тот же эксперт, те же данные, другое время);

• консенсус – согласие эксперта с другими экспертами (одинаковые данные, разные эксперты).

Пока во всех областях, в которых проводились исследования, была выявлена сильная степень несогласованности оценок экспертов (с точки зрения как стабильности, так и консенсуса) практически во всех суждениях. Такая несогласованность оценок проявляется и у менеджеров проектов, оценивающих затраты, и у врачей, диагностирующих пациентов, и у экспертов в сфере кибербезопасности, определяющих риски.

В качестве примера, демонстрирующего несогласованность оценок экспертов, можно привести одно исследование начала XX века, в котором нескольким врачам-радиологам была выдана пачка из 96 рентгеновских снимков язвы желудка²⁵.

Каждого радиолога просили оценить, может ли язва стать причиной злокачественной опухоли. Неделю спустя те же радиологи получили еще один набор из 96 рентгеновских снимков для оценки. Врачи не знали, что на самом деле получили те же самые снимки, но в другом порядке. Исследователи выявили, что радиологи меняли свои ответы в 23 % случаев.

Если спросить экспертов в такой ситуации, должно ли их суждение каким-то образом зависеть от порядка расположения элементов в списке, все они согласятся, что не должно. Тем не менее, согласно исследованиям, подобные изменения порядка элементов все же влияют на суждения.

Отдельный источник несогласованности оценок кроется в другой распространенной особенности суждений. При оценке цифр на эксперта может повлиять эффект, известный как «якорный»: если просто подумать о каком-либо числе, это повлияет на значение последующей оценки даже по совершенно не связанному вопросу. Исследователи показали, как при использовании произвольных значений, таких как номер социального страхования или случайное число, можно оказать влияние на последующие оценки, например количества врачей в районе или цены товаров на eBay^{26, 27}.

Где гарантия, что случайные, не относящиеся к делу факторы вроде якорного эффекта не влияют и на суждения экспертов по кибербезопасности? У нас было достаточно возможностей собрать информацию по этому вопросу, и ее краткое изложение приведено ниже.

• Во многих не связанных друг с другом проектах за последние пять лет Хаббард и его сотрудники опросили 54 экспертов по кибербезопасности на предмет вероятности возникновения различных видов нарушений кибербезопасности. Проекты выполнялись для клиентов из четырех областей: нефтегазовой, банковской, высшего образования и здравоохранения. Все упомянутые эксперты ранее прошли обучение по калибровке оценки вероятности.

• Каждому эксперту были предоставлены описательные данные по различному количеству систем или сценариев угроз в организации (от 80 до 200 штук). Типы сценариев и предоставляемые данные различались между клиентами, но они могли включать информацию о типе подверженных риску данных, об операционных системах, находящихся под угрозой, о существующих средствах контроля, типах и количестве пользователей и т. д.

• Всех экспертов просили оценить для каждой из этих систем или сценариев вероятности возникновения различных типов событий (до шести штук), включая нарушения конфиденциальности, несанкционированное редактирование данных, несанкционированные транзакции денежных средств, кражи интеллектуальной собственности, перебои с доступом и т. д.

• Поскольку 54 эксперта оценивали вероятность возникновения от одного до шести событий для каждой из ситуаций, которых было от 80 до 200 штук, один эксперт, как правило, давал от 300 до 1000 оценок. В итоге получилось более 30 000 индивидуальных оценок вероятностей.

Однако при оценивании экспертам не сообщалось, что в представленных списках имелось несколько дублирующих друг друга пар сценариев. Скажем, что данные, представленные для системы в девятой строке списка, могли быть идентичны данным, представленным в 95-й строке, что 11-я и 81-я строки одинаковые и т. д. У каждого эксперта в списке было несколько дубликатов, в общей сложности 2428 пар дублей.

Чтобы измерить несогласованность, было достаточно сравнить первую оценку, данную экспертом, со второй для идентичного сценария. Сравнение оценок показано на рис. 4.1. Для лучшего отображения концентрации большого количества точек в одних и тех же местах диаграммы вокруг каждой точки добавлено немного шума, чтобы они не накладывались друг на друга. Шум очень мал по сравнению с общим эффектом и предназначен только для отображения диаграммы, т. е. не учитывается при статистическом анализе результатов.

Как видно, в 26 % случаев разница между первой и второй оценками составила более 10 процентных пунктов, например первая оценка была 15 %, а вторая – 26 %. Некоторые различия оказались гораздо существеннее. В 2,7 % случаев разница превысила даже 50 процентных пунктов. Сводная информация несогласованности в ответах представлена на рис. 4.2.

Рис. 4.1. Согласованность оценок в дублирующихся сценариях: сравнение первой и второй оценок вероятностей одного и того же сценария, сделанных одним и тем же экспертом

Какими бы непоследовательными ни выглядели результаты, на самом деле все гораздо хуже, чем кажется. Здесь нужно сравнить эти несогласованности с «предвзятостью» эксперта, то есть насколько сильно различаются ответы экспертов при оценке событий конкретного типа. Вероятности существенно различались в зависимости от типа оцениваемого риска. Например, риску нарушения работоспособности (выхода системы из строя), как правило, присваивали более высокую вероятность, чем риску нарушения целостности, при котором кто-то мог фактически украсть денежные средства с помощью несанкционированных транзакций. Если все ответы эксперта для данного типа риска (например, вероятности крупной утечки данных) колебались между, скажем, 2 и 15 %, то в большинстве случаев исследователи определяли, что разброс его оценок составлял 5 или 10 процентных пунктов.

Рис. 4.2. Сводная информация о распределении несогласованных оценок

Согласованность оценок отчасти показывает, насколько тщательно эксперт изучает каждый сценарий. У некоторых экспертов несогласованность являлась основной причиной большинства предвзятых суждений. Обратите внимание, что если бы несогласованность и предвзятость являлись одним и тем же, то наблюдалась бы ситуация, когда эксперт просто подбирает вероятности случайным образом, независимо от предоставленной информации. В указанных же опросах большинство испытуемых как минимум пытались отвечать с учетом внимательного изучения предоставленной информации. Тем не менее мы видим, что несогласованность оценок являлась причиной по крайней мере в 21 % случаев предвзятости. Это значительный процент суждений эксперта, отражающий исключительно его личную несогласованность оценок.

Следует отметить, что участники обнаружили небольшой процент дубликатов. Некоторые отправляли электронные письма со словами: «Мне кажется, в вашем опросе допущена ошибка. Эти две строки содержат идентичные данные». Но никто не заметил больше двух дублирующихся пар, а большинство людей не нашли и одной. Что еще важнее, обнаружение ряда дубликатов оценщиками могло только уменьшать наблюдаемую несогласованность оценок. Тот факт, что они случайно заметили несколько дубликатов, означает, что их показатель согласованности оценок получился выше, чем в случае, если бы они не нашли дубликаты. Другими словами, несогласованность по крайней мере такова, как показано в результатах исследования, но не ниже.

К счастью, мы также можем показать, что степень несогласованности можно уменьшить, что приведет к повышению точности оценок. Можно статистически сгладить несогласованность оценок экспертов с помощью математических методов, уменьшающих ошибку оценивания у экспертов. Авторам доводилось применять эти методы на практике именно в сфере кибербезопасности (данные о степени несогласованности оценок с рис. 4.1 взяты как раз из таких реальных проектов). Более подробно о них мы расскажем далее.

Компонент сотрудничества

Как мы уже выяснили, существует немало данных о разных аспектах субъективного экспертного суждения, однако также имеются любопытные исследования о том, как объединить суждения разных экспертов. Возможно, наиболее распространенный метод объединения экспертных суждений иногда упоминается в вооруженных силах США под названием BOGSAT. Это акроним, означающий «куча парней сидит кружком и разговаривает». Эксперты собираются вместе и обсуждают, насколько вероятно наступление события или каковы будут последствия, если оно произойдет, пока не достигнут консенсуса (или, по крайней мере, пока не стихнут последние возражения).

Для объединения суждений могут применяться различные математические методы, а также существуют разнообразные способы обеспечения взаимодействия между экспертами. Как и в случае с прочими компонентами, нас интересует, являются ли одни методы измеримо более эффективными, чем другие.

Некоторые исследования, например, показывают, что случайную несогласованность в стабильности оценок отдельных людей можно уменьшить, просто усреднив оценки, данные несколькими людьми²⁸. Вместо того чтобы собраться вместе и попытаться достичь консенсуса в группе, каждый из экспертов проводит оценку самостоятельно, и их оценки усредняют.

Данный подход и лежащие в его основе исследования были описаны в книге Джеймса Шуровьески «Мудрость толпы»²⁹. Шуровьески также изложил несколько других методов сотрудничества, таких как «рынки предсказаний»[6]6
  На рынках предсказаний многие делают ставки на купоны, за которые выплачиваются деньги, если происходит определенное событие. Рыночная цена купона отражает своего рода оценку вероятности того, что событие сбудется, неважно, идет ли речь о том, кто станет следующим президентом США, получит «Оскар» или выиграет чемпионат мира по футболу. Если по купону будет выплачен один доллар в случае наступления события, а его текущая рыночная цена составляет 25 центов, то рынок ведет себя так, будто вероятность события составляет примерно 25 %. Существуют практические ограничения на использование чего-то подобного в кибербезопасности (кто-то может повлиять на рынок, торгуя купонами на события, которые он впоследствии сам же и вызовет). Однако такие рынки демонстрируют, что одни формы сотрудничества бывают эффективнее других.


[Закрыть], демонстрирующих заметно бóльшую эффективность по сравнению с оценками отдельных экспертов. Те же данные, которые позволили компании Hubbard Decision Research измерить стабильность экспертов, позволяют измерить и консенсус. Если бы эксперты проявляли индивидуальную несогласованность, т. е. демонстрировали низкую стабильность, можно было бы ожидать, что разногласия в их оценках будут возникать исключительно из-за случайной индивидуальной несогласованности. Однако фактическое общее количество разногласий между экспертами оказалось больше, чем можно было объяснить одной лишь мерой стабильности. То есть наряду с индивидуальной несогласованностью наблюдались и общие разногласия между экспертами одной организации по поводу важности различных факторов и риска атак в сфере кибербезопасности в целом.

Тем не менее интересно отметить, что эксперты в сфере кибербезопасности в одной организации давали ответы, которые хорошо соотносились с ответами их коллег из другой похожей организации. Один эксперт мог оценить вероятность возникновения события значительно выше, чем его коллеги, но при этом информация, заставлявшая его повышать или понижать вероятность в оценке, оказывала аналогичное воздействие и на других экспертов. То есть они были как минимум более или менее согласны в отношении «направления». Следовательно, разные эксперты вряд ли просто выбирали ответы наугад. В определенной степени они соглашались друг с другом, и, как показали результаты описанного выше исследования, их прогнозы можно сделать более точными, если взять среднюю оценку нескольких экспертов.

Компонент разложения на составляющие

Мы уже выяснили, что эксперты менее эффективны, чем статистические модели, основанные на объективных данных за прошедший период. А что насчет количественных моделей, которые все еще основаны на субъективных оценках? Могут ли эксперты, применяя только имеющиеся знания, строить модели, которые превзошли бы их оценки, сделанные без использования количественных моделей? Результаты исследований показывают, что могут.

С 1970-х по 1990-е годы исследователи, изучавшие теорию принятия решений, Дональд Дж. Мак-Грегор и Дж. Скотт Армстронг, как по отдельности, так и совместно проводили эксперименты, чтобы выяснить, насколько можно повысить эффективность оценки с помощью разложения на составляющие³⁰. Они задействовали сотни испытуемых в различных экспериментах с целью определить, насколько сложно оценить такие вещи, как окружность монеты или количество мужских брюк, производимое в США за год. Одних испытуемых просили напрямую оценить эти величины, а второй группе нужно было оценить разложенные на составляющие переменные, которые затем использовались для оценки исходного количества. Например, отвечая на вопрос о брюках, вторая группа оценила бы численность мужчин в США, количество брюк, покупаемых одним мужчиной в год, процент брюк, произведенных за границей, и т. д. Затем результаты первой группы (оценку, произведенную без разложения) сравнили с результатами второй группы.

Армстронг и Мак-Грегор выяснили, что разложение не помогало, если в оценках первой группы и так было относительно мало ошибок, например при оценке окружности американской 50-центовой монеты в миллиметрах. Однако если первая группа допускала много ошибок, а так происходило в случае с оценкой количества мужских брюк, произведенных в США, или общим количеством автомобильных аварий в год, тогда разложение на составляющие оказывалось значительно полезнее. Было установлено, что с самыми неопределенными переменными простое разложение на составляющие – ни в одном случае число переменных при разложении не превышало пяти – сокращало количество ошибок в 10 или даже 100 раз. Представьте, если бы эти решения принимались в реальных условиях с высоким уровнем неопределенности. Безусловно, разложение на составляющие стоит потраченного на него времени.

Выполнение вычислений в явном виде, даже если в качестве исходных данных используются субъективные оценки, устраняет источник ошибок. Чтобы оценить финансовые потери в результате атаки типа «отказ в обслуживании» на конкретную систему, можно оценить продолжительность атаки, количество пострадавших людей и затраты на единицу времени для каждого пострадавшего. Однако, получив эти значения, нужно не просто оценить их произведение, а вычислить его. Поскольку, как уже говорилось, при таких подсчетах люди склонны совершать несколько ошибок, связанных с интуицией, то будет лучше проводить расчеты не в уме. Для многих исследователей это было очевидно, как писал Мил в одной из своих работ:

Безусловно, ни для кого не секрет, что человеческий мозг плохо умеет взвешивать и вычислять. Делая покупки в супермаркете, вы не оцениваете взглядом кучу покупок и не говорите продавцу: «Похоже, здесь где-то на 17 долларов, как думаете?» Продавец считает их стоимость³¹.

Но не все разложения на составляющие одинаково информативны. Можно чересчур увлечься раскладыванием проблемы на элементы³². Разложение на составляющие производится потому, что в одних вещах мы более уверены, чем в других, но можем вычислить вторые на основе первых. Если же переменные, на которые раскладывается задача, не являются более определенными, то можно не добиться успеха. На самом деле неудачное разложение способно ухудшить ситуацию. В главе 6 мы более подробно обсудим так называемое неинформативное разложение.

Даже если предположить, что разложение на составляющие оказывается вам полезно, существует несколько стратегий его выполнения, и мы не будем придерживаться какой-то определенной точки зрения относительно степени их информативности. Разные организации могут предпочитать разные методы разложения, поскольку информация, которой они располагают, также различна. Но, как станет ясно из главы 6, существуют жесткие математические правила относительно того, действительно ли разложение на составляющие уменьшает неопределенность. Следует применять эти правила наряду с эмпирически измеренной эффективностью для определения наилучшего метода разложения на составляющие для конкретной организации.