Текст книги "Полный бред! Скептицизм в мире больших данных"

ЗЛОВРЕДНЫЕ ПРОЦЕНТЫ

Двенадцатая глава книги Карла Сагана 1996 года «Мир, полный демонов»[60]60
  Саган К. Мир, полный демонов. Наука – как свеча во тьме. М.: Альпина нон-фикшн, 2019. Прим. ред.


[Закрыть] называется «Тонкое искусство снимать лапшу с ушей». В ней автор разносит мир рекламы, атакующий нас ошеломительными, но бессмысленными фактами и цифрами. Саган подчеркивает ту же проблему, которой мы касаемся в этой главе: числа легко сбивают людей с толку, и рекламодатели многие десятилетия пользуются этим, чтобы убеждать. «От вас не ждут вопросов, – пишет Саган. – Не думайте. Покупайте».

Саган фокусируется на тактиках маркетинга, которые используются при продаже лекарств. Эта проблема лишь усугубилась с тех пор, как Саган написал свое эссе. В 1997 году в Соединенных Штатах разрешили рекламировать рецептурные препараты. Но не будем касаться этой сложной и тревожной темы, а рассмотрим вместо нее забавный и в целом безобидный пример.

Приехав в Вашингтон однажды поздно вечером, Карл захотел выпить что-нибудь перед сном. Он взял пакетик растворимого горячего какао в холле отеля. «На 99,9 % без кофеина» – обещала упаковка. Поскольку Карл и так страдал от смены часовых поясов, напиток на 99,9 % без кофеина показался ему заманчивой альтернативой чашке кофе. Но остановимся и подумаем. Пусть даже в чашке какао полно воды, кофеин – это очень сильное вещество. Правда ли, что напиток, в 99,9 % которого не содержится кофеин, – это именно то, что вы реально хотите выпить прямо перед сном?

Давайте разберемся. Сколько кофеина в чашке кофе? Согласно данным Научного центра защиты общественных интересов, в 20 унциях кофе из Starbucks – 415 миллиграммов кофеина. Получается около 21 мг на унцию. Жидкая унция воды весит около 28 граммов. Итак, в заварном кофе Starbucks содержится около 0,075 % кофеина. Иными словами, крепкий кофе не содержит кофеина на те же 99,9 %![61]61
  Пусть у нас и нет точных данных для этого бренда какао, в большинстве сортов обычно содержится около 20 миллиграммов кофеина на чашку в 8 унций, то есть около 0,01 % кофеина по весу. Таким образом, изначально мы решили, что число 99,9 % касалось порошка, а не готового напитка. Но сайт Nestlé уточняет, что речь идет о готовом напитке, а не о порошке: «Какао с насыщенным вкусом шоколада содержит всего 20 калорий на один пакетик, из которого получается 8 унций напитка, на 99,9 % без кофеина». Нам также следует быть осторожными и не забывать о различиях между жидкими унциями, то есть мерой объема, и унцией как мерой веса. При комнатной температуре на уровне моря жидкая унция воды весит примерно 1,04 унции. Но нам нравится горячий кофе, а когда вода достигает точки кипения, ее вес приближается к 1 унции на жидкую унцию. Прим. авт.


[Закрыть]

Итак, хотя в заявлении о 99,9 % нет никакой неточности или вреда, но и смысла в нем тоже нет. То же самое можно написать почти на любом обычном кофе. Компания Nestlé дала нам прекрасный пример того, как что-то одновременно может быть правдой и своего рода чушью. Это чушь, потому что информация не позволяет нам сделать осмысленное сравнение, в отличие, например, от надписи «всего 1 % кофеина в сравнении со стандартной чашкой кофе».

Печально известный заголовок Breitbart сходным образом лишил читателей возможности провести осмысленное сопоставление. В этом впечатляющем образце нагнетания паники сообщалось, что 2139 потенциальных бенефициаров законопроекта DREAM[62]62
  DREAM Act (The Development, Relief and Education for Alien Minors Act) – законопроект, согласно которому дети нелегальных мигрантов, получившие высшее образование или отслужившие в армии США, могут получить вид на жительство в США. Законопроект был впервые предложен в 2001 году, но до сих пор не принят. Прим. науч. ред.


[Закрыть] – взрослые, нелегально прибывшие в США в детском возрасте – были осуждены или обвинены в преступлениях, совершенных против американцев[63]63
  Обратите внимание, что 2139 – это на самом деле число людей, получивших статус DACA, которые утратили его на момент публикации статьи в результате совершения правонарушений или преступлений, ареста и подозрения в связях с организованной преступностью. Прим. авт.


[Закрыть]. Число кажется значительным, пугающим. Но, конечно, закон DREAM относился к большому числу людей: статус DACA[64]64
  DACA (Deferred Action for Childhood Arrivals, Отложенные меры в отношении детей иммигрантов) – федеральная программа, по которой дети иммигрантов получают двухлетнее разрешение на работу в США и защиту от депортации (с возможностью продления). Программа создана в 2012 году Бараком Обамой, приостановлена Дональдом Трампом, а Джо Байден планирует ее восстановить. Людей со статусом DACA из-за законопроекта DREAM Act также называют «мечтателями». Прим. науч. ред.


[Закрыть] одновременно имели около 700 тысяч человек и еще около 800 тысяч получили его в какой-то момент до отмены программы. Это означает, что только 0,3 % получателей статуса DACA – то есть менее 1 из 300 – обвинялись в преступлениях против американцев. Уже лучше, но как это число соотносится с аналогичными показателями, касающимися граждан Америки? Если 0,75 % американцев сидят за решеткой, получается, что граждане США в два раза чаще оказываются заключенными или обвиненными в совершении преступления, чем лица, имеющие статус DACA. Около 8,6 % американских граждан были обвинены в преступлении в какой-то момент свой жизни, так что обладатели DACA также выглядят неплохо.

Конечно, люди с DACA моложе и в целом могли просто не успеть совершить преступление до получения статуса[65]65
  Чтобы получить право на статус DACA, важно не иметь судимости или трех и более административных правонарушений. Прим. авт.


[Закрыть], потому что у них было на это меньше времени, чем у среднего американца. Но оказывается, что 30 % граждан США за какие-нибудь правонарушения (не считая дорожно-транспортных) арестовывались уже к 23 годам. Даже если мы предположим, что числа Breitbart корректны, издание представило их без необходимой информации, которая нужна читателю, чтобы поместить их в контекст.

Таким образом, демонстрируя исходные числа, можно заставить сравнительно небольшое количество выглядеть большим. Мы помещаем число в контекст с помощью выражения его в процентах. Конечно, проценты являются ценным инструментом сравнения. Но существуют различные способы затруднять необходимые сравнения и в процентах. Например, проценты могут заставить крупные показатели выглядеть менее значительными.

В своем блоге вице-президент по поиску Google признал, что его компания сталкивается с проблемами фейковых новостей, дезинформации и другого неуместного контента:

«Наши алгоритмы помогают выявлять надежные источники среди сотен миллиардов страниц в нашем поисковом индексе. Однако стало очевидным, что небольшая часть запросов в нашем повседневном трафике (около 0,25 %) выдает непристойные или откровенно вводящие в заблуждение результаты, а это не то, что нужно людям».

Тут можно отметить две вещи. В первую очередь нам демонстрируют огромное, но практически не имеющее к нам отношения число как бы в роли контекста. «Сотни миллиардов страниц в нашем поисковом индексе». Этому огромному числу противопоставлено крошечное 0,25 %. Но сотни миллиардов не имеют к этому особого отношения: это количество проиндексированных страниц, а не число поисковых запросов. Неважно, проиндексированы десять тысяч или сотни миллиардов страниц. Если 0,25 % запросов в Google ведут не туда, у вас один на четыре сотни шанс получить чушь в результате поиска[66]66
  0,25 % – это, скорее всего, преуменьшение, если говорить о дезинформации и недостоверной информации в новостях. Мы не боимся столкнуться с валом дезинформации в ответ на запросы типа «атомная масса натрия» или «круглосуточная доставка пиццы в моем районе». Поэтому недостоверная информация в сфере медицины и политики должна появляться чаще, чем в 0,25 % случаев, чтобы в сумме получилось 0,25 %. Прим. авт.


[Закрыть].

Нам не сказали, сколько поисковых запросов обрабатывает Google в день, но считается, что в среднем около 5,5 миллиарда. Так что пусть 0,25 % выглядит небольшим числом, но на самом деле оно означает больше 13 миллионов запросов в день. Вот два способа рассказать об одном и том же с очень разными оттенками смысла. Если мы скажем, что Google выдает неприемлемые результаты лишь один раз из четырех сотен, система будет выглядеть довольно надежной. Но если мы скажем, что каждый день более 13 миллионов запросов приносят пользователям неточную и неуместную информацию, это прозвучит так, словно мы имеем дело с серьезным кризисом в поиске информации.

Проценты бывают особенно зыбкими, когда мы сравниваем с их помощью два значения. Обычно мы говорим о разнице в процентах: «повышение на 40 %», «на 22 % меньше жира». Но процент от чего? Меньшего значения? Большего? Разница важна. Например, 17 декабря 2017 года цена биткоина поднялась до 19 211 долларов за единицу, а затем, 13 дней спустя, снизилась до 12 609 долларов. Это падение на 6602 доллара за единицу. Но каким было изменение в процентах? Что правильнее: 34 % (потому что 6602 доллара – это 34,3 % от 19 211 долларов) или 52 % (потому что 6602 доллара – это 52,4 % от 12 609 долларов)?

Можно найти убедительное обоснование для любого варианта. В целом мы считаем, что следует говорить об изменении доли относительно изначальной цены. В данном случае речь шла о 19 211 долларах, так что мы скажем, что за 13 дней биткоин потерял в цене 34 %. Однако тут есть тонкий момент. Пожалуй, можно сказать, что биткоин упал в цене на 34 %, потому что, когда мы говорим о снижении цены, изначальная цена позволяет нам сделать уместное сравнение. Но мы можем также сказать, что биткоин был, очевидно, переоценен на 52 % в начале декабря 2017 года, потому что, когда мы говорим о чем-то переоцененном, подходящей точкой сравнения является наивысшая сегодняшняя цена. Разные способы передачи информации оставляют разное впечатление.

В области медицины зачастую говорят не об изменениях в процентах, а об относительном риске для здоровья. Среди начинающих водителей 16–17 лет уровень аварий особенно высок. Но этот уровень зависит от того, везут ли они пассажиров и кто эти пассажиры. По сравнению с водителями-подростками без пассажиров относительный риск погибнуть у водителя-подростка, везущего одного пассажира младше 21 года, составляет 1,44 на пройденную милю. Относительный риск показывает нам, насколько вероятно какое-то событие по сравнению с его альтернативой. В данном случае мы видим, что водители-подростки, которые везут молодых пассажиров, в 1,44 раза больше рискуют погибнуть, чем водители-подростки без пассажиров. Это легко пересчитать в проценты. Риск гибели водителя-подростка с пассажиром на 44 % больше, чем риск подростка-водителя без пассажира. Перевозка старших пассажиров оказывает противоположное влияние на степень риска смертельной аварии. В сопоставлении с подростками-водителями без пассажиров относительный риск подростка-водителя умереть в аварии с пассажиром старше 35 лет составляет 0,36. Это означает, что риск смертельной аварии равен лишь 36 % от риска при вождении в одиночку.

С помощью концепции относительного риска удобно объяснять влияние разных условий, поведения или лечения. Но иногда нам не хватает необходимого контекста. Международное исследование заболеваний попало в новости под суровыми заголовками типа «Важное новое исследование показало, что “безопасной дозы алкоголя” не существует». Как выяснилось, даже очень умеренное употребление алкоголя – одна стандартная единица алкоголя[67]67
  Стандартная единица алкоголя (standard drink) – количество чистого спирта (100 % этанола) в миллилитрах или граммах, которое в среднем перерабатывает организм взрослого здорового человека за 60 минут. Единой величины «стандартного дринка» не существует. В большинстве стран за одну алкогольную единицу принимают 10 мл (8 грамм) 100 % этилового спирта. В США за единицу алкоголя берут 17,7 мл этилового спирта. Прим. ред.


[Закрыть] в день – имеет негативные последствия для здоровья. Плохие новости для тех из нас, кто любит выпить за ужином бокал пива или вина. Но давайте присмотримся внимательнее.

Пресс-релиз журнала The Lancet, в котором опубликовали исследование, сообщает:

«Установлено, что в течение одного года для людей в возрасте от 15 до 95 лет употребление одной стандартной единицы алкоголя в день повышает риск возникновения одной из двадцати трех проблем со здоровьем, связанных с алкоголем, на 0,5 % по сравнению с полным отказом от алкоголя».

Вам страшно? Чтобы оценить, насколько серьезно возрастает риск, нам нужно узнать, насколько распространены среди непьющих «проблемы со здоровьем, связанные с алкоголем»: цирроз печени, различные онкологические заболевания, некоторые сердечные заболевания, склонность к самоповреждению, попадание в автомобильные аварии и так далее. Выясняется, что эти проблемы случаются менее чем у 1 % непьющего населения в год. Таким образом, хотя одна порция алкоголя в день повышает этот риск на 0,5 %, это 0,5 % от очень малого исходного уровня. Иными словами, относительный риск употребления одной порции в день – 1,005. Люди, которые выпивают одну порцию спиртного в день, по сравнению с непьющими в 1,005 раза больше рискуют столкнуться с «проблемой со здоровьем, связанной с алкоголем».

Авторы исследования подсчитали, что люди, употребляющие одну порцию в день, дают прибавку в четыре дополнительных случая на 100 тысяч человек. Иными словами, для одного дополнительного случая возникновения проблемы со здоровьем, связанной с алкоголем, 25 тысяч человек должны выпивать по одной порции каждый день в течение года. Теперь риск умеренного употребления алкоголя выглядит не так ужасно. Чтобы добавить красок в эту картину, Дэвид Шпигельхалтер высчитал объем джина, который должны выпить эти 25 тысяч человек в течение года, – 400 тысяч бутылок. Опираясь на эти числа, он язвительно заметил, что потребуется разделить 400 тысяч бутылок джина между 25 тысячами людей, чтобы вызвать один дополнительный случай какой-либо проблемы со здоровьем.

На самом деле пить алкоголь каждый день – рискованно. И с количеством спиртного опасность возрастает. Для людей, которые употребляют две порции в день, относительный риск уже составляет 1,07 (на 7 % выше, чем у непьющих). А у тех, кто выпивает пять порций в день, относительный риск равен 1,37. Суть в том, что для оценки угрозы недостаточно просто сообщить об относительном риске, если мы не знаем об исходной частоте заболевания.

Проценты становятся еще более скользкими, если мы сравниваем две процентные величины. Мы можем просто вычесть одну величину из другой, но также можем вычислить разницу в процентах между ними. Даже профессионалы порой путаются в этой сфере – разнице между процентами и процентными пунктами. Проще всего проиллюстрировать это различие следующим примером. Предположим, 1 января налог с продаж повысится с 4 до 6 % от стоимости покупки. Это повышение на два процентных пункта: 6–4 = 2 %. Но это также повышение на 50 %: 6 центов от доллара, которые я плачу теперь, на 50 % больше, чем 4 цента, которые с меня удерживали до этого.

Одно и то же изменение можно выражать самыми разными способами, которые будут производить очень разное впечатление. Если я захочу показать, что налог повысился совсем немного, я могу сказать, что произошел подъем всего на два процентных пункта. Если я хочу сказать, что он вырос серьезно, я могу сказать, что налоги выросли на 50 %. Неважно, случайно или умышленно это делается, мы должны обращать внимание на это различие.

Другой пример. На своем сайте некая специалистка в области медицины задается вопросом о пользе вакцины от гриппа. Цитируя аннотацию к обзорной медицинской статье[68]68
  Даже если не брать другие аргументы в пользу вакцины от гриппа, приведенные 2 % заболевших – удивительно низкий показатель. По данным Центров по контролю и профилактике заболеваний США, с 2010 года частота поражения гриппом в стране варьировалась от 3 до 11 %. Отчасти это расхождение объясняется тем фактом, что статья рассматривала только исследования взрослых в возрасте от 18 до 64 лет, в то время как частота гриппа куда выше среди детей. Также дело может быть и в том, что рассматривались исследования из разных стран. Частота заражения гриппом в США, как правило, оценивается в несколько раз выше, чем 2 %, даже среди взрослых. Прим. авт.


[Закрыть], она пишет:

«В “сравнительно редких” случаях, когда вакцина совпадает со штаммом вируса этого года, доля зараженных гриппом составляла 4 % непривитых и 1 % привитых, таким образом, заражается на три человека меньше из каждых ста. В более распространенной ситуации, когда вакцина и штамм гриппа не совпадают, доля составляла 2 % больных среди непривитых [и] 1 % среди вакцинированных, то есть на одного человека из ста меньше».

Она пытается сказать, что, когда нет совпадения, вакцина от гриппа практически бесполезна, потому что она сокращает число больных всего лишь на одного человека из ста за год. Вот что автор думает по поводу вакцинации: «У меня в этом году есть очередной “целебный эликсир”; если почувствую, что заболеваю, опробую его и скажу вам, помог ли он».

Насколько убедительно это звучит? Да, если представить, что вакцина от гриппа помогает только одному человеку из ста, то кажется, что какой-то неизвестный «целебный эликсир» может справиться не хуже. Но это утверждение вводит нас в заблуждение. Во-первых, обратите внимание: даже в те годы, когда вакцина от гриппа была неэффективна, благодаря ей количество случаев заболевания среди привитых людей сокращалось в два раза. Поскольку грипп относительно редок, сокращение на один процентный пункт означает сокращение на пятьдесят процентов.

Во-вторых, мы можем поместить эти числа в контекст, подобрав качественное сравнение. Как и вакцина от гриппа в неэффективный год, использование ремней безопасности сокращает ежегодный риск травм «всего лишь» примерно с 2 до 1 %[69]69
  Национальный совет по технике безопасности определяет, что в 2016 году результатом автомобильных аварий стали примерно 4,6 миллиона травм, потребовавших медицинских консультаций или лечения, что соответствует 1,4 % населения США. Государственная администрация контроля безопасности на дорогах установила, что использование ремней безопасности сокращает риск травм от умеренных до серьезных на 50 % для пассажиров на переднем сиденье легкового автомобиля и еще больше – для пассажиров в легких грузовых автомобилях. Прим. авт.


[Закрыть]. Доверили бы вы свое здоровье доктору, который предлагает заменить ремни безопасности каким-то непонятным эликсиром?

Использование процентов может скрывать некоторые важные изменения в абсолютных значениях. Например, в США афроамериканцы крайне часто оказываются в местах лишения свободы по сравнению с другими группами населения, например в пять раз чаще, чем белые. В 2000 году афроамериканцы составляли всего лишь 12,9 % населения США, но зашкаливающие 41,3 % заключенных в тюрьмах США. Получается вроде бы неплохо, что между 2000 и 2005 годами доля заключенных афроамериканцев упала с 41,3 до 38,9 %.

Однако действительность совсем не так радужна, как можно судить по процентным показателям. За это время число афроамериканцев в тюрьмах США на самом деле выросло более чем на 13 %. Но этот рост скрыт за тем фактом, что в то же время число белых, заключенных в тюрьмах США, выросло еще сильнее – на 27 %.

Это пример более общей проблемы со сравнениями, которые включают доли или проценты. Изменение знаменателя скрывает изменения в числителе. Числитель – верхняя часть дроби, а в данном случае это число заключенных афроамериканцев – существенно вырос с 2000 по 2005 год. Но знаменатель – нижняя часть дроби, то есть общее число заключенных американцев – вырос в тот же период еще сильнее. В итоге афроамериканцы составили меньшую долю заключенных в 2005 году по сравнению с 2000 годом. Тот факт, что в 2005 году больше афроамериканцев оказались в тюрьме, скрыт за изменением знаменателя.

Изменение знаменателя вносит хаос в проценты. Представьте себе следующее. Если промышленный индекс Доу – Джонса сегодня вырастет на 10 %, а завтра упадет на 10 %, вы подумаете, что всё придет к тому, с чего и началось, но это не так. Предположим, индекс Доу – Джонса составлял 20 000. Увеличение на 10 % поднимет его с 20 000 пунктов до 22 000. Последующее уменьшение на 10 % относительно новой величины в 22 000 снизит его на 2200, и теперь индекс составит 19 800. Неважно, растет он или повышается, вы проиграете в любом случае. Если бы индекс Доу – Джонса составлял 20 000 и упал на 10 %, он бы опустился до 18 000. Рост на 10 % в таком случае повысил бы его до 19 800 – точно так же, как если бы он сначала вырос, а потом упал. Внимательно присматривайтесь к таким коварным способам предоставления данных в формате изменения в процентах.

Давайте понаблюдаем за более странным поведением процентов. В конце апреля 2016 года машины компании Uber совершали примерно 161 тысячу поездок в Нью-Йорке в день, а Lyft – только 29 тысяч поездок в день. Год спустя водители Uber совершали 291 тысячу поездок в день, а Lyft – около 60 тысяч в день. Суммарно мы видим рост на 161 тысячу поездок в день, со 190 тысяч до 351 тысячи в день. Из этих дополнительных 161 тысячи поездок около 31 тысячи принадлежит компании Lyft. Таким образом, Lyft отвечает за 19 % роста, а Uber за все остальные. Пока что всё в порядке.

В тот же период число поездок на традиционных желтых такси упало с 398 тысяч в день до 355 тысяч. Если мы взглянем на общее число поездок на желтых такси, Uber и Lyft, мы увидим общий прирост – с 588 тысяч до 706 тысяч. Это чистый прирост на 118 тысяч поездок в день. Мы уже знаем, что число поездок на Lyft увеличилось на 31 тысячу в день за этот период. Так что, похоже, Lyft отвечает за 31 000 / 118 000 × 100 = 26 % увеличения числа поездок в целом.

Однако это как-то странно. Мы сказали, что Lyft отвечает примерно за 19 % роста числа поездок, которые предлагают приложения вызова такси, но теперь мы говорим, что он отвечает за 26 % роста поездок как на городском такси, так и на машинах приложений Uber и Lyft. Как может быть верно и то и другое? Все становится еще более странно, если мы оценим вклад Uber в этот рост. Uber в ответе за дополнительные 130 тысяч поездок в день на окончание этого периода. Мы можем сказать, что рост числа поездок на Uber составляет 130 000 / 118 000 × 100 = 110 % роста числа поездок в целом. Что это вообще значит? Как рост числа поездок Uber смог привести к повышению доли более чем на 100 %?

Вычисление процентов может приводить к странным результатам, если среди изменений есть и положительные, и отрицательные. Если мы можем разбить изменение в целом на разные категории и значения в одних категориях будут уменьшаться, а в других – увеличиваться, то не следует говорить о вкладе в процентах в общее изменение. Именно поэтому губернатор Скотт Уокер умудрился заявить в июне 2011 года, что 50 % роста занятости в стране произошло в его родном штате Висконсин. На самом деле в некоторых штатах США занятость падала, а в некоторых возрастала. Эти изменения практически уравняли друг друга, приведя к общему росту примерно в 18 000 рабочих мест. Увеличение числа рабочих мест в Висконсине на 9500 единиц составило более половины общего роста по всей стране, хотя лишь незначительная доля всех появившихся рабочих мест в стране была создана в Висконсине.

ЗАКОН ГУДХАРТА

Когда ученые измеряют атомную массу химических элементов, те не сговариваются притвориться потяжелее и опуститься пониже в периодической таблице. Но руководителям, оценивающим эффективность подчиненных, не стоит надеяться, что люди будут сидеть сложа руки. Сотрудники хотят выглядеть лучше. В итоге каждый раз, вычисляя производительность или составляя рейтинг персонала, работодатель рискует повлиять на поведение, которое пытается оценить.

На излете ХIХ века Вьетнам был частью французских колоний, известных под общим названием Французский Индокитай. Ханой превращался в преуспевающий современный город, и его канализационная система позволила добиться европейского уровня гигиены, – правда, в основном в богатых белых районах. К сожалению, канализация также стала идеальным местом для размножения крыс, которые не только терроризировали население, вылезая из сточных труб, но и распространяли заболевания, в том числе бубонную чуму. Пытаясь избавить город от вредителей, руководство колонии наняло крысоловов, спускавшихся в канализацию, и предложило награду за животных: за каждый крысиный хвост, принесенный чиновникам, выплачивали небольшую сумму. Многие жители Ханоя были рады подзаработать, и торговля крысиными хвостами закипела.

Вскоре горожане стали замечать, что по канализации шастают бесхвостые крысы. Очевидно, крысоловы предпочитали не убивать свою добычу. Лучше отрезать хвост для награды и оставить животных размножаться: тогда и в будущем доход обеспечен. Кроме того, предприимчивые крысоловы завозили грызунов из других городов и даже начали разводить их в клетках. Программа стимулирования провалилась, потому что люди сделали то, что всегда предпринимают в надежде на награду: они начали играть против системы.

То же самое происходит, если не предлагать вознаграждение напрямую. Возьмите рейтинги университетов, например U.S. News & World Report, который учитывает множество характеристик учебных заведений, включая конкурс на одно место и средний результат стандартного теста SAT для абитуриентов. Когда этот рейтинг начал влиять на число поступающих, в приемных комиссиях пошли на хитрость. Чтобы увеличить конкурс на одно место и таким образом показаться более разборчивыми, некоторые университеты агрессивно привлекали соискателей среди школьников, которые вряд ли смогли бы поступить. Многие вузы перешли к простой форме подачи заявки на конкурс, чтобы старшеклассники могли оставить заявление, просто поставив галочку. Чтобы вуз мог повысить свое место в рейтинге, получив дополнительные баллы за преподавание в маленьких группах (до 20 человек), в некоторых университетах устанавливался лимит в 18–19 человек на группу. Чтобы повысить общий уровень SAT, также использовался ряд стратегий: не требовать сдачи SAT от иностранных абитуриентов, которые, как правило, получают более низкие оценки; принимать школьников с низкими баллами в весенний семестр, когда их оценки не учитываются; или даже платить зачисленным студентам за пересдачу SAT с бонусами за существенное повышение балла. Эти попытки обыграть систему подорвали ценность рейтинга. В итоге желание приемных комиссий добиться места в рейтинге влияло на него не менее, чем уровень знаний абитуриентов.

Эта проблема сводится к принципу, известному как закон Гудхарта[70]70
  Чарльз Гудхарт (р. 1936) – английский экономист. В течение семнадцати лет был советником председателя Банка Англии по вопросам монетарной политики и финансовой стабильности. Прим. ред.


[Закрыть]. Оригинальная формулировка Гудхарта несколько туманна[71]71
  Гудхарт изначально выразил свой принцип так: «Любая наблюдаемая статистическая закономерность склонна к разрушению, как только на нее оказывается давление с целью управления [экономикой]». Прим. авт.


[Закрыть], но антрополог Мэрилин Стратерн перефразировала ее четко и ясно:

«Когда средство становится целью, оно теряет свою ценность как инструмент».

Иными словами, если некий показатель заслуживает определенной награды, то люди найдут способ так или иначе набрать дополнительные очки и таким образом подорвут значимость этого показателя для измерения того, для чего он изначально должен был применяться.

Мы наблюдаем это явление во множестве областей. В науке использование индекса цитирования для оценки качества журналов привело к тому, что против системы играют редакторы. Некоторые давят на авторов, чтобы те включали в статьи ссылки на тот же журнал. Другие публикуют множество статей в январе, чтобы их максимально часто цитировали в течение года. Третьи печатают ежегодные итоговые статьи, в которых цитируют множество материалов прошедшего года, а некоторые меняют тематику журнала, выбирая дисциплины или типы статей, которые будут процитированы с большей вероятностью. Эта бурная извращенная деятельность подрывает как суть работы самих журналов, так и эффективность индекса цитирования как показателя качества.

Когда руководство автосалона обещает менеджерам бонусы за достижение определенных объемов продаж, сотрудники получают стимул предлагать клиентам большие скидки, чтобы быстрее оформить сделку. Если бы менеджеры пытались повысить доходность сделок, то можно было бы использовать число проданных машин, чтобы определить, сколько денег приносит каждый продавец. Но когда целью становится само количество проданных машин, а не выгодность каждой сделки, сотрудники меняют стратегию. Да, продается больше машин, однако большее число покупок не обязательно означает выгоду, ведь менеджеры оперируют крупными скидками, чтобы заключать сделки и быстро их оформлять.

Примерно в то же время, когда Гудхарт сформулировал свой закон, психолог Дональд Кэмпбелл[72]72
  Дональд Кэмпбелл (1916–1996) – американский психолог, специалист в области психологии личности, социальной психологии, философской и теоретической психологии. Прим. ред.


[Закрыть] предложил аналогичный принцип:

«Чем чаще какой-либо количественный показатель используется для принятия социальных решений, тем больше он оказывается подвержен коррупции и тем скорее будет разрушать и подрывать тот социальный процесс, который он должен был контролировать».

Пример, которым Кэмпбелл иллюстрирует свою идею, – использование стандартизированных тестов в образовании:

«Проверка усвоения знания могла бы стать ценным показателем общих достижений школы при условии нормального обучения, направленного на развитие общей компетенции. Но когда оценки в тестах становятся целью процесса обучения, они теряют свою значимость как показатели качества обучения и нежелательным образом влияют на образовательный процесс».

Если бы никто не знал, что школы оцениваются по результатам тестов, полученные за них баллы могли бы стать замечательным способом измерить эффективность образовательных учреждений. Но когда учителя и администрация узнают, что по итогам тестов будет измеряться их продуктивность, им приходится искать способы повысить оценки учеников – даже в ущерб знаниям. Например, школьников учат «проходить тесты», вместо того чтобы развивать у них критическое мышление. Последствия двояки. Тесты теряют свою значимость как способ оценки эффективности работы школы. Процесс измерения может даже заметно подрывать качество образования, так как, вместо того чтобы тратить время и силы на полезные занятия, дети занимаются зубрежкой, которая улучшает показатели тестов, но практически бесполезна с педагогической точки зрения.

Та же проблема и в науке. Несколько лет назад Джевин написал заметку о ненадежности количественных показателей в оценке научного исследования. Неверные выводы – не самое худшее, к чему это может привести. Куда хуже подтолкнуть людей к тому, чтобы заниматься плохой наукой.

Кэмпбелл подчеркивает социальный элемент проблемы. Как мы упоминали в начале раздела, нам не приходится волноваться о том, что законы физики или химии вступят в сговор. Водороду неважно, что вы думаете о его спектре испускания, как и то, что максимальная длина его волны меньше, чем у гелия. Но людям важно, как их оценивают. Что с этим поделать? Если вы можете что-то измерить, подумайте, изменит ли ваша оценка поведение людей таким образом, чтобы отрицательно повлиять на ценность ваших результатов. Если вы изучаете количественные характеристики, полученные другими, задайтесь вопросом: измеряют ли эти числа именно то, что они должны? А что, если люди играют против системы и сводят ценность этого показателя к нулю?

МАТЕМАТИЧНОСТЬ

В онлайн-голосовании 2006 года, устроенном издателем словаря Merriam-Webster, участники выбрали словом года truthiness («правдичность»). Это понятие, предложенное в 2005 году комиком Стивеном Колбертом, определяется как «способность казаться правдивым с точки зрения интуиции, взглядов или восприятия вопреки логике, фактическим доказательствам и тому подобному». В плане отрицания логики и фактов это явление очень близко к нашему определению чуши.

Мы предлагаем аналогичное выражение – математичность. Оно описывает формулы и выражения, которые могут выглядеть и ощущаться как математика, хотя и отрицают ее логическую последовательность и жесткие формальные правила.

Начнем с примера. Следующая формула, известная как «уравнение качества VMMC[73]73
  Медицинский центр Вирджинии Мейсон (англ. Virginia Mason Medical Center, VMMC) – частная некоммерческая организация, расположенная в Сиэтле, основанная в 1920 году. В 2002 году центр стал первым медицинским учреждением, внедрившим производственную систему Toyota (TPS) в сфере здравоохранения для улучшения качества медицинской помощи и повышения безопасности пациентов. Прим. ред.


[Закрыть]», часто обсуждается в области управления качеством здравоохранения.

где Q – качество;

A – целесообразность;

O – результаты;

S – обслуживание;

W – расходы.

Выглядит как строгий математический способ описать эффективность ухода за пациентом. Но что всё это означает на самом деле? Как измеряются показатели и в каких единицах? Почему качество высчитывается именно так? Неясно, есть ли удовлетворительный ответ на любой из этих вопросов.

Мы рассматриваем математичность как классическую чушь в рамках нашего оригинального определения. Подобные уравнения имитируют математический подход, который невозможно подкрепить установлением формальных отношений – например, умножением или сложением переменных – между неточно определенными или вообще не поддающимися определению параметрами. Иными словами, математичность, как и правдичность с чушью, – это неуважение к логике или достоверности. Так же как и в нашем определении чуши, математичность часто используется, чтобы произвести впечатление или убедить, создав иллюзию точности с помощью математического выражения и внушив аудитории изрядный ужас перед алгеброй и почтение к ней. (Мы не хотим никого обвинять: некоторые торговцы шарлатанскими снадобьями верят в чудодейственную силу своих товаров, а адепты математичности порой думают, что выдают глубокие идеи.)

Большинство примеров математичности возникают неслучайно. На самом деле их придумывают, чтобы проиллюстрировать какую-то простую мысль о некой системе. Например, «уравнение качества VMМC» объясняет, что повышение показателей целесообразности, результатов и обслуживания приводит к более высокому качеству, в то время как более высокие расходы снижают качество[74]74
  Говоря более научным языком, мы подозреваем, что уравнения математичности, как правило, пытаются выразить что-то, определяемое через частные производные, для аудитории, которая, скорее всего, не привыкла размышлять в таких терминах. Например, основную идею уравнения VMMC можно выразить, представив качество в виде функции Q = f(A,O,S,W) с df/dA > 0, df/dO > 0, df/dS > 0 и df/dW < 0. В остальном форма функции может быть в целом произвольной. Прим. авт.


[Закрыть]. Эту информацию можно было бы свести в простую таблицу.

Всё это подразумевается уравнением качества, но можно составить и множество других уравнений, которые будут описывать то же самое. Формула отражает качественные отношения, показанные в таблице, так же, как и На самом деле так же обстоит дело и с Если кто-то не может объяснить, почему формулу качества записали именно так, то эта идея не заслуживает выражения в виде уравнения изначально.

Так называемое «уравнение доверия», приведенное в книге 2005 года с одноименным названием[75]75
  Drozdeck S., Fisher L. The Trust Equation. Financial Forum Publishing, 2005. Прим. ред.


[Закрыть], демонстрирует еще один пример математичности. Согласно ему,

Как и в случае с уравнением VMMC, в целом направление отношений выглядит верным. Доверие тем выше, чем лучше репутация, выше надежность и достоверность, и доверие падает, если имеется корыстный личный интерес. Пока что всё хорошо. Но опять-таки существует множество других уравнений, которые срабатывают точно так же. К тому же представленное выше уравнение предлагает очень специфические выводы о том, как действует доверие. Самый странный из них возникает из-за того, что сумма других условий делится на восприятие личного интереса. Это означает (ведь сумма остальных качеств положительна), что уровень доверия становится очень большим, когда фактор личного интереса становится очень маленьким. Если кто-то смог бы полностью избавиться от подозрений в корысти, доверие стало бы бесконечным! Но в мире всё не так. Монета, безусловно, лишена корысти, так что, согласно уравнению, я должен бесконечно ей доверять. Но на деле с чего бы мне доверять игре в орла и решку больше, чем опытному эксперту?