Текст книги "Убийственные большие данные. Как математика превратилась в оружие массового поражения"

Компоненты бомбы: что такое модель?

Стоял жаркий августовский день 1946 года. У Лу Бодро, играющего менеджера команды Cleveland Indians, было отвратительное настроение. В первой из двух игр, намеченных на этот день, Тед Уильямс практически в одиночку уничтожил команду Бодро. Уильямс, возможно лучший хиттер того времени, выбил три хоум-рана и еще довел восемь игроков до домашней базы. В итоге «Индейцы» проиграли со счетом 10:11.

Бодро нужно было что-то предпринять. Поэтому, как только Уильямс вышел на поле во второй игре, игроки «Индейцев» начали быстро перемещаться. Бодро, шорт-стоп, перебежал на место, где обычно стоял второй бейсмен, а второй бейсмен отошел на правый аутфилд, третий бейсмен сдвинулся влево, к месту шорт-стопа. Было очевидно, что Бодро (возможно, эта идея была продиктована отчаянием) полностью изменил расположение своей защиты, чтобы превратить хиты Теда Уильямса в ауты.

Другими словами, Бодро мыслил как специалист по анализу данных. Он проанализировал предварительные данные, по большей части на основе наблюдений: обычно Тед Уильямс делал подачу в правый аутфилд. Затем он предпринял меры – и они сработали. Игроки стали ловить больше мощных лайнеров Уильямса (хотя они по-прежнему ничего не могли сделать с хоум-ранами, пролетающими над их головами).

Если вы сегодня придете на бейсбольную игру высшей лиги, вы увидите, что защита относится практически к каждому игроку противника как к Теду Уильямсу. Если Бодро просто пронаблюдал за тем, куда Уильямс обычно направлял удар, то сейчас менеджеры точно знают, куда каждый игрок направлял удар в течение последней недели, за последний месяц, за всю карьеру, играя против левшей, в ситуации, когда у него было два страйка, и так далее и тому подобное. Используя эту собранную информацию, они могут проанализировать текущую ситуацию и рассчитать расстановку игроков, дающую наибольшую вероятность успеха. Иногда это включает в себя довольно-таки существенные перемещения игроков по полю.

Перенос защиты – лишь часть гораздо более серьезного вопроса: какие шаги могут предпринять бейсбольные команды для максимизации вероятности победы? В поисках ответа на этот вопрос специалисты по бейсбольной статистике изучили каждую переменную, которую смогли количественно измерить, и присвоили ей определенную ценность. Насколько дабл ценнее сингла? Когда, если вообще когда-либо, имеет смысл использовать сэкрифайс-бант для перемещения раннера с первой на вторую базу?

Ответы на все эти вопросы смешаны и объединены в математические модели этого спорта. В мире бейсбола существуют параллельные вселенные, и каждая из них представляет собой сложное вероятностное полотно. Они включат в себя каждое измеримое отношение между каждым спортивным компонентом, от уоков и хоум-ранов и до самих игроков. Цель модели – просчитать разные сценарии на каждой развилке и найти оптимальные комбинации. Если Yankees поставят питчера-правшу против сильного отбивающего Майка Траута из Angels, в сравнении с их текущим питчером – кто с большой вероятностью его выбьет? И как это повлияет на общую вероятность победы?

Бейсбол – идеальная база для предиктивного математического моделирования. Как писал Майкл Льюис в своем бестселлере Moneyball (2003)[1]1
  Moneyball. Как математика изменила самую популярную спортивную лигу в мире / пер. Натальи Воронцовой. М.: Манн, Иванов и Фербер, 2013.


[Закрыть], этот спорт привлекал самых увлеченных аналитиков данных на протяжении всей его истории. В прошлом фанаты изучали статистику по оборотным сторонам бейсбольных карточек, анализируя закономерности хоум-ранов Карла Ястржемски или сравнивая общее количество страйк-аутов Роджера Клеменса и Дуайта Гудена. Но начиная с 1980-х годов за дело взялись серьезные специалисты по статистике – они начали разбираться, что же, собственно, означают все эти цифры вместе с огромным количеством новых данных: как именно они конвертируются в победы и как руководство команды может достичь максимального успеха при минимальных вложениях.

Сегодня термин moneyball («денежный мяч») служит условным обозначением любого статистического подхода в областях, где в течение долгого времени господствовала исключительно интуиция. Но пример бейсбола – это пример здорового анализа, который я привела для контраста с более токсичными примерами анализа, которые я считаю действием ОМП и которые появляются во все большем количестве областей нашей жизни. Бейсбольные модели справедливы, в частности, из-за своей прозрачности. Любой человек располагает доступом к статистике и может более или менее понять, как она интерпретируется. Да, конечно, модель одной команды может придавать больше ценности хоум-раннерам, в то время как другие могут их слегка недооценивать из-за того, что сильные отбивающие имеют тенденцию к большому количеству страйк-аутов. Но в любом случае информация о числе хоум-ранов и страйк-аутов доступна для всех интересующихся.

Кроме того, в бейсболе есть статистическая строгость. Его гуру располагают огромным количеством информации, и практически вся она напрямую касается манеры игроков. Более того, эта информация имеет непосредственное отношение к результатам, которые эти гуру пытаются предсказать. Это может показаться очевидным, но, как мы увидим на страницах этой книги, люди, создающие оружие математического поражения, испытывают постоянный дефицит информации как раз о тех типах поведения, которые их больше всего интересуют. В результате они подставляют вместо информации ее подмену (прокси). Они проводят статистические корреляции между чьим-то почтовым кодом или манерой речи и способностью этого человека выплатить кредит или справиться с рабочими обязанностями. Эти корреляции дискриминационны, а некоторые из них и незаконны. Бейсбольные модели по большей части не используют прокси из-за того, что они располагают фактической информацией: мячами, страйками и хитами.

Но самое главное – поток этой информации постоянно обновляется благодаря статистике, собираемой с 12–13 игр ежедневно с апреля по октябрь. Специалисты по статистике могут сравнить результаты этих игр с предсказаниями своих моделей – и увидеть, где они были не правы. Возможно, они предсказали, что реливер-левша пропустит много хитов от бэттеров-правшей – а он в результате их разгромил. В этом случае статистики пытаются подправить свою модель и пристально изучают, как и почему они ошиблись. Возможно, это новый крученый мяч питчера повлиял на их статистику? Или этот питчер лучше играет по вечерам? Все, что они узнают, они снова загрузят в модель, чтобы еще тоньше настроить ее. Именно так работают модели, заслуживающие доверия. Они постоянно взаимодействуют с миром, который они пытаются понять или предсказать. Если условия меняются – модель должна меняться вместе с ними.

Посмотрев сейчас на бейсбольную модель с ее тысячами переменных, вы можете задуматься: как вообще можно сравнивать ее с моделью, использованной для оценки учителей в школах Вашингтона? Первая моделирует спортивную игру в мельчайших деталях и постоянно обновляется. Вторая, при всей ее таинственности, опирается из года в год на результаты горстки тестов. Можно ли вообще называть ее моделью?

Ответ – да. Любая модель, в конце концов, есть не что иное, как абстрактное представление какого-то процесса, будь то бейсбольная игра, цепочка поставщиков нефтяной компании, действия иностранного правительства или посещаемость кинотеатра. Загружена ли она в компьютерную программу или хранится в нашей голове, модель берет наши знания и использует их для того, чтобы предсказать будущие результаты процесса в разных ситуациях. Все мы держим в уме тысячи моделей. Они подсказывают, чего нам ожидать, и руководят нашими действиями.

Вот неформальная модель, которую я использую ежедневно. Будучи мамой троих детей, я сама готовлю еду – мой муж, милейший человек, каждый раз забывает посолить макароны. Каждый вечер, когда я начинаю готовить ужин на всю семью, я внутренне и интуитивно моделирую аппетит каждого домочадца. Я знаю, что один из сыновей любит курицу (но ненавидит гамбургеры), а другой ест только пасту (с дополнительной порцией тертого пармезана). Но я также принимаю во внимание то, что их аппетиты меняются в разные дни – поэтому в мою модель может вкрасться ошибка. В ней всегда будет неизбежный элемент неопределенности.

В мою модель вкладывается информация о моей семье, об ингредиентах, которые у меня уже имеются или мне доступны, а также моей собственной энергии, времени и амбициях. На выходе я получаю решение, что и как мне приготовить. Я оцениваю успех ужина степенью удовлетворенности моей семьи, а также количеством съеденного и тем, насколько еда была здоровой. То, насколько хорошо принимают приготовленную мной еду и сколько ее съедают, позволяет мне обновить свою модель к следующему приготовлению ужина. Обновления и уточнения делают модель динамической – так это называется в статистике.

С гордостью могу сказать, что со временем я научилась очень неплохо готовить для своей семьи. Но представьте, что нам с мужем нужно уехать на неделю, а мне понадобится объяснить свою модель моей маме, чтобы она смогла меня заменить? Или если моя многодетная подруга заинтересовалась моим подходом? В этот момент я попытаюсь придать моей модели какие-то более формальные черты, сделать ее более систематической – и, в каком-то смысле, более математической. Если у меня хватит амбиций, я даже могу создать на ее основе компьютерную программу.

В идеале такая программа учтет все возможные варианты ингредиентов, их питательность и стоимость, а также будет включать полную базу данных о вкусах моей семьи, все любимые и нелюбимые блюда и продукты моих домочадцев. Однако мне будет не так уж просто взять и извлечь всю эту информацию из собственной головы. Да, у меня полно воспоминаний о том, как кто-то попросил добавку спаржи или заявил, что терпеть не может стручковую фасоль, но эти воспоминания перемешаны – мне будет сложно свести их в один список.

Лучшим решением станет доработка модели с течением времени – ежедневный ввод информации о том, что я купила и приготовила, и какой отклик от каждого члена семьи получила. Я смогу также задавать те или иные параметры и ограничения. Я могу ограничить по сезону фрукты и овощи, зато раздать определенное количество печенья «Поп-тартс», чтобы предотвратить открытый бунт. Можно ввести и другие параметры, запомнить, кто больше любит мясо, кто – хлеб и пасту, кто пьет много молока, а кто настаивает, чтобы любой предмет на его тарелке можно было намазать нутеллой.

Если бы я посвятила все свое время этой работе, то за несколько месяцев могла бы получить весьма неплохую модель. Я бы превратила систему приготовления еды, хранящуюся в моей голове, – мою неформальную внутреннюю модель – в формальную внешнюю. В этой модели я бы вынесла наружу, во внешний мир, свои знания и умения. Я бы построила автоматическую версию себя, которой могли бы воспользоваться другие люди даже в мое отсутствие.

Однако в ней всегда бы были ошибки, потому что любые модели всегда представляют собой упрощения. Ни одна модель не может включить в себя всю сложность мира или нюансы человеческого общения. Какая-то важная информация неизбежно оказывается упущенной. Возможно, я бы забыла сообщить своей модели о том, что правило запрета на фастфуд менее строго соблюдается в дни рождения или что сырая морковка пользуется большей популярностью, чем вареная.

Чтобы создать модель, таким образом, мы делаем выбор и решаем, что достаточно важно для включения в нее. Мы упрощаем мир до его игрушечной версии, которая может быть легко понята и из которой мы можем извлечь важные факты и действия. Мы ожидаем от модели выполнения только одной работы и заранее смиряемся с тем, что иногда она будет работать бестолково, с огромными пробелами.

Иногда пробелы не имеют значения. Когда мы запрашиваем у Google Maps маршрут, программа моделирует мир как набор улиц, туннелей и мостов. Она игнорирует здания, потому что те не имеют отношения к задаче. Когда авиационное программное обеспечение управляет самолетом, оно моделирует ветер, скорость самолета и посадочную полосу внизу, но игнорирует улицы, туннели, здания и людей.

Пробелы модели отражают суждения и приоритеты ее создателей. И хотя выбор при составлении Google Maps и авиационного программного обеспечения кажется очевидным, в других случаях он гораздо более проблематичен. Если мы вернемся к примеру вашингтонских школ, их модель подсчета увеличения коэффициента знаний учеников оценивает учителей по большей части на основе данных тестов учеников, игнорируя такие факторы, как вовлеченность учителя в процесс, его работу над определенными навыками, классное руководство и помощь ученикам в их личных и семейных проблемах. Она слишком проста и жертвует точностью и охватом во имя эффективности. При этом, с точки зрения администраторов, она предоставляет эффективное орудие для выявления сотен якобы негодных учителей – даже если существует риск неверной интерпретации профессионализма некоторых из них.

Здесь мы видим, что модели, несмотря на их кажущуюся непредвзятость, отражают заложенные в них цели и идеологию. Когда я исключала возможность поедания печенья за каждым приемом пищи, я переносила свою идеологию на модель еды. Это то, что все мы делаем машинально, не задумываясь. Наши собственные ценности и желания влияют на наш выбор, от данных, которые мы предпочитаем собирать, до вопросов, которые мы задаем. Модели – это мнения, заключенные в математическую форму.

Работает модель или нет – это также вопрос субъективный. В конце концов, ключевой компонент каждой модели, как формальной, так и неформальной, – это ее критерий успеха. Это важный пункт, к которому мы вернемся, когда будем исследовать темный мир ОМП. В каждом случае мы должны спросить не только о том, кто разработал модель, но также чего именно он пытался достичь. Если правительство Северной Кореи возьмется, например, построить модель для моих семейных ужинов, то эта модель, вероятно, будет оптимизирована таким образом, чтобы держать нас чуть выше порога полного истощения, минимизируя при этом затраты и число доступных ингредиентов. Понятно, что наши личные предпочтения при этом будут значить мало или вообще ничего. С другой стороны, если бы эту модель составляли мои дети, то критерием ее успешности стало бы мороженое на завтрак, обед и ужин. Моя собственная модель пытается объединить северокорейское управление ресурсами и благополучие моих детей, а также мои собственные представления о здоровье, удобстве, разнообразии и экологичности. В результате она оказывается более сложной, но все еще отражает мою личную реальность. А модель, построенная в соответствии с сегодняшним днем, завтра будет работать еще хуже. Если ее постоянно не обновлять, она застынет и устареет. Цены меняются, предпочтения растущих детей тоже. Модель, построенная для шестилетки, не сработает для подростка.

То же самое верно и для внутренних моделей. Вы часто можете видеть, как возникают проблемы у дедушек и бабушек, которые навещают давно не виденную ими внучку. Во время предыдущего визита они собрали информацию о том, что она знает и умеет, что вызывает у нее смех, какие телепередачи она любит, – и (подсознательно) построили модель под эту конкретную четырехлетнюю девочку. Однако во время следующей встречи через год они могут столкнуться с неловкой ситуацией из-за того, что их модель устарела. Например, ей больше не нравится Паровозик Томас. Потребуется время, чтобы собрать новую информацию о внучке и перенастроить модель.

Это не означает, что хорошие модели не могут быть простыми. Некоторые очень эффективные модели основываются на единственной переменной. Самая распространенная модель по обнаружению пожара в доме или офисе, например, учитывает единственный, зато непосредственно имеющий отношение к проблеме фактор – наличие дыма. Обычно этого достаточно. Но создатели моделей сталкиваются с проблемами – или сталкивают нас с этими проблемами, – когда они проецируют такие простые модели, как пожарная сигнализация, на людей.

Расизм на индивидуальном уровне может рассматриваться как предиктивная модель, распространившаяся в сознании миллиардов людей по всему миру. Она основана на ошибочной, неполной или обобщенной информации. Информация, основанная на опыте или рассказах других людей, указывает на то, что определенные люди плохо себя ведут. Это приводит к упрощенному предсказанию, что все люди той или иной расы будут вести себя таким же образом.

Нет нужды говорить, что расисты не тратят время на то, чтобы собрать надежную информацию и протестировать свои искаженные модели. Как только их модель превращается в убеждение, она становится прошивкой мозга. Она генерирует допущения, однако редко их тестирует, вместо этого подыскивая информацию, которая, как кажется расисту, их подтверждает и подпитывает. Вследствие этого расизм представляется самой неряшливой из предиктивных моделей. Он основан на небрежном сборе информации и ложных корреляциях, он усилен институциональным неравенством и загрязнен предвзятостью подтверждения. Но как это ни странно, расизм действует так же, как многие из видов оружия математического поражения, которые я буду описывать в этой книге.

В 1997 году афроамериканец Дуэйн Бак, признанный виновным в убийстве двух человек, предстал перед судьей округа Харрис, штат Техас. Судья должен был решить, приговорить преступника к смерти или к пожизненному заключению (во втором случае оставалась теоретическая возможность условно-досрочного освобождения). Прокурор настаивал на смертном приговоре, утверждая, что, если Бак когда-нибудь выйдет на свободу, он может убить снова. Адвокат Бака, со своей стороны, пригласил эксперта-психолога Уолтера Кихано, специалиста по рецидивам среди бывших заключенных. В ходе перекрестного допроса Кихано упомянул расовую принадлежность Бака, и прокурор тут же уцепилась за это:

– То есть вам удалось установить, что… что расовый фактор, принадлежность к черной расе, по различным сложным причинам увеличивает потенциальную опасность человека в будущем, правильно? – спросила она.

– Правильно, – ответил Кихано.

Прокурор подчеркнула этот факт в своей заключительной речи – и Дуэйн Бак был приговорен к смерти.

Через три года главный прокурор штата Техас Джон Корвин обнаружил, что психолог Уолтер Кихано дал подобные (основанные на расовой принадлежности) заключения в шести других случаях, когда речь шла о высшей мере наказания. Большую часть из них – выступая на стороне обвинения. Корвин, который тогда готовился к выборам в Сенат 2002 года, приказал провести повторные слушания для семи осужденных, запретив упоминать в суде их расовую принадлежность. В соответствующем пресс-релизе он писал:

Совершенно непозволительно учитывать расовую принадлежность как фактор в нашей системе правосудия… Техасцы заслуживают системы, которая обеспечивает справедливое отношение для каждого человека, – и они должны получить такую систему.

Дела шестерых осужденных были рассмотрены заново, однако все смертные приговоры были оставлены в силе: суд счел, что показания Кихано ни в одном случае не были решающими. Седьмой осужденный – Дуэйн Бак – не получил нового слушания: возможно, из-за того, что в данном случае расовый фактор выдвинул свидетель защиты. Бак все еще находится в камере смертников[2]2
  3 октября 2017 года приговор Бака был все же пересмотрен: на этот раз Бак был приговорен к пожизненному заключению с правом на условно-досрочное освобождение после отбытия 40 лет срока плюс к двум одновременным 60-летним срокам за два покушения на убийство. Бак получит право на условно-досрочное освобождение в 2035 году. – Здесь и далее – примеч. науч. ред., если не оговорено иное.


[Закрыть].

Независимо от того, насколько важен расовый фактор в обстоятельствах судебного дела, он уже довольно давно представляет собой основной фактор в вынесении приговора. Исследование Мэрилендского университета продемонстрировало, что в техасском округе Харрис, в который входит и город Хьюстон, прокуроры в три раза чаще требуют смертного приговора для афроамериканцев и в четыре раза чаще – для американцев латиноамериканского происхождения, чем для белых, которых судят за аналогичные преступления. И такое происходит не только в Техасе. В соответствии с данными Американского союза защиты гражданских свобод, судебные сроки, которые назначаются черным мужчинам в федеральной системе, на 20 % длиннее, чем сроки белых, осужденных за схожие преступления. И хотя афроамериканцы составляют всего 13 % населения США, они заполняют 40 % тюремных камер.

По-видимому, можно предположить, что математическая модель оценки рисков рецидива может уменьшить влияние человеческих предубеждений при вынесении приговоров и повлечет более справедливое отношение к подсудимым. В надежде на это суды двадцати четырех штатов стали использовать так называемые модели вероятности рецидива (recidivism models). Эти модели помогают судьям более адекватно оценить опасность, которую может представлять в будущем тот или иной осужденный. И по многим меркам такие модели – шаг вперед. Благодаря им приговоры стали более логичными и меньше подвержены настроению и предвзятости судей. К тому же эти модели экономят деньги, сокращая среднестатистический тюремный срок (на содержание одного заключенного уходит в среднем 31 000 долларов в год, а в «дорогих» штатах вроде Нью-Йорка и Коннектикута эта сумма вдвое выше).

Главный вопрос тут, однако, вот какой: в самом ли деле мы исключили фактор человеческой предвзятости или просто замаскировали его? Новые модели вероятности рецидива сложны и основаны на математике. Однако данные внутри этих моделей – целый букет допущений, причем некоторые из них основаны на предубеждениях. И если показания Уолтера Кихано были официально зафиксированы, так что их позже можно было вновь прослушать и обжаловать в суде, то принцип работы модели запрятан в алгоритмах, в которых могут разобраться лишь единичные специалисты.

Одна из самых популярных моделей, известная как Переработанная оценка уголовно-исправительной инспекции (Level of Service Inventory-Revised, LSI-R), включает в себя длинную анкету, которую должны заполнить заключенные. Один из вопросов – «Сколько предыдущих судимостей у вас было?» – имеет непосредственное отношение к риску рецидива. Некоторые другие также близко связаны с темой: «Какую роль другие люди играли в правонарушении? Какую роль играли алкоголь и наркотики?»

Но дальнейшие вопросы все больше углубляются в частную жизнь человека – и тут уже легко представить себе, как заключенные из привилегированных слоев будут отвечать одним образом, а жители криминогенных районов – совсем другим. Спросите у преступника, который вырос в престижном пригороде: «Когда вы впервые столкнулись с полицией?» – и скорее всего, окажется, что у него не было ни одного такого столкновения вплоть до того случая, который и привел его в тюрьму. Однако молодого афроамериканца полиция с высокой долей вероятности останавливала десятки раз, даже когда он не делал ничего противозаконного. Исследование Нью-Йоркского союза гражданских свобод продемонстрировало, что, хотя афроамериканцы и латиноамериканцы составляют всего 4,7 процента населения города, в 40,6 процента случаев остановке и обыску полицией подвергаются именно они. Более 90 % осмотренных таким образом оказывались невиновными. Какой-то процент из оставшихся составляют пьяные подростки или подростки, у которых нашли одну сигарету с марихуаной. Причем, в отличие от большинства богатых подростков, которые оказались бы в этой ситуации, у афроамериканцев и латиноамериканцев в этом случае начинаются неприятности. Поэтому, если ранняя встреча с полицией свидетельствует о повышенной вероятности рецидива, то получается, что выходцы из бедных кварталов и представители расовых меньшинств автоматически зачисляются в группу риска.

Вопросы анкеты на этом не заканчиваются. Заключенных спрашивают, есть ли судимости у их друзей и родственников. И снова: задайте такой вопрос преступнику, который вырос в квартале среднего класса, – с большой долей вероятности ответ будет отрицательным. Опросник действительно избегает вопросов о расе – они незаконны. Но, учитывая степень подробности, с которой каждый заключенный рассказывает о своей жизни, этот единственный незаконный вопрос практически оказывается ненужным.

Анкету LSI-R, разработанную в 1995 году, с тех пор заполнили тысячи заключенных. Специалисты по статистике использовали эти результаты, чтобы построить систему, в которой ответы, имеющие непосредственное отношение к риску рецидива, имели бы больший вес и добавляли больше баллов. После сдачи анкеты осужденные распределяются по категориям высокого, среднего и низкого риска на основе полученных ими баллов. В некоторых штатах, таких как Род-Айленд, эти тесты используются, только чтобы направить осужденных с высоким риском на программы профилактики рецидива во время отбывания тюремного срока. Но в других штатах, в том числе Айдахо и Колорадо, судьи используют эти результаты и при вынесении приговора.

Это несправедливо. Опросник включает обстоятельства рождения и воспитания преступника, данные о его или ее семье, окружении и друзьях. Но подобные детали не должны иметь отношения к уголовному делу или к приговору. В самом деле, если бы прокурор попытался очернить подзащитного, упомянув количество судимостей его брата или уровень преступности в районе, где он живет, адвокат бы тут же воскликнул: «Возражаю, ваша честь!» И разумный судья принял бы это возражение. Таковы основы нашей правовой системы. Нас судят за то, что мы делаем, а не за наше происхождение. И хотя мы не знаем, сколько именно баллов добавляют эти пункты анкет, любое значение, отличное от нуля, несправедливо.

Многие скажут, что статистические системы, подобные LSI-R, все же достаточно эффективны в оценке вероятности рецидива – по крайней мере, они более точны, чем интуитивные предположения того или иного судьи. Но даже если мы отложим в сторону, совсем ненадолго, серьезнейшую проблему справедливости, мы обнаружим, что соскальзываем в губительную петлю обратной связи ОМП. Осужденный с «высоким риском», скорее всего, окажется в прошлом безработным выходцем из района, в котором многие его родственники и друзья имели столкновения с законом. Отчасти из-за большого количества баллов, набранного в ходе заполнения анкеты, он получает более длительный тюремный срок, который закроет его на большее количество лет в тюрьме в окружении таких же преступников, как он, – что повышает вероятность его возвращения в тюрьму. В конце концов его выпускают на свободу, и он возвращается все в тот же бедный район, но на этот раз с судимостью, которая еще больше затруднит ему получение работы. Если он совершит еще одно преступление, модель оценки риска рецидива может объявить об очередном своем успехе. Но на самом деле это сама модель вносит вклад в токсичный цикл и помогает его поддерживать. Это ключевое свойство оружия математического поражения.

* * *

В этой главе мы познакомились с тремя типами статистических моделей. Бейсбольные модели по большей части можно счесть здоровыми. Они прозрачны, постоянно обновляются, и все допущения и выводы можно легко проследить. Такие модели подпитываются статистикой самой игры, а не прокси-реальностью. Люди, которых их составляют, понимают процесс и разделяют цель модели: выиграть Мировую серию. (Хотя, конечно, это не значит, что многие игроки, как только подойдет время подписывать контракт, не попытаются поспорить с оценкой модели: «Конечно, я сделал двести раз страйк-аут, но только посмотрите на мои хоум-раны…»)

С моей точки зрения, нет ничего плохого и во второй модели, которую мы обсуждали, – гипотетической модели семейных ужинов. Если бы мои дети задались вопросами о допущениях, которые за ней стоят, как экономических, так и диетических, я бы с удовольствием об этом рассказала. И даже если они иногда ворчат, получая очередную порцию зеленого салата, они, вероятно, признают, что моя модель отвечает целям удобства, экономии, здоровья и хорошего вкуса – хотя, возможно, в своих собственных моделях они придадут этим факторам другой вес (и они могут начать создавать свои модели с того самого момента, когда начнут сами покупать себе продукты).

Должна добавить, что моя модель вряд ли когда-нибудь приобретет промышленные масштабы. Не представляю, чтобы сеть супермаркетов Walmart или Министерство сельского хозяйства США заинтересовались бы моей моделью и распространили бы ее на сотни миллионов людей – как некоторые из видов оружия математического поражения, которые мы будем обсуждать. Нет, моя модель совершенно безобидна, особенно учитывая то, что она вряд ли когда-нибудь перейдет из моей головы в какую-либо компьютерную программу.

Однако оценка вероятности рецидива, которую мы обсуждали в конце главы, – пример совсем другого рода. Он имеет какой-то дурной привкус. Давайте быстро проверим, не относится ли эта оценка к ОМП, и посмотрим на результат.

Первый вопрос: если участник проверки осведомлен о том, что его проверяют с помощью модели, и о том, для чего будет использован результат проверки, можно ли считать эту модель непрозрачной? Ведь большинство заключенных, заполняющих обязательные анкеты, вовсе не глупы. Они как минимум должны подозревать, что информация, которую они предоставляют, будет использована против них, чтобы контролировать их во время отбывания срока, – эта информация даже может привести к увеличению этого срока. Они знают правила игры. Однако представители тюремной администрации тоже их знают. И они не распространяются о целях LSI-R. Администрация отлично понимает, что в ином случае многие заключенные попытаются обыграть модель, предоставив ответы, в которых они будут выглядеть образцовыми гражданами на момент выхода из тюрьмы. Поэтому заключенных стараются держать в неведении и не раскрывать им степень риска рецидива, которую определила модель в их случае.

В этом тюремные администраторы не одиноки. Непрозрачные модели – это правило, а прозрачные – исключение. Нас моделируют как покупателей и домоседов, как пациентов и заемщиков, но практически никаких из этих результатов мы не видим – даже если сами радостно участвуем в опросах. Даже когда такие модели на самом деле «ведут себя» вполне прилично, их непрозрачность может породить ощущение несправедливости. Если распорядитель в концертном зале сказал вам, что садиться в креслах первых десяти рядов нельзя, вы можете счесть этот запрет необоснованным и несправедливым. Но, вероятно, вы измените свое мнение, если распорядитель объяснит вам, что эти места зарезервированы для людей в инвалидных креслах. Прозрачность имеет большое значение.

При этом многие компании делают все, чтобы скрыть результаты, которые дают их модели или даже само существование этих моделей. Одно из самых распространенных оправданий при этом – наличие в алгоритме некоего «секретного компонента», критически важного для данного бизнеса. Это интеллектуальная собственность, которую защищают легионы юристов и лоббистов. В случае интернет-гигантов, таких как Google, Amazon и Facebook, эти алгоритмы стоят сотни миллиардов долларов. Оружие математического поражения по определению представляет собой черный ящик, и в результате крайне сложно ответить на вопрос: работает ли модель против интересов человека? Иными словами, справедлива ли она? Не наносит ли она вред?