Текст книги "Hello World. Как быть человеком в эпоху машин"

Проблема согласованности

Судебной системе известно о собственном несовершенстве, но она и не стремится к совершенству. Вынесение обвинительного приговора и назначение наказания не относятся к точным наукам, и судья не может гарантировать, что не будет никаких погрешностей. По этой причине в юридической лексике так часто встречаются слова “достаточно оснований для сомнений” и “существенные основания”, а апелляция является важной частью судебного процесса. В самой системе принимается, что абсолютной точности достичь невозможно.

Но, пожалуй, слишком разное отношение к подсудимым, как в случае Николаса Робинсона и Ричарда Джонсона, нельзя считать справедливым. Прежде чем возмущаться “нечестностью” столь разного судейства, следует учесть множество факторов, однако в пределах разумного можно надеяться на более или менее одинаковый подход арбитров к принятию решения. Скажем, если вы и ваш воображаемый двойник обвиняетесь в одинаковых преступлениях, то вы вправе рассчитывать и на одинаковые приговоры. Но всегда ли судят так?

В 1970-х годах группа американских исследователей попыталась найти ответ на похожий вопрос[89]89
  William Austin and Thomas A. Williams III, A survey of judges’ responses to simulated legal cases: research note on sentencing disparity, Journal of Criminal Law and Criminology, vol. 68, no. 2, 1977, pp. 306–310.


[Закрыть]. Рассматривать идентичные дела двух разных преступников было бы трудно с практической точки зрения и нежелательно с этической, поэтому они поступили иначе – придумали ряд гипотетических судебных дел и спросили сорок семь независимых судей окружных судов штата Вирджиния, каково было бы их решение в каждом случае. Суть одного их этих дел изложена ниже, представьте себя на месте судьи. Как бы вы рассудили?

Обвиняемая, 18 лет, задержана вместе со своим бойфрендом и еще семью знакомыми и арестована за хранение марихуаны. В доме были обнаружены многочисленные доказательства того, что молодые люди курили марихуану и хранили ее в большом количестве, однако у самой обвиняемой марихуаны не нашли. Девушка была из семьи среднего класса, хорошо училась, судимостей ранее не имела, при аресте и впоследствии сопротивления не оказала, но и своей вины не признала.

Разброс в судейских решениях оказался огромным. Двадцать девять судей из сорока семи оправдали девушку, восемнадцать признали виновной. Восемь судей из тех, кто вынес обвинительный приговор, предложили дать ей условный срок, четверо сочли, что наиболее подходящим наказанием для нее будет штраф, трое назначили и то, и другое, еще трое готовы были отправить ее за решетку.

Итак, при одних и тех же доказательствах, по одному и тому же делу, в зависимости только от того, какого судью послала бы девушке счастливая – или злая – судьба, она могла бы выйти из зала суда без всякого наказания или уехать прямиком в тюрьму.

Сильное потрясение для тех, кто надеется на объективность судов. Но дела обстоят еще хуже. Мало того, что судьи не согласны друг с другом, – они и собственное решение могут оспорить.

В исследовании, проведенном позднее, восьмидесяти одному судье из Великобритании задали вопрос: могли бы они отпустить под залог гипотетических обвиняемых?[90]90
  Mandeep K. Dhami and Peter Ayton, Bailing and jailing the fast and frugal way, Journal of Behavioral Decision-making, vol. 14, no. 2, 2001, pp. 141–168, http://onlinelibrary.wiley.com/doi/10.1002/bdm.371/abstract.


[Закрыть] В каждом из вымышленных дел описывались различные вымышленные истории преступления и криминальное прошлое подсудимого. Как и их коллеги из Вирджинии, английские судьи не смогли прийти к согласию ни по одному из сорока одного предложенных им эпизодов[91]91
  Почти половина судей разошлись во мнениях о наиболее правильном порядке действий в каждом случае.


[Закрыть]. Но теперь каждый судья разбирал сорок одно смоделированное дело, семь из которых повторялись, а поскольку имена обвиняемых были изменены, судьи не заметили совпадения. Этот коварный подводный камешек помог кое-что прояснить. Большинство арбитров, рассматривая одно и то же дело по второму кругу, умудрились вынести решение, отличное от первоначального. Поразительно, что некоторые судьи, без всякого преувеличения, с тем же успехом могли бы назначать освобождение под залог наобум, настолько их собственные решения не совпадали[92]92
  В статистике есть свой количественный критерий такого согласия в судейских решениях – так называемая каппа Коэна. Метод основан на предположении, что даже при простом угадывании в итоге может быть достигнута сходимость результатов. Полной воспроизводимости соответствует единица. Ноль означает, что оценки хаотичны. Судьи показали баллы от 0 до 1, в среднем 0,69.


[Закрыть].

Другие многочисленные исследования показали те же результаты: если судьям позволить самостоятельно карать или миловать, мнения обязательно разойдутся. При достаточной свободе действий судей вся система может превратиться в лотерею.

Выход, безусловно, есть, и довольно простой. Чтобы судебные решения всегда принимались согласованно, надо лишить судей возможности действовать исключительно по своему усмотрению. Если бы всех, кому предъявлено одно и то же обвинение, судили по одной и той же схеме, сходимость результатов была бы обеспечена – хотя бы в решениях о мере пресечения и приговорах. Некоторые страны пошли именно по такому пути. В судопроизводстве США на федеральном уровне и в отдельных регионах Австралии действует система предписаний по вынесению приговоров[93]93
  Diane Machin, Sentencing guidelines around the world, paper prepared for Scottish Sentencing Council), May 2005, https://scottishsentencingcouncil.org.uk/media/1109/paper-31a-sentencing-guidelines-around-the-world.pdf.


[Закрыть]. Но за согласованность такого рода приходится платить. Повышение точности сопровождается неизбежными потерями в других аспектах справедливости.

Для наглядности давайте представим себе двух обвиняемых за кражу в магазине. Один – более или менее довольный жизнью вор-рецидивист, который сам выбрал себе дело по душе; другой недавно потерял работу, еле сводит концы с концами, на воровство решился, чтобы хоть как-то прокормить семью, и теперь глубоко раскаивается в содеянном. Если не будет возможности учесть смягчающие обстоятельства, из-за жестких инструкций, предписывающих судить людей за одинаковые преступления по одной и той же схеме, наказание может оказаться чересчур суровым и для некоторых осужденных сведет к нулю шансы на исправление.

Непростая задачка. При любой системе судейства надо постараться найти баланс между индивидуальным подходом и гарантией постоянства в решениях. Чтобы решить эту дилемму, в большинстве стран выбирают компромисс между двумя крайними вариантами – прескриптивной системой федеральных судов США и практически полной свободой судей, как в Шотландии[94]94
  Ibid.


[Закрыть]. В странах Запада предписаниями по назначению наказаний устанавливается или максимально возможная мера (например, в Ирландии), или минимальная (как в Канаде), или обе (в Англии и Уэльсе)[95]95
  Ibid.


[Закрыть], а судьи могут выбирать наказание в этих пределах.

Идеальной системы не существует. Одна несправедливая, необъективная система соревнуется с другой, и здесь царит хаос. Но алгоритмы получают шанс проявить себя с лучшей стороны в любых, самых головоломных делах. Ибо применение алгоритмов, что немаловажно, позволяет соблюсти оба условия – систематичность и индивидуальный подход к выбору судейского решения. Никому не хочется выбирать между этими условиями.

Уравнение правосудия

Алгоритм не может вынести приговор. Он не умеет сопоставлять доводы защиты и обвинения, анализировать доказательства, ему не понять, осознал ли подсудимый свою вину. Не ждите, что в обозримом будущем он заменит судью. Но что он может, как ни трудно в это поверить, – так это рассчитать риск повторного преступления, исходя из персональных данных человека. А поскольку суд нередко принимает решение на основании оценки вероятности того, что подсудимый вернется на путь преступления, иметь такую опцию весьма полезно.

Персональные данные и расчеты применяются в судействе уже почти столетие, впервые это начали делать в Америке еще в двадцатых годах прошлого века. При тогдашней американской системе подсудимых обычно приговаривали к максимальной мере наказания, они сколько-то отсиживали, после чего их отпускали “под честное слово”[96]96
  Впервые условно-досрочное освобождение начали применять во Франции в 1700-х годах – осужденного выпускали на волю, если он обещал больше не совершать преступлений: https://www.etymonline.com/word/parole.


[Закрыть]. На основании этого закона десятки тысяч заключенных выходили из тюрем раньше срока. Одни благополучно исправлялись, другие – нет. Но все вместе они представляли собой идеальный материал для эксперимента в естественных условиях, а вопрос был поставлен так: можно ли предсказать, нарушит ли заключенный взятые на себя обязательства?

Знакомьтесь – Эрнст Уотсон Бёрджесс, канадский социолог из университета Чикаго, хлебом не корми – дай составить прогноз. Бёрджесс был убежденным сторонником количественного анализа общественных явлений. Чего только он не прогнозировал за свою многолетнюю практику – от последствий выхода на пенсию до счастливых браков, – а в 1928 году впервые предложил эффективный метод оценки риска преступных действий, основанный не на интуиции, а на результатах измерений.

Бёрджесс собрал самые разнообразные сведения о трех тысячах обитателей иллинойсской тюрьмы и сформулировал двадцать один фактор, от которых, по его мнению, “возможно, зависит” вероятность нарушения условий условно-досрочного освобождения. Учитывались, в частности, вид правонарушения, срок пребывания в тюремной камере и социальный тип заключенного; с присущей социологу начала XX века деликатностью он выделил социальные типы – например, “бродяга”, “пьяница”, “бездельник”, “деревенщина” и “иммигрант”.

Каждому заключенному Бёрджесс поставил оценку от 0 до 1 по каждому пункту. Если сумма была достаточно велика – от 16 до 21, – то вероятность рецидива преступления Бёрджесс оценивал как низкую. Те, кто набрал низкие баллы – не больше 4, – по его мнению, наверняка нарушили бы правила условно-досрочного освобождения.

Когда все участники эксперимента вышли на свободу и при желании могли бы нарушить установленный законом порядок, у Бёрджесса появился шанс проверить достоверность своих прогнозов. Для столь примитивной методики он добился поразительной точности прогнозирования. В группе низкого риска 98 % осужденных успешно выдержали весь срок, в то время как две трети преступников из группы высокого риска сорвались[97]97
  Ernest W. Burgess, Factors determining success or failure on parole, in The Workings of the Intermediate-sentence Law and Parole System in Illinois (Springfield, IL: State Board of Parole, 1928). Эта работа довольно тяжела для восприятия, вместо нее можно почитать статью Кларка Тиббитса, коллеги Бёрджесса, опубликованную позже: Clark Tibbitts, Success or failure on parole can be predicted: a study of the records of 3,000 youths paroled from the Illinois State Reformatory, Journal of Criminal Law and Criminology, vol. 22, no. 1, Spring 1931, https://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?article=2211&context=jclc. Бёрджесс обозначил и другие социальные типы – “белая ворона”, “невольный преступник”, “тупица” и “гангстер”. По его мнению, меньше всех рисковали вновь оказаться на скамье подсудимых люди из категории “деревенщина”.


[Закрыть][98]98
  Karl F. Schuessler, Parole prediction: its history and status, Journal of Criminal Law and Criminology, vol. 45, no. 4, 1955, pp. 425–431, https://pdfs.semanticscholar.org/4cd2/31dd25321a0c14a9358a93ebccb6f15d3169.pdf.


[Закрыть]. Оказалось, что даже самые приблизительные статистические модели позволили дать более точные прогнозы, чем это делали люди.

Однако у модели Бёрджесса нашлись и критики. Скептики спрашивали, все ли факторы, которые давали надежду на счастливый исход условно-досрочного освобождения, применимы всегда и везде? У них были свои резоны: не думаю, что определение “деревенщина” оказалось бы полезным при прогнозировании рецидивов преступлений в криминогенной среде неблагополучных городских кварталов. Другие ученые упрекали Бёрджесса за то, что он использовал все доступные ему данные, но не проверял, насколько они релевантны[99]99
  Ibid.


[Закрыть]. Подвергали сомнению и сам метод оценки заключенных – в общем, это было всего лишь облеченное в формулы мнение специалиста. Тем не менее точность его прогнозов произвела столь сильное впечатление, что к 1935 году в иллинойсской тюрьме комиссия по условно-досрочному освобождению уже пользовалась его методикой[100]100
  Bernard E. Harcourt, Against Prediction: Profiling, Policing, and Punishing in an Actuarial Age (Chicago and London: University of Chicago Press, 2007), p. 1.


[Закрыть]. А к концу XX века математические модели, созданные на основе метода Бёрджесса, уже пошли в ход во всем мире[101]101
  Philip Howard, Brian Francis, Keith Soothill and Les Humphreys, OGRS 3: The Revised Offender Group Reconviction Scale, Research Summary 7/09 (London: Ministry of Justice, 2009), https://core.ac.uk/download/pdf/1556521.pdf.


[Закрыть].

Вернемся в наши дни – в залах судебных заседаний работают новейшие алгоритмы оценки рисков, куда более тонкие, чем первые схемы Бёрджесса. Оказывается, они не только облегчают работу комиссии по условно-досрочному освобождению, но и помогают определять, кого из заключенных можно освободить под поручительство и подбирать для них коррекционные программы, а в последнее время еще и подсказывают судьям, какой приговор вынести. Базовый принцип все тот же – загружается информация о подсудимом (возраст, история судимостей, тяжесть совершенного правонарушения и так далее), а на выходе получаем ответ на вопрос, насколько рискованно отпустить его на волю.

Как работают такие программы? Если не вдаваться в детали, в самых эффективных современных программах используется так называемый “метод случайного леса” (random forests), основанный на простейшей, в общем-то, идее. Обычное дерево решений.

Помощь зала

Возможно, в школе вам объясняли, что такое дерево решений. Учителя математики любят выстраивать по этому принципу схемы экспериментов, например, с подбрасыванием монетки или игрой в кости. Если один раз составить дерево решений, в дальнейшем можно будет использовать его в качестве блок-схемы – имея набор условий, вы шаг за шагом смотрите, что делать или, в нашем случае, что произойдет.

Допустим, вы хотите знать, можно ли освободить некое лицо под залог. Как и при условно-досрочном освобождении, решение принимается на основе прямого вычисления. Вина значения не имеет. Вас интересует только прогноз: нарушит ли обвиняемый условия освобождения под залог, если выпустить его из заключения?

Вам в помощь дана достаточная информация о множестве других арестованных, как о тех, кто, оказавшись на свободе, ударился в бега или снова совершил противоправные действия, так и о законопослушных. Располагая этими данными – характеристиками на каждого правонарушителя, – вы могли бы нарисовать дерево решений наподобие изображенного ниже и получить блок-схему. Имея дерево решений, вы сможете с его помощью предсказать поведение следующего правонарушителя. Выбирайте нужную ветвь соответственно имеющимся сведениям о нем, пока не придете к итоговому выводу. Прогнозы будут верными при условии, что характеристики объектов исследования сходны с предыдущими.

И тут наше школьное дерево решений начинает падать. Ведь, конечно же, не каждый правонарушитель в точности повторяет один из предыдущих сценариев. Само по себе такое дерево даст массу ошибочных прогнозов. И не потому, что мы начали с простейшего примера. Даже при наличии обширной базы данных о предыдущих делах и самого разветвленного алгоритма действий одно отдельно взятое дерево даст в лучшем случае чуть более точные ответы, чем простое угадывание.

Но вы получите совсем другой результат, если составите несколько деревьев. Можно использовать не все данные сразу, а применить метод разбиения, или декомпозиции. Сначала вы строите тысячи маленьких деревьев для различных подразделов общего набора данных – так называемый ансамбль. Затем, когда появляется очередной обвиняемый, вы предлагаете каждому дереву решить, стоит или нет отпускать его под залог. Вероятно, деревья проголосуют не единогласно, какие-то могут и не угадать, но вы усредните их ответы и тем самым существенно повысите точность прогноза.

Это похоже на “помощь зала” в игре “Кто хочет стать миллионером”. Полный зал незнакомых людей часто оказывается умнее одного вашего знакомого интеллектуала. Между прочим, вероятность правильного ответа в результате “помощи зала” составляет 91 %, а спасительная соломинка в виде “звонка другу” гарантирует удачу всего лишь в 65 % случаев[102]102
  Небольшая оговорка: в этой статистике, вероятно, есть систематическая ошибка. Обычно “помощи зала” просят в первых раундах, пока вопросы еще довольно простые. Тем не менее этот феномен, когда коллективное мнение группы оказывается более верным, чем мнение одного человека, находит подтверждение в литературе. См.: James Surowiecki, The Wisdom of Crowds: Why the Many Are Smarter than the Few, New York, Doubleday, 2004, p. 4. Русский перевод: – Шуровьевски Дж. Мудрость толпы. Почему вместе мы умнее, чем поодиночке… М.: “Манн, Иванов и Фербер”, 2014.


[Закрыть]. Ошибки многих зрителей взаимно компенсируют друг друга, и в конечном итоге оказывается, что много голов лучше одной.

Тот же принцип применим и к большой группе деревьев принятия решений, которые все вместе образуют случайный лес (забавный термин, не правда ли?). Алгоритмы формируют прогнозы на основе шаблонов, составленных при обработке массива данных, поэтому случайный лес – это алгоритм машинного обучения, который подпадает под более широкое понятие искусственного интеллекта. (В главе “Власть” мы уже упоминали “машинное обучение”, и нам еще не раз встретятся различные алгоритмы того же типа, но сейчас хотелось бы отметить, как солидно это звучит – при том что, в сущности, это просто знакомая вам со школы блок-схема, слегка приукрашенная математическими преобразованиями.) Алгоритмы случайного леса не раз доказали свою высокую эффективность в самых разных сферах жизни. С их помощью Netflix, анализируя ваши уже известные предпочтения[103]103
  Netflix Technology Blog, https://medium.com/netflix-techblog/netflix-recommendations-beyond-the-5-stars-part-2-d9b96aa399f5.


[Закрыть], подсказывает вам, что посмотреть, Airbnb выявляет мошеннические аккаунты[104]104
  Shih-ho Cheng, Unboxing the random forest classifier: the threshold distributions, Airbnb Engineering and Data Science, https://medium.com/airbnb-engineering/unboxing-the-random-forest-classifier-the-threshold-distributions-22ea2bb58ea6.


[Закрыть], а в медицине ставятся диагнозы (об этом нам предстоит поговорить в следующей главе).

Когда надо определить меру пресечения для правонарушителя, оказывается, что алгоритмы случайного леса имеют два колоссальных преимущества перед своими живыми “коллегами”. Первое – при равных условиях программа всегда выдает одинаковые решения. Гарантируется согласованность решений, но не в ущерб персональному рассмотрению дел. Второе важнейшее достоинство заключается в том, что прогнозы алгоритма еще и намного более точные.

Люди против машин

В 2017 году ученые решили проверить, насколько компьютерные прогнозы могут конкурировать с решениями судей[105]105
  Jon Kleinberg, Himabindu Lakkaraju, Jure Leskovec, Jens Ludwig and Sendhil Mullainathan, Human Decisions and Machine Predictions, NBER Working Paper no. 23180 (Cambridge, MA: National Bureau of Economic Research, Feb. 2017), http://nber.org/papers/w23180. На самом деле в этом исследовании использовался “градиентный бустинг над решающими деревьями” – подход, подобный “случайным лесам”, но отличный от них. В обоих методах для принятия решения агрегируются прогнозы множества решающих деревьев, с той разницей, что при градиентном бустинге деревья вырастают последовательно, а в случайных лесах – параллельно. Для этого исследования данные предварительно поделили пополам. На одной половине учили алгоритм, а другую зарезервировали. Готовый к работе алгоритм брал примеры из той половины, которую ему до сих пор не показывали, и пытался предсказать грядущие события. Если бы данные изначально не разделили на две части, алгоритм просто превратился бы в мудреную справочную таблицу.


[Закрыть].

Для эксперимента исследователям предоставили доступ к досье всех, кто был арестован в Нью-Йорке за пятилетний период с 2008 по 2013 год. За это время по вопросу об освобождении под залог перед судом предстали три четверти миллиона человек, так что материала для тестирования программы в противоборстве ее с судом человеческим было предостаточно.

В нью-йоркском судопроизводстве по этим делам алгоритмы не использовались, но исследователи взялись за создание множества деревьев принятия решений задним числом, чтобы проверить, насколько хорошо алгоритм справился бы с прогнозом рисков нарушения обвиняемыми условий освобождения под залог. В компьютер загрузили информацию о подсудимых – истории приводов в полицию, сведения о последнем преступлении и прочее. Машина рассчитала вероятность того, что обвиняемый не будет соблюдать условия освобождения под залог.

В реальности 408 283 обвиняемых были освобождены из-под ареста еще до суда. Любой из них запросто мог сбежать или совершить новое противоправное деяние – стало быть, мы оказываемся в выгодном положении, так как знаем, чем дело кончилось, и можем сравнить точность рассчитанных прогнозов и судейских решений. Нам доподлинно известно, кто впоследствии не явился в суд (15,2 %) и кого арестовали вновь за повторное правонарушение в период освобождения под залог (25,8 %).

К сожалению ученых, в то время судьи не удовлетворяли ходатайство об освобождении под залог, если обвиняемый не заслуживал доверия, поэтому для тех, кто остался под арестом до суда, не удалось на практике проверить, было ли постановление суда справедливым. Это несколько осложняло исследование. Невозможно было дать объективную количественную оценку точности решений суда в целом. Если нет фактов, которые подтвердили бы или опровергли прогноз поведения этих арестованных, нельзя точно определить и общую погрешность результатов эксперимента. В таком случае остается только предполагать, как повели бы себя эти люди, если бы их освободили под залог[106]106
  Ученые не пожалели времени на разработку статистических методов для решения этой конкретной задачи, так что все-таки можно провести обоснованное сравнение прогнозов, которые дали люди и машины. Подробнее об этом см. Kleinberg et al., Human Decisions and Machine Predictions.


[Закрыть], и сравнительный анализ работы машин и судей можно выполнить только косвенным путем.

Впрочем, не вызывало сомнений, что люди и машины рассудили по-разному. Как показали исследователи, суд не увидел серьезных рисков в поведении тех арестованных, кого алгоритм счел действительно опасными преступниками. Собственно, судьи выпустили почти половину тех заключенных, кого алгоритм записал в группу наибольшего риска.

Но кто же прав? Как показали факты, программа не зря беспокоилась за определенный сегмент. Больше 56 % людей из этой группы не явились в суд, а 62,7 %, выйдя на волю, принялись за старое – и совершили в том числе такие тяжкие преступления, как изнасилование и убийство. Алгоритм все это просчитал.

Авторы эксперимента утверждали, что их алгоритм по своим возможностям превосходит живых судей при любых вариантах его применения. Их вывод подкрепляется цифрами. Если ваша цель – сократить численность арестованных, содержащихся под стражей до суда, алгоритм отправит за решетку на 41,8 % обвиняемых меньше при тех же показателях преступности. А если процент выпущенных под залог вас устраивает, тоже хорошо – тогда алгоритм поможет снизить долю нарушений условий залога на 24,7 % просто за счет более обоснованного отбора тех, кого можно освободить.

Это не просто теоретические рассуждения. В Род-Айленде подобные программы используются судами в течение восьми последних лет, и загруженность тюрем сократилась на 17 %, а частота рецидивов преступлений – на 6 %. А это сотни человек из группы низкого риска, которых нет нужды лишать свободы, и сотни несовершённых преступлений. К тому же, если учесть, что в Великобритании содержание одного заключенного под стражей обходится казне в 30 000 фунтов в год[107]107
  “Costs per place and costs per prisoner by individual prison”, National Offender Management Service Annual Report and Accounts 2015–16, Management Information Addendum, Ministry of Justice information release, 27 Oct. 2016, https://gov.uk/government/uploads/system/uploads/attachment_data/file/563326/costs-per-place-cost-per-prisoner-2015–16.pdf.


[Закрыть] – а в США год заключения в тюрьме строгого режима может стоить намного дороже, чем обучение в Гарварде[108]108
  Marc Santora, City’s annual cost per inmate is $ 168,000, study finds, New York Times, 23 Aug. 2013, http://nytimes.com/2013/08/24/nyregion/citys-annual-cost-per-inmate-is-nearly-168000-study-says.html; Harvard University, Harvard at a glance, https://harvard.edu/about-harvard/harvard-glance.


[Закрыть], – экономятся огромные суммы денег налогоплательщиков. Это победа – и выигрывают все.

В самом деле?

Найти Дарта Вейдера

Конечно, ни один алгоритм не может абсолютно безошибочно предсказать действия любого человека. Люди слишком безалаберны, непоследовательны и эмоциональны, для того чтобы уверенно прогнозировать их ближайшее будущее. Компьютер дает более точные прогнозы, но может и ошибиться. Вопрос в том, что станется со всеми теми гражданами, для кого неверно оценили потенциальные риски.

Ошибки алгоритмов можно разделить на две категории. Ричард Берк, профессор криминологии и статистики из Пенсильванского университета, первопроходец в области прогнозирования рецидивной преступности, предложил эффектный способ описания таких ошибок.

“Бывают хорошие парни и плохие, – объяснил он мне. – Фактически алгоритм решает, кто Дарт Вейдер, а кто Люк Скайуокер”.

Одна из возможных ошибок – освободить из-под ареста Дарта Вейдера, то есть дать ложноотрицательный прогноз. Это происходит тогда, когда вы не сумели разглядеть в личности человека потенциальную опасность.

С другой стороны, если оставить в заключении Люка Скайуокера, это будет ложноположительный прогноз. Так бывает, когда алгоритм ошибочно включает человека в группу высокого риска.

Ошибки этих двух типов – ложноположительная и ложноотрицательная оценки – характерны не только для сферы – рецидивной преступности. В нашей книге мы еще не раз с ними столкнемся. От них не застрахован ни один алгоритм, предназначенный для классификации.

Алгоритмы Берка претендуют на точность прогноза убийств 75 %, то есть это одни из самых эффективных методов в этой области[109]109
  Luke Dormehl, The Formula: How Algorithms Solve All Our Problems… and Create More (London: W. H. Allen, 2014), p. 123.


[Закрыть]. Впечатляющий уровень точности, если принять во внимание, какой свободой воли мы, по нашему убеждению, обладаем. Но даже при такой точности прогноза очень многие Люки Скайуокеры остаются за решеткой только потому, что, на первый взгляд, похожи на Дартов Вейдеров.

Когда к алгоритму обращаются не просто с вопросом о залоге или условно-досрочном освобождении, а выносят приговор на основе его расчета, последствия ошибочной характеристики обвиняемого могут быть более драматичны. Пример из современной жизни: с недавних пор в некоторых американских штатах судам уже разрешают при назначении срока заключения учитывать рассчитанную для данного обвиняемого степень риска. Это нововведение вызвало горячие споры, и на то есть основания: одно дело доверить программе решать, кого можно освободить досрочно, а другое – в принципе рассчитать срок лишения свободы.

Проблема отчасти в том, что на выбор срока заключения влияет не только вероятность повторного преступления – ее-то алгоритмы как раз умеют рассчитывать, – а еще множество разных условий. Судья должен принять во внимание потенциальную опасность преступника для общества, сдерживающее действие приговора на других потенциальных правонарушителей, надежду на возмездие со стороны жертвы преступления и шансы обвиняемого на исправление. Слишком много факторов на весах – неудивительно, что чересчур большие полномочия компьютеров в правосудии вызывают возражения. И неудивительно, что такие примеры, как дело Пола Дзилли, вызывают настороженность[110]110
  Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, Machine bias, ProPublica, 23 May 2016, https://propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.


[Закрыть].

Дзилли обвинялся в краже газонокосилки. В феврале 2013 года он стоял перед судьей Бэблером в округе Бэррон, штат Висконсин, и ему уже было известно, что его адвокаты заключили досудебное соглашение с обвинением. Обе стороны полагали, что в его случае длительное пребывание в тюрьме было бы не лучшим решением. Дзилли не сомневался, что судья просто утвердит это соглашение.

К несчастью для него, в судах Висконсина использовался запатентованный алгоритм оценки рисков под названием COMPAS. Механизм его работы строго засекречен, это коммерческая тайна, как было и в случае с инструментом бюджетного регулирования, применявшимся в Айдахо (см. главу “Власть”). Но в отличие от инструмента бюджетного регулирования программа COMPAS закрыта для широкой публики до сих пор. Мы знаем лишь, что расчеты выполняются на основании анкетирования обвиняемых. В анкете был, в частности, такой вопрос: “Голодный человек имеет право на кражу – вы согласны или не согласны?” Или: “Если вы жили с обоими родителями и они разошлись, сколько вам было лет на тот момент?”[111]111
  ‘Risk assessment’ questionnaire, https://documentcloud.org/documents/2702103 -Sample-Risk-Assessment-COMPAS-CORE.html.


[Закрыть] Программу разработали исключительно ради того, чтобы оценивать вероятность рецидива правонарушения в течение двух лет, и точность расчета этого параметра составляла примерно 70 %[112]112
  Tim Brennan, William Dieterich and Beate Ehret (Northpointe Institute), Evaluating the predictive validity of the COMPAS risk and needs assessment system, Criminal Justice and Behavior, vol. 36, no. 1, 2009, pp. 21–40, http://northpointeinc.com/files/publications/Criminal-Justice-Behavior-COMPAS.pdf. Согласно исследованию 2018 года алгоритм COMPAS продемонстрировал такую же точность, как “коллектив” респондентов. Исследователи опросили двадцать неподготовленных человек и показали, что их прогноз повторного правонарушения совпадает с оценкой системы COMPAS. Это интересное сравнение, но нельзя забывать, что в реальности у судей нет за дверью бригады незнакомцев, высказывающих свое мнение. Судьи работают в одиночку. И сравнивать им не с чем. См. Julia Dressel and Hany Farid, “The accuracy, fairness, and limits of predicting recidivism”, Science Advances, vol. 4, no. 1, 2018.


[Закрыть]. Это означает, что примерно в каждом третьем случае оценка была неверной. Тем не менее судьи, назначая подсудимому наказание, пользовались этой программой.

Дзилли получил плохую оценку. Алгоритм предсказал ему высокий риск насильственного преступления в будущем и средний риск повторного общеуголовного правонарушения. “Я смотрю на оценку риска, – сказал судья Бэблер на заседании суда, – и хуже быть не может”.

Результаты расчета по делу Дзилли вызывали у судьи больше доверия, чем соглашение между защитой и обвинением, и он аннулировал соглашение, а Дзилли наказал вдвойне сурово – назначил ему два года в тюрьме штата вместо одного в окружной тюрьме.

Трудно сказать, действительно ли Дзилли заслужил столь высокую оценку риска, хотя точность расчетов 70 % явно невелика для того, чтобы вердикт программы перевешивал в суде другие обстоятельства.

Дело Дзилли широко комментировалось в СМИ, но это только одно из многих подобных дел. В 2003 году Кристофер Дрю Брукс, 19 лет, вступил в половую связь с четырнадцатилетней девочкой по обоюдному согласию, и суд штата Вирджиния судил его по обвинению в совращении несовершеннолетней. В таких случаях директивы по назначению наказания предписывают тюремное заключение сроком от семи до шестнадцати месяцев. Но была принята во внимание оценка риска (на этот раз вычисленная в другой программе, не в COMPAS), и рекомендованный срок скорректировали – подняли верхний предел до двух лет. С учетом этих обстоятельств судья приговорил Брукса к полутора годам тюремного заключения[113]113
  Christopher Drew Brooks v. Commonwealth, Court of Appeals of Virginia, Memorandum Opinion by Judge Rudolph Bumgardner III, 28 Jan. 2004, https://law.justia.com/cases/virginia/court-of-appeals-unpublished/2004/2540023.html.


[Закрыть].

Дело здесь вот в чем. В данном случае основным фактором при расчете риска рецидива был возраст обвиняемого. Юный возраст Брукса, которого судили за преступление на половой почве, оказался для него минусом, хотя на самом деле это означало, что он и его партнерша были почти ровесниками. Вот если бы ему стукнуло 36 – то есть он был бы на 22 года старше той девочки, – программа рекомендовала бы вовсе не отправлять его в тюрьму[114]114
  ACLU brief challenges constitutionality of Virginia’s sex offender risk assessment guidelines, American Civil Liberties Union Virginia, 28 Oct. 2003, https://acluva.org/en/press-releases/aclu-brief-challenges-constitutionality-virginias-sex-offender-risk-assessment.


[Закрыть].

Не в первый и не в последний раз люди предпочли мнение компьютера своему собственному. Спрашивается, что можно с этим сделать? Верховный суд Висконсина имеет мнение на этот счет. По поводу угроз, которые несет в себе чрезмерное доверие судьи программе COMPAS, было вынесено резюме: “Окружным судам, использующим программу COMPAS для оценки рисков, следует действовать по своему усмотрению с учетом личности каждого обвиняемого”[115]115
  State v. Loomis, Supreme Court of Wisconsin, 13 July 2016, http://caselaw.findlaw.com/wi-supreme-court/1742124.html.


[Закрыть]. Впрочем, Ричард Берк считает такой подход излишне оптимистичным: “Суды, и особенно судьи, которых избирают граждане, стараются избегать ошибок. Алгоритм позволяет им сократить объем работы и снять с себя лишнюю ответственность”[116]116
  Из личной беседы с Ричардом Берком.


[Закрыть].

Есть еще вот какой вопрос. Если алгоритм включит кого-нибудь в группу высокого риска и судья лишит этого человека свободы, мы никогда не узнаем, насколько точен был прогноз. Взять хотя бы Дзилли. Возможно, он совершил бы насильственное преступление. А возможно, и нет. Возможно, клеймо опасного преступника и отсидка в тюрьме штата повлияли на всю его дальнейшую жизнь, и, если бы было принято досудебное соглашение, его судьба сложилась бы иначе. Мы не можем проверить машинные прогнозы, поэтому не можем знать, был ли прав судья, когда принял на веру оценку высокого риска, мы так и не знаем, кем был Дзилли – Дартом Вейдером или Люком Скайуокером.

Здесь нет простого и ясного решения. Как убедить людей в том, что, работая с подобными программами, они должны включать здравый смысл? Но если нам и удастся это сделать, остается еще один вопрос. Пожалуй, наиболее дискуссионный.