Текст книги "Hello World. Как быть человеком в эпоху машин"

Предвзятость машин

В 2016 году независимое онлайн-издание ProPublica, которое впервые рассказало о Дзилли, занялось подробным исследованием программы COMPAS и воспроизвело методику оценки потенциальных рисков для семи с лишним тысяч преступников, чьи дела слушались в период с 2013 по 2014 год во Флориде[117]117
  Angwin et al., Machine bias.


[Закрыть]. Журналисты решили выяснить, кто из них совершал повторные правонарушения, чтобы проверить, насколько точен был прогноз. Но кроме того, их интересовало, различались ли оценки для белых и чернокожих обвиняемых.

Хотя в явном виде расовая принадлежность в алгоритме не учитывалась, журналисты обнаружили, что в процессе расчетов не все случаи воспринимались одинаково. В целом вероятность ошибки для чернокожих и белых подсудимых была приблизительно одной и той же, но, оценивая людей из разных расовых групп, программа ошибалась по-разному.

Для темнокожих обвиняемых из группы Люков Скайуокеров, у кого первый арест стал последним конфликтом с полицией, вероятность ошибочного включения в группу высокого риска возрастала вдвое по сравнению с такими же, но белыми правонарушителями. Ложноположительные результаты расчетов оказались смещены в черный сектор. И наоборот, белые Дарты Вейдеры, в течение двух лет после выхода на свободу совершившие новое преступление, имели в два раза больше шансов попасть по ошибке в группу низкого риска, чем чернокожие Вейдеры. Ложноотрицательные оценки преобладали в белом секторе.

Неудивительно, что статьи в ProPublica подняли волну негодования как в Америке, так и за ее пределами. В сотнях публикаций резко осуждалась равнодушная методика расчетов и звучали призывы прекратить использование в правосудии несовершенных и необъективных программ, ведь от вынесенного приговора зависит судьба человека. Трудно не согласиться с валом критики – каждый обвиняемый, независимо от того, кто или что рассматривает его дело, заслуживает честного и объективного суда, и в расследовании журналистов ProPublica складывается неблагоприятная для алгоритма картина.

Но остережемся пока списывать в утиль “несовершенную программу”. Прежде чем отринуть саму идею применения компьютеров в судействе, надо подумать о том, каким должен быть объективный алгоритм.

Конечно, хотелось бы, чтобы прогнозы в отношении всех людей с любым цветом кожи были одинаково точные. Логично также потребовать, чтобы термин “высокий риск” тоже трактовался для всех одинаково. Программа должна эффективно вылавливать потенциальных рецидивистов, невзирая на их расу и прочие социальные признаки. Кроме того, как писала ProPublica, частота и характер ошибок при расчетах не должны зависеть от расовой принадлежности.

Вроде пока мы не требуем ничего сверхвозможного. Однако не все так очевидно. К сожалению, некоторые условия объективности несовместимы с точки зрения математики.

Сейчас объясню. Предположим, вы останавливаете прохожих и с помощью своего алгоритма оцениваете вероятность того, что они кого-нибудь убьют. Поскольку подавляющее большинство убийц – мужчины (действительно, по всему миру 96 % убийств совершают мужчины[118]118
  Global Study on Homicide 2013 (Vienna: United Nations Office on Drugs and Crime, 2014), http://unodc.org/documents/gsh/pdfs/2014_GLOBAL_HOMICIDE_BOOK_web.pdf.


[Закрыть]), то при условии, что программа для выявления убийц работает хорошо, в группе высокого риска неизбежно окажется больше мужчин, чем женщин.

Предположим, точность прогнозов для нашего алгоритма составляет 75 %. Иначе говоря, три четверти тех, кому она присвоила высокие значения риска, действительно являются Дартами Вейдерами.

Рано или поздно, приставая к прохожим, вы наберете 100 потенциальных (с точки зрения программы) убийц. Согласно статистике, 96 из них должны быть мужчинами, а 4 – женщинами. Посмотрите на иллюстрацию справа. Черные кружки соответствуют мужчинам, светло-серые – женщинам.

Далее, поскольку программа дает прогнозы для мужчин и женщин с одинаковой точностью 75 %, то четверть всех женщин и четверть всех мужчин на самом деле окажутся Люками Скайуокерами – то есть опасности для общества они не представляют, а в возможные убийцы их записали на основании неверного расчета.

По второй диаграмме после несложных подсчетов вы можете увидеть, что против мужчин будет выдвинуто больше незаслуженных обвинений, чем против женщин – по той простой причине, что вообще среди убийц мужчин больше, чем женщин.

Это сухой математический факт, не имеющий никакого отношения ни к преступности, ни к компьютерным программам. Перекос в результате вытекает из перекоса в жизни. Убийства чаще совершают мужчины, поэтому мужчин чаще подозревают в том, что они могут совершить убийство[119]119
  Вероятность такого результата существует всегда, даже без учета пола в расчетах. При любом методе прогнозирования, основанном на таких параметрах, которые в большей мере свойственны одной группе, чем другой – например, на наличии ранее совершенных насильственных преступлений, – несправедливость может иметь место.


[Закрыть].

С математической точки зрения невозможно разработать тест, который будет одинаково точно работать для всех слоев общества и при этом выдавать одинаковый процент ложноположительных и ложноотрицательных прогнозов во всех группах обвиняемых, если только в каждой такой группе доля людей, совершивших преступление, не будет одной и той же.

Афроамериканцы, безусловно, веками испытывали на себе гнет неравенства и предвзятого отношения. По этой причине до сих пор в нижних социально-экономических стратах и на верхних строках криминальной статистики большинство составляют афроамериканцы. Кроме того, некоторые факты свидетельствуют о повышенном интересе полиции к гражданам с темной кожей – по крайней мере в США, в определенных видах преступности. Скажем, и черные, и белые курят марихуану на равных, однако афроамериканцы попадаются на ней в несколько раз чаще, чем белые, и эта разница может быть восьмикратной. Каковы бы ни были причины диспропорции, в США, как ни грустно, показатели приводов в полицию различаются в зависимости от расы. За повторные правонарушения черных арестовывают чаще, чем белых. Алгоритм не судит их по цвету кожи – он руководствуется теми факторами, которые стали логичным следствием выраженного социального неравенства, исторически сложившегося в Америке. Пока во всех социальных и расовых группах показатели по арестам не сравняются, подобная необъективность останется в силу законов математики.

Это не умаляет важности проделанной интернет-изданием работы. Журналистское расследование показало, как легко алгоритмы закрепляют былое неравенство. Но и для алгоритма это тоже не оправдание. Если компания зарабатывает на анализе персональных данных, то, с точки зрения морали (если уж не закона), она обязана отвечать за свои промахи и недостатки методики расчета. Однако компания Equivant (бывшая Northpointe), разработчик алгоритма COMPAS, по-прежнему держит его детали в строжайшем секрете под предлогом защиты интеллектуальной собственности[120]120
  ACLU, The war on marijuana in black and white, June 2013, https://www.aclu.org/report/report-war-marijuana-black-and-white.


[Закрыть][121]121
  Наверное, должно вызвать удивление, что Верховный суд Висконсина поддержал позицию Equivant. Эрик Лумис, которого судья при помощи оценочного инструмента COMPAS приговорил к шести годам тюремного заключения, подал апелляцию. В деле “Лумис против штата Висконсин” говорилось, что использование находящейся в частной собственности компьютерной программы с закрытым кодом для оценки риска и вынесения приговора нарушало право обвиняемого на справедливое рассмотрение дела, так как защита не могла оспорить научную обоснованность оценки. Однако Верховный суд Висконсина постановил, что применение судом первой инстанции машинного средства оценки при вынесении приговора не нарушало право подсудимого на надлежащую правовую процедуру: Supreme Court of Wisconsin, case no. 2015AP157-CR, opinion filed 13 July 2016, https://wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690.


[Закрыть].

Здесь возможны варианты. Алгоритмы такого типа не содержат каких-либо неотъемлемых элементов, из-за которых обязательно должны были бы проявиться пережитки прошлого. Все зависит только от исходных данных. Мы можем оставаться, как выразился Ричард Берк, “твердолобыми эмпириками” и довольствоваться имеющимися показателями, а можем признать несправедливость нынешней ситуации и с учетом этого скорректировать цифры.

В качестве иллюстрации попробуем поискать в Google картинки по запросу “профессор математики”. Вы получите несметное множество изображений белого мужчины средних лет на фоне исписанной формулами доски – хотя, возможно, ничего другого вы и не ждали. В первой двадцатке картинок я обнаружила одну-единственную женщину, что отражает реальность с удручающей достоверностью: среди профессоров математики примерно 94 % – мужчины[122]122
  Lucy Ward, Why are there so few female maths professors in universities? Guardian, 11 March 2013, https://theguardian.com/lifeandstyle/the-womens-blog-with-jane-martinson/2013/mar/11/women-maths-professors-uk-universities.


[Закрыть]. Однако при любой точности расчета можно было бы возразить, что алгоритм – не самое подходящее зеркало для нашего мира, особенно если отраженная в нем нынешняя реальность – всего лишь результат многовекового неравноправия. Но Google при желании мог бы слегка подправить свой алгоритм, так чтобы первыми показывались ссылки с профессорами женского пола или другой расы, немного уравновесить таким образом поиск и создать картину не реального мира, а мира нашей мечты.

В судебной системе происходит то же самое. В сущности, алгоритм позволяет нам поставить вопрос так: какая доля данной социальной прослойки предположительно попадет в группу высокого риска при абсолютно справедливом устройстве общества? Программа может сразу выдать численный ответ. Или, если нам кажется, что нецелесообразно одним махом исключать все перекосы в судопроизводстве, можно велеть алгоритму идти к конечному результату поэтапно.

Кроме того, к оценке подсудимых из группы высокого риска тоже можно подходить по-разному. В случае освобождения под залог, когда главный фактор для машинного прогноза – это риск неявки обвиняемого в суд в назначенный день и час, стандартным решением станет отказ всем обвиняемым из группы высокого риска. Однако можно было бы предусмотреть в алгоритме и выяснение вероятных причин неявки в суд. Есть ли у подсудимого возможность приехать в суд? Может быть, родительские обязанности помешали ему явиться вовремя? Нельзя ли написать программу так, чтобы социальные диспропорции не усугублялись, а сглаживались?

Ответы на эти вопросы скорее найдутся не на советах директоров частных компаний, а в открытых общественных дискуссиях и на заседаниях правительства. Отрадно, что все громче звучат призывы наладить в этой сфере контроль за компьютерными программами. Подобно тому, как Управление по контролю качества продуктов питания и лекарств (FDA) следит за состоянием дел в американской фармацевтике, аналогичный регулирующий орган, не вынося сор из избы, проверял бы, насколько верны, согласованны и справедливы решения, и обладал бы полномочиями одобрять или запрещать применение того или иного программного продукта в работе с живыми людьми. А пока этого не произошло, очень хорошо, что ProPublica и ей подобные организации неустанно привлекают алгоритмы к ответу. Ровно до тех пор, пока не будет выдвинуто требование запретить все алгоритмы, которым инкриминировали несправедливые оценочные методики. По крайней мере, стоит хорошенько подумать, куда они могут нас завести, если мы их сохраним.

Мучительный выбор

Мы должны обсудить жизненно важный вопрос. Если вообще отказаться от помощи компьютеров, какую судебную систему мы получим? Ведь разнобой в решениях – не единственная беда, с которой, как выяснилось, сталкиваются судьи.

По закону, классовые, расовые и гендерные различия не должны влиять на приговор. (Все-таки предполагается, что Фемида слепа.) Но несмотря на то, что судьи в подавляющем большинстве стараются сохранять объективность, мы вновь и вновь наблюдаем случаи дискриминации. Как показали проведенные в США исследования, чернокожие обвиняемые в среднем отправляются в тюрьму на более долгий срок[123]123
  Sonja B. Starr and M. Marit Rehavi, Racial Disparity in Federal Criminal Charging and Its Sentencing Consequences, Program in Law and Economics Working Paper no. 12–002 (Ann Arbor: University of Michigan Law School, 7 May 2012), http://economics.ubc.ca/files/2013/05/pdf_paper_marit-rehavi-racial-disparity-federal-criminal.pdf.


[Закрыть], у них меньше шансов выйти на свободу под залог[124]124
  David Arnold, Will Dobbie and Crystal S. Yang, Racial Bias in Bail Decisions, NBER Working Paper no. 23421 (Cambridge, MA: National Bureau of Economic Research, 2017), https://princeton.edu/~wdobbie/files/racialbias.pdf.


[Закрыть] и больше – оказаться в камере смертников[125]125
  John J. Donohue III, Capital Punishment in Connecticut, 1973–2007: A Comprehensive Evaluation from 4686 Murders to One Execution (Stanford, CA, and Cambridge, MA: Stanford Law School and National Bureau of Economic Research, Oct. 2011), https://law.stanford.edu/wp-content/uploads/sites/default/files/publication/259986/doc/slspublic/fulltext.pdf.


[Закрыть], при этом вероятность приведения смертного приговора в исполнение для них выше[126]126
  Adam Benforado, Unfair: The New Science of Criminal Injustice (New York: Crown, 2015), p. 197.


[Закрыть]. Были сделаны и другие выводы: за одни и те же преступления мужчины получают более суровые приговоры, чем женщины[127]127
  Sonja B. Starr, Estimating Gender Disparities in Federal Criminal Cases, University of Michigan Law and Economics Research Paper no. 12–018 (Ann Arbor: University of Michigan Law School, 29 Aug. 2012), https://ssrn.com/abstract=2144002 или http://dx.doi.org/10.2139/ssrn.2144002.


[Закрыть], а обвиняемые с относительно низким уровнем доходов и образования – гораздо более продолжительные сроки[128]128
  David B. Mustard, Racial, ethnic, and gender disparities in sentencing: evidence from the US federal courts, Journal of Law and Economics, vol. 44, no. 2, April 2001, pp. 285–314, http://people.terry.uga.edu/mustard/sentencing.pdf.


[Закрыть].

Как и для компьютерных программ, далеко не всегда необъективность объясняется явными предрассудками, поскольку история повторяется. Социальные и культурные предубеждения могут стать неизбежным следствием действий, которые совершаются для выбора решения.

Чтобы найти причины, сначала надо на самом элементарном уровне разобраться в том, как работает интуиция, поэтому на минутку отлучимся из зала суда и попробуем решить такую задачку:

Бита в комплекте с мячом стоит 1 фунт 10 пенсов.

Бита на 1 фунт дороже мяча.

Сколько стоит мяч?

Задачка из великолепной книги экономиста и психолога, нобелевского лауреата Даниэля Канемана “Думай медленно… решай быстро”[129]129
  Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar, Straus & Giroux, 2011), p. 44. Русское издание: Канеман Д. Думай медленно… решай быстро. М.: АСТ, 2017.


[Закрыть] указывает нам, в какую коварную ловушку мы все попадаемся, пока размышляем.

Чтобы найти правильный ответ, надо немного подумать, зато неправильный готов сорваться с языка мгновенно. Наверняка вы едва не выпалили: “Десять пенсов!”[130]130
  Если бы мяч стоил 10 пенсов, то бита должна была бы стоить 1 фунт 10 пенсов, что в сумме составило бы 1 фунт 20 пенсов.


[Закрыть]

Не расстраивайтесь, если не угадали (5 пенсов) – 71,8 % судей тоже промахнулись. Даже тем, кто справился с задачкой, надо было подавить в себе первый интуитивный порыв.

История с судейскими решениями объясняется той самой борьбой между интуицией и зрелым размышлением. В целом психологи сходятся на том, что у нас есть два способа мышления. Система 1 – это автоматическое, инстинктивное мышление с высокой вероятностью ошибки. Это она заставляет нас среагировать мгновенно и ответить: десять пенсов. Система 2 – медленные, вдумчивые, осознанные рассуждения, хотя зачастую эта система довольно ленива[131]131
  Chris Guthrie, Jeffrey J. Rachlinski and Andrew J. Wistrich, Blinking on the Bench: How Judges Decide Cases, paper no. 917 (New York: Cornell University Law Faculty, 2007), http://scholarship.law.cornell.edu/facpub/917.


[Закрыть][132]132
  Kahneman, Thinking, Fast and Slow, p. 13.


[Закрыть].

Если спросить человека, как он решал задачу, окажется, что ход его мысли направляла Система 2 – но, как говорит Даниэль Канеман, “Система 2 нередко подтверждает или обосновывает логически те идеи и ощущения, которые сгенерировала Система 1”[133]133
  Ibid., p. 415.


[Закрыть].

В этом смысле судьи ничем не отличаются от всех нас. Они тоже люди с такими же странностями и слабостями, как и мы с вами. Факт тот, что наш интеллект не рассчитан на дотошный, системный анализ сложных, запутанных задач. Нам нелегко взвесить многочисленные соображения и быстро разложить все по полочкам, при этом не позволяя интуитивной Системе 1 включиться и упростить мыслительный процесс.

Например, когда встает вопрос об освобождении под залог, можно было бы надеяться, что судья, прежде чем вынести резолюцию, внимательно изучит дело и рассмотрит все аргументы за и против. Но, к сожалению, практика показывает обратное. Как выяснили психологи, судьи не склонны к мудреным схемам – они просто прокручивают в мозгу стандартный перечень предупреждающих флажков. Как только в досье обвиняемого обнаруживается любой из таких флажков – прежние судимости, связи с преступным сообществом, ходатайство со стороны обвинения, – ставится точка, и судья отказывает в просьбе об освобождении под поручительство или залог[134]134
  Dhami and Ayton, Bailing and jailing the fast and frugal way.


[Закрыть].

Беда в том, что слишком часто эти флажки коррелируют с расой, полом и уровнем образования. Как правило, судьи полагаются на свою интуицию больше, чем следовало бы, и таким подходом непроизвольно поддерживают необъективную систему.

И это еще не все. Как ни грустно, мы едва коснулись страшной темы предвзятого, несправедливого судейства.

Если вам случалось хоть раз в жизни убедить себя (лично мне случается, и нередко) в целесообразности покупки дорогущего платья или свитера только потому, что его уценили вдвое, вам полезно будет узнать, что такое эффект привязки. Нам трудно дать точную количественную оценку, мы с большей уверенностью сравниваем числа, чем называем абсолютные значения, не имея точки отсчета. Маркетологи уже много лет пользуются эффектом привязки для того, чтобы повлиять и на наше восприятие стоимости товаров, и на объемы наших закупок. Это работает примерно так же, как таблички в магазинах вроде “12 банок супа в одни руки”. Не подумайте, будто администрация не хочет, чтобы фанаты супа вовсе смели его с прилавков. Эти предупреждения ненавязчиво подсказывают вам, сколько банок вы должны купить. Мозг ориентируется на число 12 и дальше понижает порог. Проведенный в 1990-х годах эксперимент показал, что благодаря точно такой же табличке люди покупали больше консервов – в среднем по 7 банок вместо прежних 3,3[135]135
  Brian Wansink, Robert J. Kent and Stephen J. Hoch, An anchoring and adjustment model of purchase quantity decisions, Journal of Marketing Research, vol. 35, 1998, pp. 71–81, http://foodpsychology.cornell.edu/sites/default/files/unmanaged_files/Anchoring-JMR-1998.pdf.


[Закрыть].

Теперь вы, наверное, с пониманием отнесетесь к тому, что судьи тоже подвержены воздействию эффекта привязки. Если обвинение назовет крупную сумму возмещения ущерба, скорее всего, судья тоже назначит немалую денежную компенсацию[136]136
  Mollie Marti and Roselle Wissler, Be careful what you ask for: the effect of anchors on personal injury damages awards, Journal of Experimental Psychology: Applied, vol. 6, no. 2, 2000, pp. 91–103.


[Закрыть], а если прокурор требует более строгого наказания, то и судья обычно выносит относительно суровый приговор[137]137
  Birte Englich and Thomas Mussweiler, Sentencing under uncertainty: anchoring effects in the courtroom, Journal of Applied Social Psychology, vol. 31, no. 7, 2001, pp. 1535–1551, http://onlinelibrary.wiley.com/doi/10.1111/j.1559–1816.2001.tb02687.x.


[Закрыть]. Одно исследование показало даже, что звонок журналиста судье во время перерыва в заседании суда с намеком на вероятное наказание мог существенно повлиять на приговор по гипотетическому делу. Например, журналист мог задать вопрос: “Как вы полагаете, обвиняемый по этому делу получит больше трех лет или меньше?”[138]138
  Birte Englich, Thomas Mussweiler and Fritz Strack, Playing dice with criminal sentences: the influence of irrelevant anchors on experts’ judicial decision making, Personality and Social Psychology Bulletin, vol. 32, 2006, pp. 188–200, https://researchgate.net/publication/7389517_Playing_Dice_With_Criminal_Sentences_The_Influence_of_Irrelevant_Anchors_on_Experts%27_Judicial_Decision_Making. Criminal sentencing by preferred numbers, Journal of Empirical Legal Studies, vol. 17, no. 1, 2020, pp. 139–163. https://doi.org/10.1111/jels.12246.


[Закрыть] И, пожалуй, самое страшное: похоже, на решение судьи может повлиять число, выпавшее на игральных костях перед рассмотрением дела[139]139
  Ibid.


[Закрыть]. Даже самые умудренные опытом судьи порой попадались на такую уловку[140]140
  Ibid.


[Закрыть].

Привычка сравнивать цифры влияет на справедливость приговоров еще и по другой причине. Может быть, вы замечали за собой одно странное свойство. Чем громче музыка, тем менее заметно будет усиление звука, если вы прибавите уровень на одно деление; если повышение стоимости товара с 1,20 до 2,20 фунта покажется вам чересчур резким, а изменения цены с 67 на 68 фунтов вы даже не заметите; чем старше мы становимся, тем быстрее бежит время. Все дело в том, что мы оцениваем происходящее не в абсолютных единицах, а по относительной шкале. Год кажется нам не просто неким фиксированным периодом – в нашем восприятии доля каждого следующего года в нашей жизни сокращается. Величина отрезка времени, денежной суммы или уровень громкости в нашем восприятии подчиняются несложной математической формуле – закону Вебера – Фехнера.

Словом, по закону Вебера – Фехнера, порог чувствительности – минимальное изменение интенсивности раздражителя, которое мы способны уловить, – пропорционален начальной интенсивности раздражителя. Неудивительно, что маркетологи уже взяли это на вооружение. Они точно знают, до какой степени можно уменьшить размер и вес шоколадного батончика, так чтобы покупатели не заметили подвоха, и до какого предела можно повышать цену, прежде чем вы отправитесь за той же шоколадкой в другой магазин.

Вот и в правосудии та же проблема – судейские решения о суровости приговора тоже подчиняются закону Вебера – Фехнера. Чем строже наказание, чем больше разрыв между сроками. Если совершено более тяжкое преступление, чем то, за которое обычно дают двадцать лет, добавить еще месяца три вроде бы недостаточно: двадцать лет или двадцать с тремя месяцами – казалось бы, все едино. Хотя это не так, и как ни крути, три месяца в неволе – это три месяца в неволе. Однако судья не добавит всего несколько месяцев, а сразу шагнет на следующий уровень, так чтобы разница была ощутима – в данном случае назначит двадцать пять лет[141]141
  Mandeep K. Dhami, Ian K. Belton, Elizabeth Merrall, Andrew McGrath and Sheila Bird, Sentencing in doses: is individualized justice a myth? (готовится к печати). С любезного разрешения Мандип Дхами, из личной беседы с ней.


[Закрыть].

Мы можем сравнить реальные сроки с ожидаемыми согласно закону Вебера – Фехнера, так что все это правда. В 2017 году были проанализированы сто тысяч приговоров, вынесенных в Великобритании и Австралии, и выяснилось, что в 99 % случаев, когда вина подсудимого была доказана, назначенные наказания вписывались в эту формулу[142]142
  Ibid.


[Закрыть].

“Не важно, в чем именно вас обвиняют, к какому типу обвиняемых вы относитесь, в какой стране вас судят и что вам грозит – тюремное заключение или общественные работы”, – сказала мне автор этого исследования Мандип Дхами. Имеют значение только цифры, которые пришли в голову судье и показались ему подходящими.

К сожалению, можно еще много всего вспомнить о предубеждениях в судействе. Отцы дочерей склонны выносить женщинам более мягкие приговоры[143]143
  Adam N. Glynn and Maya Sen, Identifying judicial empathy: does having daughters cause judges to rule for women’s issues? American Journal of Political Science, vol. 59, no. 1, 2015, pp. 37–54, https://scholar.harvard.edu/files/msen/files/daughters.pdf.


[Закрыть]. Если местная команда только что проиграла матч, вряд ли судья охотно согласится на освобождение под залог. В одном широко известном исследовании было даже высказано предположение, что вероятность благоприятного завершения судебного процесса зависит от времени суток[144]144
  Shai Danziger, Jonathan Levav and Liora Avnaim-Pesso, Extraneous factors in judicial decisions, Proceedings of the National Academy of Sciences of the United States of America, vol. 108, no. 17, 2011, pp. 6889–6892, http://pnas.org/content/108/17/6889.


[Закрыть]. Результаты эксперимента еще нуждаются в подтверждении[145]145
  Keren Weinshall-Margel and John Shapard, Overlooked factors in the analysis of parole decisions, Proceedings of the National Academy of Sciences of the United States of America, vol. 108, no. 42, 2011, E833, http://pnas.org/content/108/42/E833.long.


[Закрыть], и пока неясно, так ли уж важен временной фактор, однако можно привести доказательства того, что было бы невыгодно предстать перед судом прямо перед обеденным перерывом – от судей, о которых шла речь в этой работе, скорее можно было ждать решения об освобождении под залог сразу после ланча, в то время как незадолго до перерыва вероятность хорошего финала была наименьшей.

Как показало другое исследование, судьи не любят принимать слишком много одинаковых решений подряд. Следовательно, если прямо перед вами слушали четыре дела и всех обвиняемых отпустили под залог, вам уже не на что надеяться[146]146
  Uri Simonsohn and Francesca Gino, Daily horizons: evidence of narrow bracketing in judgment from 9,000 MBA-admission interviews, Psychological Science, vol. 24, no. 2, 2013, pp. 219–224, https://ssrn.com/abstract=2070623.


[Закрыть].

Некоторые специалисты утверждают также, что наше отношение к незнакомцам зависит от температуры напитка, который мы держим в руках. Если вам, прежде чем вас с кем-нибудь познакомить, предложат подогретый напиток, ваш новый собеседник покажется вам более дружелюбным, великодушным и внимательным человеком[147]147
  Lawrence E. Williams and John A. Bargh, Experiencing physical warmth promotes interpersonal warmth, Science, vol. 322, no. 5901, pp. 606–607, https://ncbi.nlm.nih.gov/pmc/articles/PMC2737341/.


[Закрыть].

Мы говорили о том, что поддается количественной оценке. Но, несомненно, есть еще масса других условий, которые исподволь влияют на наше поведение и которые невозможно протестировать в зале суда.

Резюме

Буду с вами откровенна. Когда я впервые услышала о том, что в судах применяются компьютерные программы, мне это не понравилось. Программа может промахнуться, и, по-моему, безответственно давать компьютеру слишком много власти, если из-за погрешности в алгоритме человек лишится права на свободную жизнь.

Здесь я не одинока. Так считают многие – пожалуй, даже большинство – из тех, кому пришлось столкнуться в жизни с уголовным судом. Мандип Дхами рассказывала мне о том, как относятся подсудимые, с которыми она работала, к методам рассмотрения их дел. “Они все равно предпочитали человека компьютеру, хотя и понимали, что судья может наделать больше ошибок. Подсудимые хотят человеческого отношения”.

Кстати, адвокаты придерживаются того же мнения. Я беседовала с одним лондонским адвокатом, и он сказал, что в зале суда он старается извлечь пользу из слабых мест системы, а с алгоритмами это гораздо труднее. “Чем более предсказуемо решение, тем меньше места для тонких маневров в защите”.

Но когда я спросила Мандип Дхами, как она сама почувствовала бы себя, оказавшись под арестом, ответ был прямо противоположным: “Я не хочу, чтобы моя судьба решалась по чьей-то интуиции. Лучше, чтобы была логичная, обоснованная стратегия. Мы относимся к свободе действия судей как к чему-то священному. Думаем: как это прекрасно! Однако исследования показывают, что это вовсе не так. Ничего хорошего в ней нет”.

Я, как и все, считаю, что судейские решения должны быть как можно более объективными. Они должны опираться не на принадлежность обвиняемого к той или иной группе, а на факты. В этом отношении алгоритм не слишком надежен. Но выявить недостатки алгоритма – еще полдела. Мы не должны выбирать между несовершенной компьютерной программой и некой воображаемой идеальной системой. Сравнивать можно лишь алгоритм и то, что мы получим, если его не будет.

Чем больше я читала и разговаривала с разными людьми, тем лучше понимала, что мы слишком многого требуем от живых судей. Людям от природы свойственно предубеждение. На каждого Кристофера Дрю Брукса, неправедно осужденного алгоритмом, найдется огромное множество таких же обвиняемых, как Николас Робинсон, по делам которых несправедливые решения выносили люди без помощи машин. Я думаю, если алгоритм, пускай даже не без изъянов, работает в связке с судьями и их зачастую хромая логика как-то корректируется, это шаг в правильном направлении. По крайней мере, от систематической предвзятости и случайных погрешностей хорошо отлаженная программа может нас избавить. Всех судей не переделаешь, тем более тех, кто вообще не может объяснить, как и почему они вынесли тот или иной приговор.

Прежде чем взяться за разработку программы для уголовного правосудия, мы должны сесть и хорошенько подумать, каковы задачи правосудия. Мы не можем просто закрыть глаза и надеяться на лучшее – необходимо предельно четко и однозначно представлять себе, чего мы хотим от алгоритмов и какие человеческие слабости они должны компенсировать. Это вызывает ожесточенные споры о процедуре принятия решений в судах. Задача ставится непростая, но иначе мы не придем к обоснованному выводу о принципиальной возможности применения алгоритмов с пользой для себя.

В системе правосудия масса противоречий, которые лишь добавляют путаницы, поэтому ответить на вопросы такого рода очень и очень нелегко. Но алгоритмы потихоньку проникают в другие сферы жизни, где выбор решений сопряжен с гораздо меньшими трудностями, а цели алгоритмов гораздо яснее, и их польза для общества очевидна.