Текст книги "Прикладные проблемы внедрения этики искусственного интеллекта в России. Отраслевой анализ и судебная система"

Руководящие принципы и ценности этически-ориентированного ИИ

Индустрия ИИ и робототехники в современном мире стремительно развивается, хотя многие вопросы взаимодействия ИИ с обществом остаются либо принципиально нерешаемыми, либо неуспевающими за технологическим развитием. Революция робототехники обещает массу преимуществ, но, как и в случае с другими новыми технологиями, она сопряжена с рисками и новыми вопросами, с которыми общество должно столкнуться. Использование роботов должно соответствовать законодательным нормам и этическим принципам, но сами эти нормы и принципы могут быть не до конца выяснены в области взаимодействия с ИИ. Социальная рефлексия нередко медленно «догоняет» технологические инновации, что приводит к образованию «этического вакуума» [Moor, 1985]. Такой эффект означает, что ИИ-технологии развиваются по своим собственным законам, и это приводит к ряду этических коллизий и противоречий. Чтобы их избежать, необходимо провести ревизию существующих этических лакун в области использования ИИ и наметить пути их устранения. Искусственный интеллект все еще находится в зачаточном состоянии с точки зрения сопутствующих его развитию этических исследований.

Существует две взаимосвязанные проблемы использования ИИ с точки зрения этики. Первая – согласование работы ИИ с существующими в обществе ценностными установками. Вторая – формализация данных ценностных установок. Большинство программ ИИ ориентированы на нейтральный анализ данных. Однако для ряда задач, связанных с оценкой человеческой деятельности, это невозможно, противоречит законодательству или неэтично. Отсутствие ценностной составляющей лишает смысла работу программы для человеческих нужд. Одним из естественных способов минимизации риска причинения вреда программами ИИ (например, роботами) является их программирование в соответствии с нашими законами или этическим кодексом. Однако здесь перед нами встает ряд трудностей: законы могут быть расплывчатыми и контекстно-зависимыми, а сами роботы могут оказаться достаточно сложными для программирования в соответствии со всеми правовыми и этическими нормами. Более того, в силу ограниченности ценностных выборов конкретной ситуацией, бесконечность вариантов решений, с которым работает программа ИИ, может всерьез затруднить выработку этического решения.

Значительное число этических вопросов посвящено рискам дискриминационной практики алгоритмов, которые воспроизводят или даже усиливают враждебные настроения в обществе. Основное внимание должно быть уделено понятию дискриминации, как индивидуальной, так и коллективной, чтобы заложить основу измерения дискриминационной предвзятости, инструментов ее выявления и возможной коррекции. Например, постановление Европейского парламента 2016/679 от 27 апреля 2016 года [Regulation (EU), 2016/679] строго регулирует сбор персональных данных (религиозного, политического, сексуального, этнического характера и т. д.) и запрещает лицам, ответственным за алгоритмические решения, принимать их во внимание при автоматизированной обработке. Следует также уделить особое внимание уязвимым группам населения, таким как дети и инвалиды, а также другим лицам, которые исторически находились в неблагоприятном положении, подвергались риску изоляции или оказывались в ситуациях, характеризующихся асимметрией власти или информации (между работодателями и работниками, производителями и потребителями).

Для такого класса задач характерна проблема формализации собственно человеческих решений. Люди не являются полностью рациональными агентами. Вместо того чтобы рассчитывать свои действия по максимизации суммы функций полезности, мы зачастую имеем конкурирующие намерения. Иногда эмоциональные реакции не позволяют действовать рационально. Не все человеческие решения оказываются безупречными при их этической оценке. Следовательно, возникает более сложный вопрос: как выработать и формализовать этические принципы для ИИ. Некоторые исследователи занимались вопросом их формализации [Hibbard, 2001; Yudkowsky, 2004; Muehlhauser, Helm, 2012]. В данных исследованиях ключевым вопросом было то, какие можно найти пути для преодоления противоречий между четкостью вычислительных алгоритмов ИИ и неоднозначным, непоследовательным, субъективным разнообразием человеческих ценностей. Например, иногда одни исследователи предлагают основывать системы искусственного интеллекта на нравственности, но при этом не дают точного объяснения того, как агент по искусственному интеллекту должен выбирать действия, последовательно базирующиеся на ней [Haidt, Kesebir, 2010].

Существует целый класс этических проблем, связанных с этикой предсказуемости. Множество программ ИИ пишется для решения прогностических задач. Для ряда программ (например, в области медицины) уровень их эффективности достаточно высок и продолжает расти. Однако при непосредственном взаимодействии человека и программы на стороне человека могут возникать коллизии этического характера. В частности, не ясно, в какой степени пациенты должны и желают знать исход протекающего заболевания, риски возникновения новых заболеваний, характер новых болезней и проч. Также не вполне ясно, как должно регулироваться поведение лечащих врачей в ситуации такой осведомленности и широких возможностей прогнозирования, которая обеспечивается ИИ.

Точно так же программы по тестированию психологической совместимости (например, супружеских пар) могут иметь высокую предсказательную силу. Агент ИИ на основе уже известной информации о человеке может моделировать ценности и поведение людей, которые он наблюдает в течение достаточно длительного периода времени и лучше человека может предсказывать результаты выбора разных опций. Но последствия такого взаимодействия между ИИ и человеком представляют собой этическую трудность.

Также различные программы тестирования способностей студентов или планирования профессиональных и карьерных портфолио для абитуриентов сталкиваются с проблемой готовности пользователя программы ознакомиться с результатом. В последующем могут возникать различные виды субъективного дискомфорта, связанного с «программированием» выбора или эффектами снижения мотивации и проч.

Решение данных вопросов осложняется тем, что формализовать человеческий запрос не всегда возможно. Ряд авторов [Мuehlhauser, Helm, 2012] пришли к выводу, что люди не могут точно описать свои собственные ценности. Часто мы можем наблюдать у людей противоречия в их ценностной системе или отсутствие однозначных ответов на этические вопросы. Решения, принятые быстро, могут разительно отличаться от решений, которые долго продумывались или обсуждались. Ценности также могут изменяться в зависимости от пережитого опыта, под влиянием ближайшей среды и т. д.

В целом «ценностные» установки большинства программ ИИ на сегодняшний день – оптимизационные (или утилитарные). Таким образом, этический Кодекс ИИ – прагматический.

В связи с этими установками возникает масса проблем. Например, при выполнении инструкций по максимизации прибыли «Максимально увеличить прибыль, но никому не навредить» – для ИИ остается неясным, что имеется в виду под вредом. Идет ли речь о том, что не стоит заключать жесткие сделки, или не следует продавать никому то, что им не нужно? «Размышляя» над этими вопросами, ИИ может прийти к выводу, что в случае соблюдения всех этих правил, акционеры, сотрудничавшие с компанией, могут потерять свои деньги, что, действительно, причинит им вред [Raphael, 2009].

Есть и другой аспект. Поскольку рациональный агент выбирает действия для максимизации ожидаемой суммы функций полезности, он может выбирать действия, которые не увеличивают полезность в краткосрочном периоде, но в целом увеличивают его способность повысить полезность в будущем. Такие действия могут включать в себя самозащиту, увеличение собственных ресурсов и возможностей агента.

Если углубляться в детали этих компромиссов, то придется пересматривать этическую модель ИИ. Однако проблема не только в том, что недостаточно провести изменения в инструкции высокого уровня (такой как «максимизация прибыли»). Не совсем ясно, как сформулировать инструкции для ИИ так, чтобы сбалансировать двусмысленность максимизации прибыли с минимизацией вреда. Прибыль – это ценность, связанная с результатами, но существуют и другие способы определения ценности результатов, которые в более общем плане влияют на благосостояние человека [Arkin, 2013].

Процесс человеческой оценки тех или иных ситуаций зависит от слишком многих правил, условий и влияния среды, чтобы его можно было сформулировать через перечень конкретных аналитических высказываний. Существует мнение, что в силу отсутствия таких правил или точных способов их поиска [Tasioulas, 2017], более успешной стратегией является использование статистических данных для решения различных дилемм (как люди и с какой частотой поступают в конкретных ситуациях). Это было бы более эффективным способом взаимодействия с ИИ, однако потребовалась бы огромнейшая база данных и сложные алгоритмы ИИ для такого масштабного исследования человеческих ценностей статистическим путем. Это создает проблему курицы и яйца для этического ИИ: изучение человеческих ценностей требует мощного ИИ, но этический ИИ требует знания человеческих ценностей.

Таким образом, в масштабах проблемы этической оценки ИИ появляется дилемма. Если мы могли бы запрограммировать кодекс этики для регулирования поведения роботов, какую этическую теорию мы использовали бы? Или же роботы должны рассматриваться исключительно инструментально (как оружие, компьютеры и т. д.) и регулироваться соответствующим образом?

На эти вопросы предстоит ответить как широкой общественности, так и узким специалистам, занимающимся разработкой ИИ. Важную роль в экспертной подготовке решений поставленных проблем должны играть специальные комитеты по этической экспертизе разработки и внедрения того или иного продукта ИИ, куда будут входить специалисты из междисциплинарных областей. В ходе открытого обсуждения и свободной дискуссии ими будут вырабатываться решения по тем или иным этическим вопросам внедрения и успешной реализации ИИ.

Ключевые этические рекомендации, лежащие в основе настоящего документа, выстроены на основе определенных принципов и ценностей, которые мы последовательно артикулируем в этой части. Таким образом, настоящий документ основан на следующих этических принципах и ценностях.

1. Социальные принципы:

a. Уважение автономии человека на основе равенства прав и доступа к реализации потребностей в рамках закона.

б. Справедливость в распределении благ, социальная и правовая справедливость.

в. Право знать, как устроены те или иные социальные механизмы, в том числе включающие ИИ-технологии.

г. Отсутствие любых форм дискриминации или ущемления прав граждан, внимание к наиболее уязвимым группам граждан.

2. Экологические принципы:

Сохранение природы, разумное использование ресурсов, техническая надежность и безопасность.

3. Правовые принципы:

Верховенство закона, неприкосновенность частной жизни, надзор за законностью применения новых технологий и использованием старых.

4. Информационные принципы:

Прозрачность, объяснимость, доступность и открытость информации.

Системы ИИ должны функционировать в соответствии с этическими ценностями обществ, в которых они будут реализованы. Несовпадение этих значений между человеком и машиной может препятствовать их эффективному взаимодействию.

Вопрос о том, какие ценности машины должны использовать и как внедрить эти ценности в научном поле, до сих пор остается дискуссионным. В настоящее время рассматривается несколько влиятельных этических теорий, регулирующих взаимодействие человека и ИИ (деонтологические, утилитарные, этики добродетели и т. д.).

На этом уровне мы находим два типа взаимосвязанных проблем:

1. Каким образом решать этические проблемы, возникающие при использовании ИИ?

2. Как формализовать выработанные этические стратегии для самого ИИ?

Способствовать решению данных проблем может разработка руководства ИИ по этике, которое может быть адаптировано к конкретным профессиям и реальным сценариям. В нем будут изложены основные принципы и ценности, которые должны функционировать в системах искусственного интеллекта. Они могут основываться на его способности усваивать примеры и динамически адаптироваться к реальным ситуациям, с которыми придется столкнуться в определенной области.

Отдельно обозначим фундаментальные этические принципы работы ИИ:

1. ИИ не должен вредить людям своими действиями или бездействием.

2. ИИ обязан выполнять приказы людей, только если это не вступает в противоречие с п. 1.

3. ИИ должен стремиться продолжать свое существование и поддерживать его, кроме тех случаев, когда это противоречит п. 1 или п. 2 [Pei, 2018].

Этические аспекты применения и внедрения ИИ в судебной системе

1. Судебная система

Активное применение и распространение цифровых технологий не обошло стороной и такие сферы, как юриспруденция и судопроизводство. Применение искусственного интеллекта в данных сферах вызывает не меньшее число опасений, чем в области здравоохранения или образования. Традиционно в данной сфере человеческий фактор представляет собой наибольшую трудность. Риски подкупа судей, предвзятости следователей, различного рода уловки защиты, равно как и обвинения, психологические факторы воздействия на суд присяжных и/или свидетелей и проч., все это служило поводом для движения в сторону формализации судебных решений, ограничения роли человеческого вмешательства. В рамках подобных начинаний развитие и применение ИИ в правовой сфере было встречено с определенным энтузиазмом. Передача судебных решений в компетенцию ИИ может позволить значительно уменьшить риски недобросовестных рассмотрений дел, а также различного рода воздействия на участников судопроизводства. Применение так называемого «электронного правосудия», в котором решение выносит «ИИ-судья» (AI-judge), упрощает и ускоряет весь процесс принятия решения, уменьшает финансовые и временные издержки сторон, облегчает ознакомление с материалами дела. При этом ИИ-судья олицетворяет идеал абсолютной непредвзятости, бесстрастности и неподкупности. Как иронизируют некоторые современные правоведы, «антропоморфный судья всегда уже был создан по образу ИИ-судьи» [Bhorat, 2017].

Кроме того, машинизация обработки большого объема материалов должна значительно оптимизировать процесс рассмотрения дел и вынесения судебных решений. По мнению специалистов, внедрение ИИ должно улучшить качество судебных приговоров, уменьшить сроки судопроизводства. Внедрение электронного документооборота и цифровизация механизмов передачи и анализа данных позволит оптимизировать работу судебных органов [Нагорная, 2019].

Отметим, что в России созданы серьезные предпосылки для цифровизации различных процессов в судебной системе. В настоящее время максимальный эффект цифровизации в российской судебной системе обеспечивается при использовании систем электронной подачи документов и организации онлайн-взаимодействия сторон спора и судей, видеоконференц-связи, автоматического протоколирования судебных заседаний, а также при автоматизации деятельности аппарата суда. В ближайшем будущем развитие информационных технологий с высокой вероятностью позволит отказаться от проведения очных слушаний по широкому перечню дел на небольшие суммы, а также по бесспорным делам [Кашанин и др., 2020].

Цифровизация судебной системы будет осуществляться путем предоставления гражданам и организациям равных возможностей по использованию цифровых решений, позволяющих найти в электронной базе нужное дело; дистанционно знакомиться с материалами дела; участвовать в судебных заседаниях в режиме онлайн; получать и отправлять в электронном виде необходимые документы. Это обеспечит вклад судебной системы в экономическое развитие страны, поскольку позволит своевременно разрешать споры экономических агентов в арбитражных судах, а также рассматривать иные категории дел, включая уголовные.

Между тем, несмотря на перечисленные преимущества в отношении применения ИИ в судебной системе, специалистами высказывается также ряд опасений. Большинство из них носит этический характер. Судебные ошибки, фактор дискриминации, ущемление свободы воли человека при прогнозировании совершенного им правонарушения, неэтичность принятия во внимание биографических данных субъекта правонарушения, проблема иерархии отношений между человеком-судьей и ИИ-судьей, а также многие другие трудности этического характера дают основания для сомнений в некритическом применении ИИ в правовой сфере.

1. Одним из ключевых способов цифровизации судебной системы является введение компьютеризированных узлов обработки и принятия решений на всех уровнях судебно-правовой сферы. Речь идет о механизмах встраивания и инкорпорирования ИИ в цепочки судебных процессов или правовых споров. При этом подразумевается не линейный, но интерактивный тип взаимодействия между компьютеризированными и антропоморфными элементами системы. Отношения между людьми в данной сфере также предполагается регулировать с точки зрения цифрового обмена. В частности, после того как адвокат соберет материалы, они могут быть автоматически сгенерированы в исковое заявление, которое будет направленно в вышестоящие инстанции. Искусственный интеллект может быть подключен также на этапе отбора материалов. Адвокатские запросы могут формироваться с помощью соответствующего программного обеспечения. Между одним человеком и другим будет заложен механизм компьютеризированного оформления запроса и ответа. Ключевым узлом взаимодействия в заданных пределах будет отбор и анализ материалов, а также различные аспекты принятия решения, в частности подбор наиболее подходящего прецедента, решение о приобщении документов к материалам дела, подборка типовых решений по тому или иному делу и т. д.

Кейс. В апреле 2019 года проходил VI Московский юридический форум «Российская правовая система в условиях четвертой промышленной революции». В рамках мероприятия Председатель Совета судей России Виктор Момотов в докладе об особенностях работы судебной власти в цифровизированном мире указал на то, что важнейшей особенностью процесса современной диджитализации является его повсеместность для социальной, экономической и политической сфер жизни. Право не становится исключением – так, по мнению Момотова, апробация новых технологий может позитивно сказаться на институте судопроизводства в отношении законности, независимости судей, гласности и других его основополагающих принципах [Нагорная, 2019].

Как правило, проекты моделирования ИИ для формализации решения правовых вопросов построены по принципу алгоритмической матрицы оптимизации решений. Это значит, что система нацелена на так называемый «честный», или «холодный», поиск минимально затратного решения при максимальной его полезности. Мораль или справедливость подобных суждений не определена заранее и зависит от способа усвоения правил (объективный критерий, который был выбран), а также от того, каким образом была сформирована выборка для принятия решения. Кроме того, как правило, в человеческой коммуникации столкновение идей позволяет человеку прояснить свою собственную позицию, осознать ошибки, даже если изначально неверный выбор был сделан осознанно. Но большинство машинизированных решений на сегодняшний день не инициирует самостоятельный пересмотр решения. В связи с этим возникает деликатный вопрос: как определить или с помощью каких «измеримых» характеристик перевести понятия лояльности, доверия, ответственности (справедливости, достоверности, подотчетности), применяемые к алгоритмическим решениям. Нерешенные вопросы, подразумеваемые в данном сегменте цифровизации правовой сферы, вытекают из трудности формализации целого спектра, собственно ценностных категорий. Смысловые и ценностные (семантические и аксиологические) аспекты коммуникации сопровождаются неопределенностью и при взаимодействии людей. Однако в случае человеческой коммуникации они многократно уточняются и заменяются в процессе интеракции. Компьютеризированное взаимодействие не предполагает оперативной коррекции в процессе уже заданного общения. Отсюда возможны погрешности коммуникации с точки зрения представления интересов той или иной стороны. В частности, машинизированное решение может заключаться в оптимальном решении приобщения к исковому заявлению всех материалов дела, в то время как защищающий интересы подопечного адвокат-человек может ограничиться частичной выборкой. Нарушения в коммуникации могут возникать на протяжении всей цепочки взаимодействия между разными участниками процесса.

2. В настоящее время в судебной системе активно обсуждается вопрос о возможности полной замены судей системами ИИ. Аргументом в пользу такой замены, как было сказано выше, является избегание предвзятости, уменьшение коррупционной компоненты судопроизводства, устранение фактора дискриминационной погрешности, которая может зависеть от расы, пола, внешности, типа занятости или биографии человека. Идея замены человека-судьи на компьютеризированного исполнителя могла бы наиболее совершенным образом воплотить идею бесстрастности и независимости суда. Судебное решение устремится к максимальной формализации и объективности, согласно существующим нормам закона. Субъективный фактор в судейском решении должен быть сведен к минимуму. При таких характеристиках судебное решение в идеале должно сводиться к подведению любого частного случая (спора или коллизии) под реализацию общего закона. Судебное решение в этом случае будет четко формализованным предписанием. Фактически оно будет стремиться к четкому алгоритмическому выводу, где все значения пошагово прояснены (подкреплены законом и нормами права) и прозрачны для воспроизведения другим судьей при тех же вводных. При таком определении статуса судебных решений их полноценная компьютеризированная эмуляция должна оказаться делом техники. В идеале ИИ будет со стопроцентной вероятностью воспроизводить решение человека-судьи и наоборот. Наличие погрешностей же будет либо указывать на несовершенства человеческих решений (не принявших во внимание ряд объективных факторов или допустивших примесь субъективной оценки), либо на несовершенства самого ИИ, который ошибся на семантическом (при установлении значения), но не логическом участке работы [Miller, Wolf, Grodzinsky, 2019].

Кейс. В декабре 2018 года была принята Европейская этическая хартия о использовании искусственного интеллекта в судебных системах. Она стала первым международным актом, регулирующим использование ИИ в судопроизводстве [Нагорная, 2019].

Кейс. Специалисты из Университетского колледжа Лондона и Университета Шеффилда создали программное обеспечение, которое может предсказать решения по реальным судебным процессам с вероятностью, превышающей 70 %. С помощью данной разработки удалось спрогнозировать ряд решений ЕСПЧ с точностью до 79 %. В 2019 году с помощью этого же обеспечения ИИ-судья вынес решения по шести делам, пять из которых полностью совпали с решениями ЕСПЧ. В процессе анализа существа данных дел ИИ обработал около 600 дел с вынесенными и обнародованными судебными решениями, пока не пришел к собственному приговору [Taylors, 2020].

Вопрос о полноценной замене решений человека-судьи с помощью ИИ является сейчас очень обсуждаемым и дискуссионным. Сама идея об ИИ в правосудии задевает важные этические вопросы, связанные с автономией и юридической ответственностью самих ИИ.

Серьезная проблема в сфере алгоритмизации правовых решений – баланс между принятой человеком ответственностью и решениями ИИ. Человека можно судить за нарушение чужих прав и несоблюдение возложенных на него обязанностей. В ситуации, когда судейские решения выносятся человеком, на судью также возлагается и определенная ответственность, а также необходимость соблюдения прав [Sharkey, 2019]. В случае нарушения судьей возложенных на него обязательств он должен понести определенное наказание. Например, судья несет ответственность за совершение судебной ошибки, однако неясно, в какой степени мы можем возлагать ответственность ИИ на судью. В связи с риском ошибок ИИ может быть неясно, кто несет ответственность за любой возникающий ущерб. Законы об ответственности за продукцию на текущий момент часто возлагают ответственность на производителей (как это происходит через лицензионные соглашения с конечными пользователями в области программного обеспечения). Так, в случае производства военных роботов по всей цепочке поставок существует список субъектов, которые могут быть привлечены к ответственности: программист, производитель, группа правовой экспертизы оружия, офицер по военным закупкам, куратор робота и т. д. Некоторые специалисты полагают, что по мере того как роботы станут более автономными, ответственность можно будет возложить на них. Если ИИ способен продемонстрировать достаточно функций, которые обычно определяют индивидуальность человеческого субъекта, то его можно будет считать ответственным лицом. Однако другие специалисты указывают, что ответственность не может возлагаться на ИИ в силу отсутствия у последнего спонтанной свободы и внутреннего сознания [Warwick, 2011]. Как следствие, ситуация, в которой человека, наделенного ответственностью, обязанностями и правами, судит лицо, предположительно не обладающее такими характеристиками, представляется не справедливой. Процедура, в которой человека судит машина, является этически нерелевантной по причине того, что оба участника судопроизводства, как судья, так и обвиняемый, должны быть одинаково подотчетны закону. Закон должен быть един и для обвиняемого, и для судьи. Согласно концептуальной рамке суда как процесса, все лица, включенные в него, должны обладать равным доступом к правам и возможностям реализовать свою ответственность. Иными словами, все участники судебного процесса должны быть субъектами права. Однако на сегодняшний день нет ясности в том, можно ли считать ИИ-судью субъектом права или, скорее, техническим помощником. Нет ясности в том, считаем ли мы подотчетным закону сам ИИ, его создателей или пользователей. В условиях отсутствия ясности в этом вопросе отношения между обвиняемым и ИИ-судьей выглядят неопределенными, а сам акт вынесения судебного решения ИИ неэтичным с точки зрения нарушения равенства и паритета гражданских отношений. Возникает риск того, что инструменты ИИ, используемые в принятии судебных решений, могут идти вразрез с правом на доступ к судье, правом на равенство сторон в судебном споре и состязательность судопроизводства. В таком случае было бы правильнее говорить о вспомогательной роли ИИ-судей в работе судей-людей, которые единственно и остаются субъектами права. В последнем случае ИИ-судья может лишь помогать судье-человеку выносить судебные решения, но не может окончательно выносить их сам. Как вариант – ИИ может помогать людям или заменять их в судах низшей инстанции, но люди-судьи должны сохранять свое место в качестве конечных арбитров в любой правовой системе.

3. Одним из привлекательных принципов внедрения ИИ в судебную систему является его объективность. Ряд программ ИИ в судебной системе составлен из расчета нейтрализации дискриминационных ошибок. ИИ-судьи могут обойти известные факторы дискриминационного риска, использованные при человеческой оценке ситуации, а именно принятие во внимание возраста, расы, пола, происхождения, занятости, истории арестов, а также того, где человек живет.

Кейс. При тестировании одной из программ по оценке вероятности совершения террористического акта из совокупности личных данных были удалены сведения о поле, расе, национальной принадлежности, возрасте, религиозном вероисповедании и т. д. Вместе с тем в доступных для программы данных была сохранена информация о родном языке подозреваемых. Программа показала высокий риск совершения террористического акта у всех тестируемых лиц, родным языком которых оказался фарси [Floridi et al., 2018].

Одна из этических проблем вынесения решений ИИ-судьями состоит в том, что в самых разнообразных базах данных по судебным приговорам практически всегда можно обнаружить дискриминационные компоненты. Очевидно, что в программах ИИ могут быть предрассудки, разделяемые их создателями-программистами и другими людьми, которые обслуживают функционал ИИ [Richardson, 2019]. Однако многие более усовершенствованные программы, основанные на нейросетях, способны к обучению и самостоятельному извлечению информации из массива данных. Хотя такие программы могут частично воспроизводить определенные человеческие предрассудки (косвенно через обработку данных, содержащих тот или иной градиент дискриминационных значений), важной особенностью нейросетей является то, что они могут вести себя спонтанно и непреднамеренно. По мере своего обучения они создают собственную сетку смыслов и ценностей. Однако нельзя быть уверенным, что при спонтанном самообучении машина не выработает дискриминационный алгоритм. Это может быть как результатом случая, так и закономерным итогом обработки некоторых данных. Например, если при обработке данных машина заметит, что чернокожих правонарушителей осуждали чаще или решения об оформлении опекунства чаще принимались в пользу женщин, то для ИИ это может сработать в качестве паттерна, по которому он обучится. Данный паттерн ляжет в основу будущих решений нейросетевого ИИ и будет определять его дальнейшее самообучение. Следует понимать, что дискриминация как социальный и этический феномен содержит сложный смысловой и ценностный компонент, который едва ли можно формализовать. Семантический анализ предполагает изначальный ввод ценностной матрицы, однако если данный ввод сам по себе является предвзятым, «прописанным» под определенный интерес или нерепрезентативным по отношению к населению, то это будет источником деформации анализа и прогнозов. Алгоритмизированные системы проверки данных при этом будут воспроизводить решение или даже усиливать предвзятость и, следовательно, дискриминацию. Для ИИ любой принцип выделения может прочитываться как дискриминационный и, наоборот, ни один дискриминационный аспект может не противоречить обычной процедуре выделения. Например, фильтрация дел по годам или странам ничем не отличается от фильтрации дел по возрасту или по полу [Burr, Cristianini, Ladymann, 2018]. Блокировка фильтрации по определенным параметрам, однако, не исключает косвенного извлечения фильтрующей информации из других, разрешенных источников. В частности, высокий процент правонарушений в определенный год или в определенный стране за фиксированный промежуток времени, скорее всего, будет использован ИИ против обвиняемого, который будет иметь отношение к данной стране или году. Поэтому искоренение риска дискриминационных решений становится наиболее трудоемкой этической задачей на пути применения ИИ в рамках правовых решений [Asada, 2019]. Поскольку избежать любой дискриминационной предвзятости по отношению к меньшинствам и уязвимым группам сложно в связи с непредсказуемостью процесса самообучения ИИ, то следует уделять особое внимание механизму обратной связи. Если некое статистическое или вероятностное решение было принято системой, то она должна уметь отчитываться об этом и объяснять понятным образом.