Текст книги "Обеспечение фундаментальных прав человека при обработке данных в государственном управлении"

1.4. Дискриминационные риски технологии профилирования

Большие данные сами по себе являются не информацией, а просто цифровыми данными. Чем больше данных мы собираем, тем труднее извлекать полезную информацию, так как огромные объемы данных превосходят человеческие возможности рассмотрения. Следовательно, данные нуждаются в мощных инструментах для использования в качестве управленческого ресурса.

Профилирование является конкретным методом интеллектуального анализа данных. В этой перспективе оно рассматривается как автоматизированный либо полуавтомата – зированный процесс для изучения больших наборов данных в целях построения классов или категорий характеристик[102]102
  Bosco F. et al. Profiling Technologies and Fundamental Rights and Values: Regulatory Challenges and Perspectives from European Data Protection Autho-rities//Reforming European Data Protection Law. S. Gutwirth, R. Leenes, P. de Hert (eds.). – Springer, 2014.


[Закрыть].

В правовой литературе существуют разные подходы к определению профилирования. Так, профилирование определяется как объединение набора характеристик (профиля) индивидуума или организации и последующее обращение с этим лицом/организацией сообразно этим характеристикам[103]103
  Bygrave L.A. Data protection law: Approaching its rationale, logic and limits. – The Hague: Kluwer Law International, 2002.


[Закрыть]. Иногда в определении акцентируется аспект идентификации: профилирование как «процесс» обнаружения паттернов в различных данных, которые могут использоваться для идентификации лица (индивидуальный или групповой), и/или как применение профилей (наборов коррелирующих данных) для индивидуализации субъекта или для его идентификации как члена группы[104]104
  Hildebrandt M. Profiling and AML//K. Rannenberg, D. Royer, A. Deuker (eds.). The Future of Identity in the Information Society. Challenges and Opportunities. – Heidelberg: Springer, 2009.– P. 273–310.


[Закрыть].

И в том, и в другом подходе выделены важные компоненты профилирования – поиск информации по определенным критериям, связь этой информации с конкретным лицом, использование ее для идентификации лица или для обращения с лицом неким заданным образом.

В плане работы с информацией профилирование представляет собой отход от идеи, что знание является результатом проверенной гипотезы. По сути, профилирование само генерирует гипотезы: корреляции как таковые становятся релевантной информацией[105]105
  Bosco F. et al. Profiling Technologies and Fundamental Rights and Values: Regulatory Challenges and Perspectives from European Data Protection Authorities// Reforming European Data Protection Law. S. Gutwirth, R. Leenes, P. de Hert (eds.). – Springer, 2014.


[Закрыть]. В силу изложенного профилирование называют гламурной технологией: оно зиждется на идее о том, что люди могут получить непредвиденные знания, которые позволяют принимать лучшие решения[106]106
  Ibidem.


[Закрыть].

В настоящем исследовании нас интересует, как в процессе профилирования способна проявить себя дискриминация или как само профилирование способно проявить себя как дискриминация.

Дело в том, что при профилировании обрабатываются как персональные, так и неперсональные данные. Из этого посыла сразу ясно, что основной конфликт профилирования в плоскости законодательства возникает с законодательством о защите данных. Но это конкретный аспект, который в целом все-таки нормативно регулируется, хоть и неидеально.

Гораздо более проблемной становится обработка данных в условиях незнания граждан о том, что их данные обрабатываются и используются для принятия решений. Таким образом, в более общем плане профилирование «сталкивается» с либеральной демократией прежде всего потому, что провоцирует информационную асимметрию. В общем-то асимметрия знаний – явление распространенное, но именно в технологиях профилирования она достигает нового пика, потому что в большинстве случаев граждане не знают о распространяемой информации и о том, как ее можно использовать в будущем.

Собственно, именно эти риски и были названы основными в упоминавшемся выше социологическом опросе, проведенном в 2014 г. среди национальных органов по защите персональных данных европейских стран. По их обобщенному мнению, в связи с профилированием возникают проблемы для основных прав и свобод граждан в целом (частная жизнь и защита данных, самоопределение, достоинство, личная неприкосновенность, свобода слова и передвижения), а также проблема в связи с отсутствием транспарентности и осведомленности о существовании и проведении профилирования[107]107
  Ibidem.


[Закрыть].

Очевидно, что такие технологии, как профилирование, не оставляют большого пространства для автономии и самоопределения личности. Изначально заложенное противоречие между закрытостью частной жизни и открытостью публичной сферы обретает новые грани – частная жизнь тяготеет к непрозрачности, а условием защиты данных является прозрачность. Вопрос о том, как в таких условиях защитить частную жизнь, становится трудноразрешимым.

Данный поворот заставляет заново взглянуть на теорию информационного самоопределения[108]108
  RouvroyA., Poullet Y. The right to informational self-determination and the value of self-development. Reassessing the importance of privacy for democracy//S. Gut-wirth et al. (eds.). Reinventing Data Protection? – Dordrecht: Springer, 2009.– P. 45–76.


[Закрыть] и, возможно, переоценить ее. В случае с профилированием она приобретает совершенно конкретное звучание. Теория информационного самоопределения базируется на постулате о том, что индивидуум должен осуществлять контроль за данными и информацией, производимыми им. Возможно, всесторонняя поддержка и внедрение принципов информационного самоопределения в политику данных позволят разделить ответственность обработчиков и обладателей данных, сделают их отношения более горизонтальными.

Прежде чем перейти к собственно дискриминации при профилировании, приведем конкретный пример. Вид профилирования, получивший название «редлайнинг» (Redlining), уже прямо запрещен законодательством США. Он используется для выявления практики отказа от товаров и услуг в конкретных районах, отмеченных красной линией на карте. Вследствие расовой сегрегации или увеличения демографической концентрации люди, аналогичные по социальному классу, условиям занятости и даже национальности, люди, проживающие в конкретном районе, могут принадлежать к определенной расовой группе или этническому меньшинству[109]109
  Bosco F. et al. Profiling Technologies and Fundamental Rights and Values: Regulatory Challenges and Perspectives from European Data Protection Au-thorities//Reforming European Data Protection Law. S. Gutwirth, R. Leenes, P. de Hert (eds.). – Springer, 2014.


[Закрыть]. Их возможная дискриминация и послужила основанием для запрета редлайнинга.

С профилированием тесно связан другой механизм – таргетинг (от англ, target – цель), который позволяет выделить из всей имеющейся аудитории информационного канала только ту часть, которая удовлетворяет заданным рекламодателем критериям (целевую аудиторию), и транслировать рекламу именно на эту часть аудитории. Источником информации для целевой рекламы служат истории поисковых запросов пользователей сети Интернет, личные странички в социальных сетях. Если изначально таргетинг использовался исключительно для нужд рекламы, то сегодня технология таргетинга успешно применяется для решения задач по подбору персонала: объявления о вакансиях транслируются только тем пользователям, которые соответствуют заданным работодателем параметрам. Соответственно возросли и риски – возможности таргетинговой технологии становятся объектом злоупотребления недобросовестных работодателей, порождая очередную форму скрытой дискриминации[110]110
  Туманов А. А. Электронное взаимодействие субъектов трудовых и непосредственно связанных с ними отношений: правовой аспект: дис. канд. юрид. наук. – Екатеринбург, 2018.


[Закрыть]. Технология таргетинга потенциально востребована при оказании проактивных государственных услуг, поэтому опыт частного сектора может быть весьма полезен.

Несмотря на высокую сложность обнаружения данного правонарушения, в практике зарубежных стран уже имеются реальные случаи обращения граждан за защитой своих прав по факту дискриминации при профилировании. Один из них описан в литературе. В 2017 г. группа пользователей Facebook обратилась в Комиссию США по равным возможностям трудоустройства (US Equal Employment Opportunity Commission) с жалобой на работодателей, размещавших объявления о вакансиях водителей грузовиков и монтажников окон, доступные для просмотра только молодым мужчинам. Женщинам и лицам старше 55 лет, также являвшимся пользователями Facebook, данные объявления о вакансиях не транслировались. Работодатели утверждали, что действовали в рамках закона и не устанавливали прямых ограничений для женщин и пожилых людей, они лишь ориентировались на определенную демографическую группу, что само по себе не исключало возможности трудоустройства женщин и престарелых граждан.

В конечном счете Комиссия США по равным возможностям трудоустройства все-таки усмотрела в действиях работодателей нарушение закона и признала факт дискриминации по признакам пола и возраста[111]111
  Campbell A. F. Job ads on Facebook discriminated against women and older workers. https://www.vox.com/identities/2019/9/25/20883446/facebook-job-ads-dis-crimination.


[Закрыть].

Доказывая свою непричастность к действиям по дискриминации, компания Facebook заявила, что не несет юридической ответственности за незаконную рекламу, которую покупают другие компании. Юристы Facebook ссылались на акт «О соблюдении приличий в СМИ» (Communication Decency Act), защищающий компании от ответственности за контент, созданный третьими лицами[112]112
  Are Targeted Facebook Job Ads Discriminatory? The Social Media Problem. https://www.molylaw.com/2019/04/discriminatory-job-ads/.


[Закрыть].

Вопрос об ответственности за принимаемые решения крайне важен. Здесь стоит отметить характерный момент – если в западных системах ищут новые способы и даже новое осмысление ответственности, российские исследователи идут по традиционному пути количественных, а не качественных изменений – повысить меры ответственности, расширить круг субъектов и т. п. Так, в российском законодательстве административная ответственность за дискриминацию в сфере труда на стадии поиска кандидатов предусмотрена в ст. 13.11.1 «Распространение информации о свободных рабочих местах или вакантных должностях, содержащей ограничения дискриминационного характера» Кодекса РФ об административных правонарушениях. Объективная сторона данного состава предполагает наличие прямого указания ограничений в распространяемой информации о вакансиях, поэтому вышеизложенная норма неприменима к случаям дискриминации с помощью таргетинга[113]113
  Митрясова А. С. Цифровые технологии трудоустройства и новые риски дискриминации//Трудовое право в России и за рубежом. – 2021.– № 1. – С. 21–24.


[Закрыть].

Чтобы решить эту проблему, российский исследователь предлагает пойти по привычному пути ужесточения ответственности за новые нарушения – ввести новый состав административного правонарушения, который учитывал бы способ распространения информации. Например, «распространение информации о вакансиях ограниченному дискриминационными критериями кругу лиц, а равно нераспространение таковой информации лицам, не соответствующим заданным дискриминационным параметрам»[114]114
  Там же.


[Закрыть].

Примечательно, что в некоторых странах (в частности, в США) кандидаты защищены от необоснованного отказа в приеме на работу в случае, если представитель работодателя использовал интернет-ресурс для поиска дополнительных сведений о кандидате, просматривая личную страничку потенциального работника в социальной сети. В данном случае достаточно будет доказать факт доступа представителя работодателя к страничке социальной сети и заявить, что отказ связан с информацией на этой страничке. Бремя доказывания факта обоснованного отказа и отсутствия дискриминации справедливо, на наш взгляд, возлагается на работодателя как на более сильную сторону в трудовых правоотношениях[115]115
  Там же.


[Закрыть].

Вообще американский опыт в области профилирования и влияния на права человека заслуживает подробного рассмотрения ввиду довольно устоявшейся практики и потенциальной полезности (по крайней мере, частичной).

Профилирование в правоприменительной деятельности: пример США

Как утверждают исследователи, профилирование стало использоваться еще в середине XX в. в целях расследования преступлений (сексуального характера). Наибольшую известность профайлинг получил в США и странах Западной Европы в рамках расследования серийных убийств. В России подобная деятельность получила название «криминалистическое портретирование»[116]116
  Романовский В. Г. Профилирование террористов и конституционная защита прав человека//Конституционное и муниципальное право. – 2020.– № 10.– С. 46–50.


[Закрыть].

В качестве иллюстрации обратимся к широко используемой американскими судами практике алгоритмического прогнозирования поведения человека, главным образом в рамках уголовного правосудия. Уже многие американские штаты разрешили использовать алгоритмы для принятия решения о предварительном заключении или условно-досрочном освобождении. В частности, речь идет о приложениях PSA (Public Safety Assessment) или COMPAS (Courcional Offender Management Profiling for Alternative Sanctions). Критика подобного алгоритмического прогнозирования поведения человека основана на том, что предиктивный результат вовсе не дает на 100 % верную истину – его средняя предиктивность оценивается лишь в 65 %. Соответственно тот факт, что судья при вынесении решения опирается на прогнозную оценку алгоритма, представляет собой проблему с точки зрения права на справедливое судебное разбирательство, в том числе в связи с тем, что судья может пытаться выполнять рекомендацию алгоритма почти дословно и систематически[117]117
  G’sell F. Les progres a petits pas de la «justice predictive» en France//ERA Forum. – 2020.-Vol. 21.-P. 299–310.


[Закрыть].

Естественно, что судебные решения, принятые подобным образом, неоднократно становились объектом обжалования. Известный кейс «State v. Loomis» демонстрирует, каким образом функционирует алгоритм, какие при этом возникают риски и что можно предложить для их преодоления. Тематика настоящей работы предполагает обращение к судебной практике ввиду того, что «право в жизни» выступает в качестве «лакмусовой бумажки» существующих в обществе, профессиональном и научном сообществах опасений относительно использования алгоритмов в правоприменительной практике. Обратимся к ставшему эталонным примеру.

В начале 2013 г. Эрику Лумису (Eric Loomis) было предъявлено обвинение в совершении пяти уголовно наказуемых деяний, связанных со стрельбой в Ла-Кроссе. Несмотря на то что Э. Лумис отрицал свое участие в перестрелке, он признал себя виновным в двух из пяти правонарушений (попытка побега от автоинспектора и управление автомобилем без согласия его владельца)[118]118
  State v. Loomis-2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749. https://caselaw. findlaw.com/wi-supreme-court/1742124.html.


[Закрыть].

В рамках процедуры подготовки к судебному заседанию сотрудником службы исполнения наказаний штата Висконсин (Wisconsin Department of Corrections) был подготовлен предприговорный отчет о проведении расследования (Presentencing Investigation Report) (далее – PSIR) – документ, содержащий сведения общего характера о правонарушителе, которые предоставляются суду, выносящему приговор. Помимо общих сведений об обвиняемом данный отчет также включал оценку риска COMPAS, в рамках которой алгоритмы оценивают риск совершения лицом рецидива; при этом оценка проводится на основе как интервью с правонарушителем, так и информации из его криминального прошлого[119]119
  Criminal Law – Sentencing Guidelines – Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing. – “State v. Loomis”, 881 N.W.2d 749 (Wis. 2016)//Harvard Law Review.– 2017.-Vol. 130.-P. 1530–1537.


[Закрыть]. Однако ввиду того что методология, лежащая в основе COMPAS, является коммерческой тайной, суду сообщаются только сведения об оценке риска совершения рецидива, а не то, как была проведена оценка или каким образом был получен тот или иной результат.

При вынесении обвинительного приговора судом первой инстанции помимо иных обстоятельств дела была учтена проведенная при помощи алгоритма оценка риска совершения рецидива. Последнее явилось основанием для подачи Э. Лумисом в суд первой инстанции ходатайства об оспаривании приговора ввиду нарушения его права на надлежащее судебное разбирательство. Аргументируя свою позицию, Э. Лумис сослался на то, что, во-первых, использование судом при вынесении приговора оценки COMPAS нарушает как его право на индивидуализацию наказания, так и его право быть приговоренным на основании достоверной информации, поскольку отчеты COMPAS содержат данные об определенной группе, а также ввиду того, что методология, используемая при написании таких отчетов, составляет коммерческую тайну; во-вторых, судом было нарушено право лица на надлежащее судебное разбирательство, поскольку в процессе вынесения решения вопреки Конституции США во внимание был принят гендерный фактор (при прочих равных условиях оценка риска совершения рецидива в соответствии с алгоритмом предполагается выше у мужчин, чем у женщин), который учитывался при оценке COMPAS. Судом первой инстанции данное ходатайство было отклонено, однако апелляционный суд штата Висконсин, удостоверив апелляцию, направил ее в Верховный суд штата Висконсин, где она была принята к рассмотрению.

В результате рассмотрения дела Верховный суд штата Висконсин постановил, что использование судом первой инстанции при вынесении приговора алгоритмической оценки риска COMPAS не нарушает процессуальные права обвиняемого, невзирая на то, что методология, лежащая в основе проведения такой оценки, не была раскрыта ни суду, ни обвиняемому[120]120
  State v. Loomis-2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749. https://caselaw. findlaw.com/wi-supreme-court/1742124.html.


[Закрыть]. В последующем Э. Лумис обратился с жалобой в Верховный суд США, однако ему было отказано[121]121
  Loomis v. Wisconsin, 137 S. Ct. 2290 (2017). https://www.supremecourt.gov/or-ders/courtorders/030617zor_6j37.pdf.


[Закрыть]. Несмотря на подобный исход дела, его анализ весьма полезен для демонстрации глубины проблемы и путей ее возможного решения. В связи с этим рассмотрим подробнее аргументы Верховного суда штата Висконсин.

Система сдержек и противовесов

Так, судья Энн Уолш Брэдли (Ann Walsh Bradley) отклонила доводы Э. Лумиса о нарушении права на надлежащее судебное разбирательство на том основании, что использование гендера в качестве фактора для оценки риска служило недискриминационной цели повышения точности результатов оценки. Кроме того, Э. Лумисом не было представлено достаточных доказательств того, что суд первой инстанции действительно рассматривал гендер в качестве такого фактора. Ввиду того что COMPAS использует только общедоступные данные и данные, предоставленные самим обвиняемым, суд пришел к выводу, что у Э. Лумиса была возможность опровергнуть или объяснить любую информацию, которая была включена в отчет; более того, он мог проверить точность информации, которая была использована при вынесении приговора[122]122
  State v. Loomis-2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749. https://caselaw. findlaw.com/wi-supreme-court/1742124.html.


[Закрыть].

Говоря об индивидуализации наказания, судья Брэдли подчеркнула ее значимость и признала, что COMPAS предоставляет только агрегированные данные о риске совершения рецидива среди тех групп, к которым может быть отнесен обвиняемый. Исходя из того что отчет не является единственным основанием для принятия судом решения, приговор, в процессе вынесения которого учитывается оценка COMPAS, все равно будет достаточно индивидуализированным, поскольку суды обладают дискреционными полномочиями и информацией, необходимыми для выражения своего несогласия с оценкой, когда это целесообразно.

Однако судья Брэдли добавила, что при использовании оценок риска судьи должны действовать с осторожностью. Исходя из этого в целях обеспечения совершения надлежащей оценки риска рецидива Верховным судом штата Висконсин были даны разъяснения нижестоящим судам при вынесении приговора с использованием алгоритмической оценки.

Так, к общим разъяснениям можно отнести запрет на использование данной оценки в отношении того, может ли обвиняемый быть лишен свободы, а также для определения тяжести приговора. Тем самым судьи, использующие оценку риска в процессе вынесения приговора, должны объяснить отличные от такой оценки факторы, которые легли в основу принятого решения.

В свою очередь, к специальным разъяснениям могут быть отнесены пять письменных предупреждений для судей, которые должны включаться в предприговорный отчет о проведении расследования, если он содержит оценку COMPAS:

1. Необходимо учитывать «проприетарный» характер COMPAS, который не допускает раскрытия процесса подсчета баллов.

2. Баллы COMPAS не могут идентифицировать конкретных лиц с высоким уровнем риска, поскольку для подсчета используется групповая выборка.

3. Несмотря на то что COMPAS опирается на национальную выборку данных, не было проведено исследование перекрестной проверки населения штата Висконсин.

4. В научных исследованиях были подняты вопросы относительно того, что при оценке осуществляется непропорциональная классификация правонарушителей из числа меньшинств как имеющих более высокий риск рецидива.

5. COMPAS не был разработан для использования судьями в процессе вынесения приговоров, напротив, он был создан для службы исполнения наказаний в целях оказания содействия при определении различного рода мер (исправление преступников, надзор, условно-досрочное освобождение), применяемых к осужденным, после вынесения приговора.

Тем самым, вынося эти предупреждения, суд ясно выразил свое желание привить как общий скептицизм в отношении точности применяемого инструмента, так и более целевой – в отношении оценки риска правонарушителей из числа меньшинств. Несмотря на то что вышестоящий суд оставил приговор без изменений, трудности в эффективном оспаривании оценки риска все-таки были признаны судом, который указал, что инструменты оценки риска должны постоянно контролироваться, а нормы обновляться в целях обеспечения точности результатов[123]123
  State v. Loomis-2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749. https://caselaw.
  findlaw.com/wi-supreme-court/1742124.html.


[Закрыть].

Итак, Верховный суд штата Висконсин не посчитал, что ранжирование отдельных лиц по группам профиля является серьезной проблемой в свете принципа индивидуализации наказания, если проведенная алгоритмом оценка не будет единственной основой для принятого судебного решения. Конечно, такое объяснение частично снимает остроту проблемы, если только не учитывать склонность людей довериться машине. Человеческий мозг и вправду кажется не таким мощным, быстрым, вместительным, как искусственный интеллект. С той лишь разницей, что только человеческий мозг способен понять мотивы совершенного преступления, найти им не формальное объяснение, а контекстное, учесть конкретные обстоятельства, зачастую очень личного, интимного характера. Для машины же все эти обстоятельства – просто данные в виде нулей и единиц.

Кроме того, пресловутая проблема черного ящика не позволяет понять с достоверностью, почему система приняла именно это решение. Опять-таки частичное решение проблемы – сделать алгоритм полностью транспарентным и доступным, но даже в этом случае понять его функционирование вряд ли возможно полностью. Если же вернуться к кейсу и говорить конкретно о системах, используемых в США, то методология алгоритма, включая значение каждой переменной в вычислении, защищается в качестве тайны дела и не раскрывается ни судье, ни осужденному. Разумеется, такая непрозрачность создает массу поводов для беспокойства.