Текст книги "Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта"

2. Лечение людей

В медицине есть две мечты. Первая, утопическая, берет начало непосредственно в научно-фантастических романах. Роботы-медработники будут диагностировать и мгновенно лечить любую болезнь. Наноботы будут патрулировать наши вены и артерии, разбивая тромбы и чиня поврежденные ткани. Распечатанные на трехмерных принтерах органы, кости и кожа позволят нам сохранять молодость до восьмидесяти и девяноста лет. А если повезет, то и мозг можно будет загружать в компьютер для постоянного хранения, так что роботизированные тела можно будет использовать в качестве оболочки для неразрушимых разумов[83]83
  Представление о телах как «оболочке» разума позаимствовано из работы: Richard К. Morgan, Altered Carbon (New York: Ballantine), 2003. Сама тема быстрого развития технологий медицинской помощи стареющим или отсрочки старости распространена в медицинском футуризме. См.: Aubrey De Grey, Ending Aging: The Rejuvenation Breakthroughs That Could Reverse Human Aging in Our Lifetime (New York: St. Martin’s, 2008).


[Закрыть].

Каковы бы ни были долгосрочные преимущества этой научно-фантастической картины, до нее еще очень и очень далеко, да и вообще неясно, сбудется ли она когда-нибудь. Более реалистичные медицинские футуристы тоже вполне амбициозны, однако они предлагают картины будущего подоступнее. Они признают ключевую роль человеческой эмпатии в медицинском уходе, значение человеческой интуиции в диагностике и гибкость рук хирурга. В целом они соглашаются с первым законом робототехники, обосновывающим будущее, в котором ИИ преимущественно помогает врачам и медсестрам (а не замещает их). И это вполне разумно, если придерживаться реалистической оценки современного состояния технологии и данных[84]84
  Прекрасный обзор проблем права и планирования, который содержит более реалистичный подход, см. в: Ian Kerr and Jason Millar, “Robots and Artificial Intelligence in Healthcare” in Canadian Health Law & Policy, eds. Joanna Erdman, Vanessa Gruben and Erin Nelson (Ottawa: Lexis Nexis: 2017), 257–280.


[Закрыть].

К несчастью, даже многие реалисты часто теряются, когда дело доходит до программ развития и до права. На системы медицинского обеспечения они смотрят в основном с экономической точки зрения, сетуя на расходы и неэффективность. Они отстаивают дерегулирование, которое должно подстегнуть инновации, и ограничение бюджета, которое вынудит сокращать расходы. Но на самом деле в программах развития медицинских технологий нам нужно больше, а не меньше ответственности в сборе и применении более качественных данных. Нам следует инвестировать в передовые медицинские практики, а не просто предполагать, что больницы и врачи будут постоянно придумывать новые хитрые способы делать больше, а тратить меньше[85]85
  Недостаточность данных во многих системах здравоохранения была наглядно продемонстрирована во время пандемии Covid в 2020 г., когда даже богатые нации не обладали инструментами тестирования, которые бы позволили понять величину и серьезность проблемы.


[Закрыть].

Фантасты мечтают о тех временах, когда приложения и роботы возьмут на себя все наши медицинские заботы. Но основная линия медицинского развития сейчас ведет не в этом направлении, и стратеги вместе с политиками не должны пытаться представить это воображаемое направление в качестве ориентира. Задачи медицинского обеспечения, как и психологический стресс, связанный с заболеванием, указывают на необходимость присутствия человека в практике медицинской автоматизации. И если экономические императивы заставят больницы и страховщиков заменять программами врачей, а ботами – медперсонал, профессиональные ассоциации должны приложить все силы, чтобы соображения об издержках были уравновешены многими преимуществами прямого участия человека в терапевтическом процессе.

Решение об обращении за медицинской помощью

Представьте, что вы проснулись с острой болью в животе. Что это – аппендицит? Кровотечение? Растяжение мускулатуры? Боль в животе – один из самых сложных для диагностики симптомов, который не всегда могут правильно квалифицировать даже опытные врачи скорой помощи. Острая боль в брюшной полости может возникать при десятках разных заболеваний, начиная с тривиальных и заканчивая опасными для жизни[86]86
  Sarah L. Cartwright and Mark P. Knudson, “Evaluation of Acute Abdominal Pain in Adults,” American Family Physician 77 (2008): 971-978.


[Закрыть]. Даже небольшой риск катастрофического исхода должен стать причиной для незамедлительного посещения больницы, где можно получить профессиональную консультацию.

Богатым или людям с хорошей страховкой принять решение, возможно, просто. Но для остальных обращение за помощью может обернуться разорением. В развивающихся странах счета за медицинские услуги порой лишают семьи возможности удовлетворить даже самые базовые нужды[87]87
  Sharifa Ezat Wan Puteh and Yasmin Almualm, “Catastrophic Health Expenditure among Developing Countries,” Health Systems Policy and Research 4, no. 1 (2017), doi:10.21767/2254–9137.100069; Daniel Callahan and Angela A. Wasunna, “The Market in Developing Countries: An Ongoing Experiment,” in Medicine and the Market: Equity v. Choice (Baltimore: The Johns Hopkins University Press, 2006), 117.


[Закрыть]. В США миллионы людей не имеют страховки или имеют недостаточную страховку. Одно-единственное посещение отделения неотложной помощи может обернуться расходами в размере более 10 тыс. долл.; ложная тревога тоже способна привести к многотысячным расходам, накапливающимся после проведения анализов, посещения терапевта и других трат. Даже для людей с достаточной страховкой и немалыми финансовыми ресурсами посещение больницы может означать риск ненужных тестов, столкновения с вирусами и многочасовых неудобств.

Поэтому многие первым делом ищут свои внезапно возникшие симптомы в Google. И много лет Google рассматривал медицинские запросы – которые люди задавали, в частности, из-за внезапной боли, возникшей посреди ночи, – как практически любые другие запросы. Поэтому сайты с сомнительной репутацией, если только у них достаточно «сока Google» (таинственной смеси релевантности и авторитета, которая позволяет тому или иному контенту оказаться в верхней части поисковых результатов), могли попадаться среди информации от уважаемых врачей и медицинских заведений. Отделять зерна от плевел должны были сами пользователи Google, определяя, стоит ли доверять таким сайтам.

Однако в 2016 г. компания изменила подход[88]88
  Veronica Pinchin, “I’m Feeling Yucky: Searching for Symptoms on Google,” Keyword, June 20, 2016, https://googleblog.blogspot.com/2016/06/im-feeling-yucky-searching-for-symptoms.html.


[Закрыть]. В сотрудничестве с экспертами из Mayo Clinic она решила проверять информацию, которая выводится при обычных запросах, связанных со здоровьем[89]89
  Kelly Reller, “Mayo Assists Google in Providing Quick, Accurate Symptom and Condition Information,” Mayo Clinic, June 21, 2016, http://newsnetwork.mayoclinic.org/discussion/mayo-clinic-assists-google-in-providing-quick-accurate-symptom-and-related-condition-information/.


[Закрыть].

Введите, например, запрос «головная боль с одной стороны головы», и выше или рядом со стандартным списком поисковых результатов появится несколько блоков, в каждом из которых вкратце описывается возможная причина головной боли. Выберите один из них (например, «головная боль напряжения»), и вы увидите другой блок, опять же от самой компании Google. В нем вкратце описывается распространенность заболевания, его частотность в различных возрастных группах, а также типы медицинского вмешательства, которые могут понадобиться.

Эти новые результаты Google – ободряющий знак того, как может работать искусственный интеллект в здравоохранении. Они говорят не о том, что компания свято верит в замену экспертных знаний врачей большими данными и алгоритмами. Скорее, профессионалов приглашают специально, чтобы разрабатывать структурные подходы к медицинской информации и самой системе медицинской помощи. Подобным образом компания IBM стала иначе представлять свою систему Watson на рынке здравоохранения и права – больше в качестве помощника, а не замены врачам[90]90
  Ian Steadman, “IBM’s Watson Is Better at Diagnosing Cancer than Human Doctors,” Wired, February n, 2013, http://www.wired.co.uk/article/ibm-watson-medical-doctor.


[Закрыть]. Когда я разговаривал с представителем команды разработчиков Watson в IMB в 2017 г., он сказал, что они отстаивают позицию усиленного, а не искусственного интеллекта. Если подход усиления интеллекта защищают даже те фирмы, которые могли бы выиграть от ИИ больше остальных, значит, мечта о полностью автоматизированных средствах диагностики является скорее анахронистической, чем футуристической. Всегда будет место для экспертов-профессионалов, которые должны будут оценивать точность советов искусственного интеллекта, как и его работу в реальном мире.

Базовые компетенции ИИ: недопущение обычных ошибок

Врачи – эксперты по распознанию паттернов. Мы ждем того, что дерматолог скажет нам, какая это родинка – злокачественная или обычная; мы терпим колоноскопию для того, чтобы гастроэнтеролог получил возможность заметить (и удалить) полипы. Но даже лучшие врачи могут допускать ошибки, а обычные терапевты порой устают или могут в ключевой момент отвлечься. Благодаря ИИ мы можем существенно снизить число таких ошибок и тем самым спасти тысячи жизней в год.

Такой метод зависит от массового накопления данных. В базе данных могут храниться размеченные изображения миллионов различных аномалий, которые со временем становятся раком, а также миллионы доброкачественных новообразований. Так же как Google, который сопоставляет сайты с запросом, компьютер может быстро сравнить изображения вашего кишечника или кожи с теми, что хранятся в базе данных. В идеальном случае машина обучается определять «злых цифровых двойников», то есть ткань, которая в прошлом уже становилась опасной и при этом подозрительно похожа на вашу[91]91
  Ajay Agrawal, Joshua Gans, and Avi Goldfarb, Prediction Machines: The Simple Economics of Artificial Intelligence (Cambridge, MA: Harvard Business Review Press, 2018).


[Закрыть].

Такое машинное зрение, выявляющее опасность в том случае, когда ее может не заметить даже опытный специалист, существенно отличается от нашего собственного зрения. Для понимания машинного обучения, о котором мы в этой книге будем говорить не раз, стоит рассмотреть успехи современного компьютерного зрения в области распознания лиц или чисел. Когда программа распознания лиц успешно идентифицирует изображение в качестве фотографии данного человека, она сопоставляет паттерны изображения с теми, что хранятся в базе данных, например, в растре 1000 на 1000 пикселов. Каждая клетка в растре может быть идентифицирована как участок кожи или какой-то другой участок, который определяется по тысячам параметров (таким как гладкость), незаметных для человеческого глаза. Сегодня доступен даже более высокий уровень чувствительности. Медицинские изображения способны кодировать данные на таком пиксельном или воксельном (воксел – трехмерный пиксел) уровне, который позволяет картографировать то, что чувствуют наши руки, нос и уши, – и даже намного больше.

Распознание паттернов на базе машинного зрения сначала стало успешно применяться в банках, когда понадобилось найти способ распознавать цифры на чеках (учитывая огромное разнообразие человеческих почерков). При наличии достаточного числа примеров почерка и вычислительных мощностей это распознание стало почти совершенным. Таким образом, во многих отношениях машинное зрение является «сверхчеловеческим», если оценивать его в категориях обработки данных и сравнения этих данных с миллионами других изображений. Дерматолог может использовать ту или иную эвристику для диагностики меланомы (например, пользуясь приемом ABCDE, то есть оценивая «асимметрию» (А), границы (В), которые могут быть неправильными, цвет (С), который бывает разным, диаметр (D) и развитие (Е)), а также опираясь на свой опыт знакомства со злокачественными и доброкачественными родинками. Достаточно развитый ИИ может проверить все эти параметры ABCDE, достаточно точно сопоставив данную родинку с тысячами других, если только его данные точны. Более того, по мере развития сенсоров ИИ сможет находить неожиданные факторы, определяющие отличие злокачественных родинок от доброкачественных.

Но у машинного зрения есть и «недочеловеческие» качества, что может выражаться в его удивительной ненадежности[92]92
  Например, система «зрения» беспилотного автомобиля может интерпретировать знак «стоп» как «45 миль в час», если на знак наклеить несколько кусков ленты. См.: Kevin Eykholt, Ivan Evti-mov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, et al., “Robust Physical-World Attacks on Deep Learning Visual Classification,” arXiv:17O7.o8945v5 [cs.CR] (2018).


[Закрыть]. Большинство его приложений в медицине сегодня являются узкоспециализированными ИИ, сосредоточенными только на определенной задаче. Например, такой ИИ, выявляющий полипы, может «увидеть» проблемный полип, который не заметит гастроэнтеролог, но при этом он, возможно, окажется неспособным распознать другие отклонения, определять которые не учился. Поэтому совместная работа программы ИИ и врача в диагностике ценнее работы каждого из них по отдельности[93]93
  Eric Topol, Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (New York: Basic Books, 2019).


[Закрыть].

Врачи учатся годами, однако медицинское знание постоянно развивается. Сегодня человек не в состоянии запомнить все возможные взаимодействия лекарств, особенно в сложных случаях, когда пациент может принимать двадцать и более препаратов. Определенную роль в предотвращении негативных результатов могут сыграть фармацевты, но и они могут просмотреть необычные проблемы[94]94
  Kim Saverno, “Ability of Pharmacy Clinical Decision-Support Software to Alert Users about Clinically Important Drug-Drug Interactions,” Journal of American Medical Informatics Association 18, no. 1 (2011): 32–37.


[Закрыть]. Системы поддержки принятия клинических решений (СППКР (clinical decision support software, CDSS)), встраиваемые в медицинские картотеки, – это ранняя форма ИИ, способного помочь врачам предотвратить фатальные результаты[95]95
  Lorenzo Moja, “Effectiveness of Computerized Decision Support Systems Linked to Electronic Health Records: A Systematic Review and Meta-Analysis,” American Journal of Public Health 104 (2014): ei2-e22; Mariusz Tybinski, Pavlo Lyovkin, Veronika Sniegirova, and Daniel Kopec, “Medical Errors and Their Prevention,” Health 4 (2012): 165–172.


[Закрыть]. СППКР «занимается мониторингом и предупреждает врачей о состояниях пациентов, предписаниях и лечении, предоставляя основанные на научных данных клинические советы»[96]96
  Committee on Patient Safety and Health Information Technology Board on Health Care Services, Health IT and Patient Safety: Building Safer Systems for Better Care (Washington, DC: The National Academies Press, 2012), 39.


[Закрыть]. Уже сегодня есть данные, говорящие о том, что СППКР снижает количество ошибок[97]97
  Lorenzo Moja, Koren Hyogene Kwag, Theodore Lytras, Lorenzo Ber-tizzolo, Linn Brandt, Valentina Pecoraro et al., “Effectiveness of Computerized Decision Support Systems Linked to Electronic Health Records: A Systematic Review and Meta-Analysis,” American Journal of Public Health 104 (2014): ei2-e22. См. также: Elizabeth Murphy, “Clinical Decision Support: Effectiveness in Improving Quality Processes and Clinical Outcomes and Factors that May Influence Success,” Yale Journal of Biology and Medicine 87 (2014): 187–197, где показано уменьшение риска на 41 % в таких ситуациях, как тромбоз глубоких вен и эмболия легочной артерии.


[Закрыть]. Однако даже в этой относительно простой области предоставления информации программисты, управленцы и инженеры не просто навязали применение СППКР в медицинской практике. Существенную роль в распространении таких систем сыграло право, в том числе государственные субсидии, выделенные на их поддержку. Угроза исков по врачебным ошибкам или корпоративной ответственности больниц склоняет к внедрению СППКР; но также суды признали, что профессиональное суждение невозможно автоматизировать, поэтому они не готовы рассматривать несоблюдение совета машины в качестве автоматического повода для возбуждения дела, если были веские причины не учитывать рекомендации СППКР[98]98
  В частности, если говорить о субсидиях, в США некоторые субсидированные поставщики должны применять СППКР для проверки взаимодействий лекарств или вероятности аллергии. См., например: Health Information Technology for Clinical and Economic Health Act, 42 U.S.C. § 30033(13) (2009), где утверждается, что «квалифицированные электронные медицинские записи» должны быть наделены способностью «предоставлять помощь в принятии клинических решений»; см. также: 45 C.F.R. § 170.314 (2015); Medicare and Medicaid Programs; Electronic Health Record Incentive Program – Stage 3 and Modifications to Meaningful Use in 2015 through 2017, 80 Fed. Reg. 62761, 62838 (October 16, 2015)-


[Закрыть].

Постоянное регулирование станет критически важным для гарантии того, что передовые технологии действительно приносят пациентам пользу, не отягощая врачей и медперсонал избыточной информацией. Многие авторы писали о проблеме «усталости от оповещений»[99]99
  M. Susan Ridgely and Michael D. Greenberg, “Too Many Alerts, Too Much Liability: Sorting through the Malpractice Implications of Drug-Drug Interaction Clinical Decision Support,” St. Louis University Journal of Health Law & Policy 5, no. 2 (2012): 257, 274. Регулирующие ведомства co временем обратят внимание на «врачей с высокой степенью игнорирования предложенных рекомендаций», чтобы выяснить, в чем проблема: в СППКР или в суждении самого врача? См.: Karen С. Nanji, Sarah Р. Slight, Diane L. Seger, In-sook Cho, Julie M. Fiskio, Lisa M. Redden, Lynn A. Volk, and David W. Bates, “Overrides Of Medication-Related Clinical Decision Support Alerts in Outpatients, "Journal of American Medical Informatics Association 21, no. 3 (2014): 487–491.


[Закрыть]. Эксперты по взаимодействию человека и компьютера работают над достижением более устойчивого равновесия между оповещениями и более точными отчетами о потенциальных проблемах. Идеальное программное обеспечение СППКР не должно перегружать информацией, но в то же время не быть и молчаливым наблюдателем врачей-практиков. Свое обещание оно может выполнить только в том случае, если его сообщения будут постоянно калиброваться, чтобы врачи, медперсонал и фармацевты были действительно заинтересованы в его применении и имели все возможности критиковать его и совершенствовать.

Данные, дискриминация и неравенство в медицинском обеспечении

ИИ, результаты которого одобрены человеком, может стать стандартом медицинских услуг, то есть тем, что должно предоставляться каждому пациенту, обратившемуся за помощью[100]100
  A. Michael Froomkin, Ian Kerr, and Joelle Pineau, “When AIs Outperform Doctors: Confronting the Challenges of a Tort-Induced OverReliance on Machine Learning,” Arizona Law Review 61 (2019): 33-100.


[Закрыть]. Однако то, что определенная технология в целом лучше, еще не означает, что она оптимальна во всех случаях[101]101
  В случае распознания лиц есть хорошо описанный сбой систем ИИ, которые плохо распознают лица цветных людей. См.: Joy Buolamwini, “Actionable Auditing: Coordinated Bias Disclosure Study,” MIT Civic Media Project, https://www.media.mit.edu/pro-jects/actionable-auditing-coordinated-bias-disclosure-study/over-view/. Эти сбои служат параллелью к расовым неравенствам в американском здравоохранении. См.: Dayna Bowen Matthew, Just Medicine: A Cure for Racial Inequality in American Health Care (New York: New York University Press, 2015).


[Закрыть]. В самом деле, ИИ, если он работает на основе ошибочных данных, может легко заниматься дискриминацией. Хорошо известный «рейтинг риска» (используемый для таргетирования помощи пациентам с определенными нуждами) отдавал приоритет белым пациентам, а не черным, поскольку стоимость врачебной помощи использовалась в нем в качестве показателя серьезности заболевания. Афроамериканцы обычно получали менее дорогостоящую медпомощь, поэтому алгоритм считал, что они нуждаются в медицинском внимании меньше, чем они нуждались на самом деле. Опасности таких условных оценок должны быть хорошо известны, но в стремлении к квантификации риски часто игнорируются или недооцениваются[102]102
  Ziad Obermeyer, Brian Powers, Christine Vogeli, and Sendhil Mul-lainathan, “Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations,” Science 366 no. 6464 (2019): 447–453; Ruha Benjamin, “Assessing Risk, Automating Racism,” Science 366, no. 6464 (2019): 421–422. Существует много способов сократить подобные формы неравенства. См.: Frank Pasquale and Danielle Keats Citron, “Promoting Innovation while Preventing Discrimination: Policy Goals for the Scored Society,” Washington Law Review 89 (2014): 1413–1424.


[Закрыть].

Также диагностический ИИ может «заражаться» теми или иными предубеждениями. Врачи и специалисты по компьютерным наукам уже обеспокоены тем, что выявляющее меланому программное обеспечение будет хуже работать с меньшинствами, которые в тренировочных наборах данных обычно представлены малочисленнее[103]103
  Adewole S. Adamson and Avery Smith, “Machine Learning and Health Care Disparities in Dermatology,” JAMA Dermatology 154, no. 11 (2018): 1247. Подобная нехватка вариантов вредит также и генетическим исследованиям. См.: Alice В. Popejoy, Deborah I. Ritter, Kristy Crooks, Erin Currey, Stephanie M. Fullerton, Lucia A. Hin-dorff, Barbara Koenig, et al., “The Clinical Imperative for Inclusivity: Race, Ethnicity, and Ancestry (REA) in Genomics,” Human Mutation 39, no. 11 (2018): 1713–1720.


[Закрыть]. Если этот разрыв действительно скажется, у правовой системы возникнет проблема: можно ли будет поднять стандарт выявления больной кожи в целом до того уровня, который достигнут такими системами для основной этнической группы? Регуляторам нужно гарантировать доступность и применение более репрезентативных данных. В противном случае они могут закрепить уже существующее неравенство в предоставлении медицинской помощи.

Если регулирующие ведомства не смогут исправить эту ситуацию, судам понадобится решать, когда для данного проекта (такого, как выявление меланомы) необходимы дополнительные данные, а когда их просто «неплохо иметь» тем, кто способен купить медицинские услуги высшего уровня. Право, регулирующее врачебную ответственность, стремится дать пациентам гарантию того, что, если их врач не удовлетворяет стандарту медицинской помощи, к нему будет применено наказание, причем часть штрафа должна пойти на реабилитацию пациента[104]104
  Tom Baker, The Medical Malpractice Myth (Chicago: University of Chicago Press, 2005); Alex Stein, “Toward a Theory of Medical Malpractice,” Iowa Law Review 97 (2012): 1201–1258.


[Закрыть]. Если поставщикам услуг не удается применять достаточно репрезентативные наборы данных для разработки своих медицинских ИИ, судебные иски помогут вменить им в ответственность, чтобы каждый сумел воспользоваться ИИ в области здравоохранения (а не только те счастливчики, которые принадлежат к наиболее изученным группам).

Специалисты по данным иногда шутят, что ИИ – это просто хорошо разрекламированная форма статистики. Конечно, ИИ, спроектированный только для выдачи строго определенных предсказаний, основан на квантификации вероятности[105]105
  Мередит Бруссард, Искусственный интеллект: пределы возможного (Москва: Альпина нон-фикшн, 2020), 53.


[Закрыть]. Он представляет собой лишь один из многих шагов, сделанных за два последних десятилетия для модернизации медицины на основе обширного комплекса научных данных[106]106
  LeighAnne Olsen, J. Michael McGuinnis, and Dara Alsner, eds., Learning Healthcare System: Workshop Summary (Washington, DC: Institute of Medicine, 2007).


[Закрыть]. Исследователи-медики ухватились за предсказательную аналитику, большие данные, искусственный интеллект, машинное и глубокое обучение, которые стали главными метафорами оптимизации эффективности систем. Работы в каждой из этих областей способны помочь регулирующим ведомствам выделять проблемные данные ИИ. Кроме того, критика ограничений самого ИИ (в том числе недостаточной воспроизводимости результатов, слабой валидности, чрезмерных притязаний и непрозрачных данных) также должна определять правовые стандарты[107]107
  См., например: Eric Topol, Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (New York: Basic Books, 2019), где выражается озабоченность «недобросовестным отбором результатов и недостаточной воспроизводимостью»; Matthew Zook, Solon Barocas, danah boyd, Kate Crawford, Emily Keller, Seeta Pena Gangadharan, Alyssa Goodman et al., “10 Simple Rules for Responsible Big Data Research,” PLoS Computational Biology 13, no. 3 (2017): Ш005399, где формулируются подобные ограничения; Danah Boyd and Kate Crawford, “Critical Questions for Big Data,” Journal of Information, Communication and Society 15 (2012): 662–679.


[Закрыть]. Основная идея здесь в том, что ключевая компетенция ИИ – предотвращение человеческих ошибок – теперь должна применяться и к тем людям, которые создают ИИ. Они обязаны нести ответственность, если не используют правильные данные и методы. В противном случае мы так и будем повторять ошибки в будущем, которое должно быть от них свободно.

Сегодня активисты разоблачают многие проблематичные наборы медицинских данных. Так, Кэролайн Криадо Перес доказала, что в многочисленных медицинских исследованиях и учебных материалах объектом исследования по умолчанию считается мужчина[108]108
  Кэролайн Криадо Перес, Невидимые женщины: почему мы живем в мире, удобном только для мужчин. Неравноправие, основанное на данных (Москва: Альпина нон-фикшн, 2020).


[Закрыть]. Она замечает: «Женщины – это не просто маленькие мужчины: тела мужчины и женщины отличаются даже на клеточном уровне… [однако] пока сохраняется серьезный гендерный разрыв в данных, который требуется заполнить»[109]109
  Там же, 314.


[Закрыть]. Перекосы в наборах данных становятся еще более непростительными, когда благодаря таким работам, как исследования Криадо Перес, они оказываются общеизвестными. Нам необходимо финансировать намного более качественный сбор данных, гарантируя применение в медицине честного и инклюзивного ИИ и заставляя разработчиков, врачей и больницы его использовать.

Четыре всадника безответственности

Благодаря давно начавшимся кампаниям по ограничению ответственности утвердилось общее сопротивление подобным обязанностям. При этом ИИ создает новые препоны отчетности, и не только в медицине. Футуристы анализируют ИИ, который действует по своему собственному разумению, без контроля со стороны разработчиков (или каких-то других людей). Проблема в том, как создатели или собственники столь многоцелевой технологии могут предсказать все возможные правовые проблемы, которые их ИИ может породить или с которыми он может столкнуться? Никто же не считает компанию Microsoft ответственной за письма с требованием выкупа, написанные в документе MS Word, который сам по себе является чистой доской. Также родители не отвечают за преступления своих совершеннолетних детей, являющихся независимыми личностями.

Когда ведущие разработчики ИИ утверждают, что не отвечают за свои творения, они пользуются метафорами одновременно «чистой доски» и «независимой личности». Но если учитывать десятилетнее исследование алгоритмической подотчетности, ни то, ни другое оправдание не может стать для таких фирм отговоркой. Сегодня нам известно, что алгоритмы могут повредить людям[110]110
  Jack Balkin, “The Three Laws of Robotics in the Age of Big Data,” Ohio State Law Journal 78 (2017): 1, 40.


[Закрыть]. Более того, юристы сражались с проблемой ошибочных действий компьютеров десятилетиями, по крайней мере со времен сбоев автопилота в 1950-х гг. и ошибок аппарата лучевой терапии Therac-25 в 1980-х гг. (когда сбой в программе вызвал фатальную передозировку радиации)[111]111
  Nathan Cortez, “The Mobile Health Revolution?” University of California at Davis Law Review 47 (2013): 1173–1230.


[Закрыть].

Тем не менее некоторые предложения могут существенно снизить роль судов в сфере ИИ, не позволяя им играть традиционную роль в определении виновных в халатности. Другие могут ударить по федеральным агентствам-регуляторам, оставляя судьям задачу определения компенсаций, соответствующих конкретным несчастным случаям. Даже если подобные правовые «реформы» так и не будут проведены, фирмы способны ограничивать свою ответственность или перекладывать ее благодаря недобросовестным условиям обслуживания, с которыми пользователи, подписывая контракты, «соглашаются». В конечном счете радикальные защитники свободы слова утверждают, что ИИ просто «говорит» о людях определенные вещи, а не делает им что-либо, и потому это случай свободы слова, защищенной от судебного преследования. Защитники этих четырех всадников безответственности-общего упреждения, радикального дерегулирования, широких оправдательных условий в договорах и оппортунистической апологии свободы слова – доказывают, что ИИ будет быстро развиваться только в том случае, если изобретатели и инвесторы будут свободны от угрозы судебного преследования.

Политики и стратеги, завороженные обещанием инноваций, возможно, хотели бы отбросить местные законы, чтобы предложить лидерам индустрии простую и совершенно понятную картину их юридических обязательств[112]112
  Wendy Wagner, “When All Else Fails: Regulating Risky Products through Tort Regulation,” Georgetown Law Journal 95 (2007): 693, 694.


[Закрыть]. Или они могут пользователям ИИ «дать право» отказываться от прав на судебное преследование. Это не что иное, как извращенный пример контрактной суверенности: мое право отказаться от моих прав будто бы повышает мою автономию. Менее противоречивое утилитарное обоснование состоит в том, что гражданам нужно отказаться от определенных прав, чтобы ИИ мог по-настоящему успешно развиваться.

Даже если защита от ответственности и в самом деле нужна для пришпоривания определенных инноваций, она не может быть абсолютной. Как отметила Венди Вагнер, гражданское судопроизводство является ключевым моментом предоставления информации, которая может быть недоступной регуляторам[113]113
  Ibid.


[Закрыть]. Когда меры регулирования согласовываются на международном или национальном уровнях, возможность развивать собственные стандарты приемлемого риска, который несут новые технологии, должна быть предоставлена также и большему числу локальных организаций и ведомств[114]114
  John Villasenor, Products Liability and Driverless Cars: Issues and Guiding Principles for Legislation (Brookings Institution, 2014), https://www. brookings.edu/wp-content/uploads/2016/o6/Products_Liability_ and_Driverless_Cars.pdf.


[Закрыть]. По мере развития точечного и ситуативного судопроизводства и регулирования представители более высокой инстанции получают ресурсы и время, необходимые для картографирования более общих трендов технологического развития и для запроса мнения экспертов. Например, американский Национальный комитет по статистике здравоохранения и актов гражданского состояния (с которым я подписал четырехлетний рабочий контракт в 2019 г.) предлагает политикам и стратегам экспертные консультации, связанные с тем, как оптимально собирать, анализировать и применять данные. Эти консультации играют критическую роль, поскольку в хорошо организованных обществах регуляторы участвуют в определении развития технологии (а не только реагируют на нее, когда она уже создана)[115]115
  Martha Т. McCluskey, “Defining the Economic Pie, Not Dividing or Maximizing It,” Critical Analysis of Law 5, no. 1 (2018): 77–98; Mariana Mazzucato, “The Value of Everything: Making and Taking in the Global Economy (New York: Hachette, 2018).


[Закрыть].

Кроме того, суды и законодательные органы должны с осторожностью относиться к оправдательным условиям договоров, ограничивая число случаев, когда потребители могут от своих прав отказаться. Часто судьи не желали признавать подобные условия в медицинском контексте, полагая, что пациенты уязвимы и что им недостает информации, необходимой для действительно информированного решения[116]116
  См., например: Tunkl v. Regents of the University of California, 383 P. 2d 441 (Cal. 1963), а также последующие судебные процессы в том же ряду.


[Закрыть]. Мы все находимся в похожей позиции уязвимости, когда дело доходит до большинства роботов и ИИ, поскольку мы почти никогда не разбираемся в данных и кодах, которые за ними скрываются. Даже в тех случаях, когда оправдательные пункты договоров допускаются, у судей все равно остается важная роль в решении тяжб о несправедливых условиях договора[117]117
  Margaret Jane Radin, Boilerplate: The Fine Print, Vanishing Rights, and the Rule of Law (Princeton: Princeton University Press, 2012).


[Закрыть]. Существуют также определенные типы оснований для предъявления иска, которые должны быть сохранены, на какие бы условия стороны договора ни были готовы согласиться.

Чтобы оценивать риски ответственно, и поставщикам, и потребителям нужна точная информация о данных, используемых в ИИ (входных данных), а также данные об эффективности (выходные данные). Никому нельзя позволять отказываться от своего права на изучение данных, когда ИИ причиняет ущерб[118]118
  О переносе расходов на страховщиков писали многие комментаторы. См., например: Jacob Turner, Robot Rules: Regulating Artificial Intelligence (Cham, Switzerland: Palgrave MacMillan, 2019), 115.


[Закрыть]. В следующем разделе описывается, как регулирующие ведомства способны помочь повысить качество как входных данных, используемых для инноваций в области ИИ, так и выходных данных подобных технологий.