Текст книги "Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта"

Кто будет учить обучающуюся систему медицинской помощи?

Раньше мы могли определять меланому как просто разновидность рака кожи. Однако сегодня это определение кажется таким же устаревшим, как отнесение пневмонии, бронхита и сенной лихорадки к одной категории «кашля». Персонализированная медицина поможет большему числу онкологов достичь более тонкого понимания определенного вида рака как, к примеру, определенного числа мутаций. Цифровые записи, если их правильно комбинировать, сравнивать и анализировать, могли бы указать, какие сочетания химиотерапии, радиоиммунотерапии, хирургии и облучения дают наилучший результат в случае данного подтипа рака. Такова главная цель «обучающихся систем медицинской помощи», которые разрабатываются для оптимизации медицинских вмешательств путем сравнения результатов естественных вариации в лечении[119]119
  National Academy of Sciences, Best Care at Lower Cost: The Path to Continuously Learning Health Care in America (Washington, DC: National Academies Press, 2013).


[Закрыть].

Для тех, кто мечтает о «Супер-Уотсоне», который не просто выиграет викторину Jeopardy, но и начнет управлять больницами, все это развитие представляется шагами по направлению к «поваренной медицине», реализованной на машинном уровне. Но кто знает, что нас ждет через сто лет. Пока же важно то, как все эти потоки данных интегрируются, сколько усилий прилагается к достижению этой цели, как относятся к участникам процесса и кто имеет доступ к результатам. Это сложные вопросы, но никто не должен сомневаться в том, что для жонглирования всеми этими данными потребуется квалифицированность и осторожность человека, а также серьезные юридические консультации, если учитывать сложные правила медицинской конфиденциальности и привлечения людей в качестве подопытных[120]120
  Frank Pasquale, “Health Information Law,” in The Oxford Handbook ofU. S. Health Law, eds. I. Glenn Cohen, Allison Hoffman, and William M. Sage (New York: Oxford University Press, 2016), 193–212; Sharona Hoffman, Electronic Health Records and Medical Big Data: Law and Policy (New York: Cambridge University Press, 2016).


[Закрыть].

Углубимся в радиологию: визуализация тканей развивается по-настоящему быстро. Мы наблюдали переход от рентгеновских лучей и ультразвука к радионуклидной визуализации и радиомике[121]121
  Steven E. Dilsizian and Eliot L. Siegel, “Artificial Intelligence in Medicine and Cardiac Imaging: Harnessing Big Data and Advanced Computing to Provide Personalized Medical Diagnosis and Treatment,” Current Cardiology Reports 16 (2014): 441, 445.


[Закрыть]. Ученые и инженеры разрабатывают все более сложные способы выяснения того, что происходит внутри тела. Уже сегодня существуют миниатюрные камеры-таблетки, проглатываемые пациентом; представьте существенно меньшие версии тех же приборов, которые можно будет впрыскивать в кровеносную систему[122]122
  Melissa F. Hale, Mark E Mcalindon, and Reena Sidhu, “Capsule Endoscopy: Current Practice and Future Directions,” World Journal of Gastroenterology 20 (2014): 7752.


[Закрыть]. Генерируемые таким образом потоки данных намного богаче всего, что у нас было раньше. Для интегрирования их с целью вынесения суждения о том, как скорректировать или полностью изменить схему лечения, потребуется креативное, несистематизи-руемое мышление. Рентгенолог Джеймс Тролл утверждал:

Данные в наших… информационных базах – это «тупые» данные. Обычно они анализируются по одному изображению или факту за раз, и именно индивидуальный пользователь должен интегрировать данные и извлечь из них операционный и концептуальный смысл. Главная задача ближайших 20 лет – превращение этих тупых данных из обширных, но разрозненных источников в знания, а также использование способности быстрой мобилизации и анализа данных для повышения эффективности наших рабочих процессов[123]123
  James Н. Thrall, “Data Mining, Knowledge Creation, and Work Process Enhancement in the Second Generation of Radiology’s Digital Age,” Journal of the American College of Radiology 10 (2013): 161–162.


[Закрыть].

Более полные результаты лабораторных исследований, новые, более качественные формы визуализации, генетический анализ и другие источники – все это надо будет сводить в единую картину состояния пациента и его болезни. Если использовать различие, введенное Саймоном Хедом, оптимизация медицинской реакции на новые объемы и разнообразие данных станет вопросом практики, а не заранее заданного процесса [124]124
  Simon Head, Mindless: Why Smarter Machines Are Making Dumber Humans (New York: Basic Books, 2014).


[Закрыть]. И диагностической рентгенологии, и инвазивной потребуется разбирать сложные случаи заново, и не просто как упражнения по сортировке.

Учитывая все доступные ныне потоки данных, можно было бы предположить, что рациональная политика в области здравоохранения должна углубить и расширить профессиональное образование рентгенологов. Но похоже, что в США эта сфера все больше сдвигается к коммодификации[125]125
  Nina Bernstein, “Job Prospects Are Dimming for Radiology Trainees,” Kew York Times, March 27, 2013, http://www.nytimes.com/2013/03/28/ health/trainees-in-radiology-and-other-specialties-see-dream-jobs-disappearing.html?pagewanted=all&_r=i&; European Society of Radiology, “The Consequences of the Economic Crisis in Radiology,” Insights into Imaging 6, no. 6 (2015): 573–577.


[Закрыть].

Ирония в том, что за это в изрядной степени отвечают сами же рентгенологи; для того чтобы не работать по ночам, они стали заключать контракты с удаленными «совиными» службами, которые готовы просматривать изображения ночью[126]126
  Giles W. L. Boland, “Teleradiology Coming of Age: Winners and Losers,” American Journal of Roentgenology 190 (2008): 1161.


[Закрыть]. Это привело к тому, что изображения стали отдаваться на сторонний анализ и днем, что подтолкнуло обеспокоенные расходами медицинские организации искать наиболее дешевые рентгенологические услуги – даже если оптимальная медицинская практика требовала более тесного консультационного взаимодействия рентгенологов и других членов лечащей бригады, которое позволяет достигать клинических и исследовательских результатов. Государственные компенсационные программы также не смогли в должной мере подержать развитие рентгенографического ИИ[127]127
  Стратеги в этой области фокусировались на сокращении расходов, а не на инвестициях в развитие. Профессиональный взгляд на меняющуюся экономику рентгенографии см. в: Frank Levy and Max P. Rosen, “How Radiologists Are Paid: An Economic History, Part IV: End of the Bubble,” Journal of the American College of Radiology (2020), https://d0i.0rg/10.1016/j.jacr.2020.02.016.


[Закрыть].

Специалистам по визуализации, сталкивающимся с новыми потоками данных, часто приходится принимать субъективные решения. В настоящее время хорошее частное и социальное страхование покрывает доступность рентгенологов, которые могут решать подобные задачи. Но можно ли представить мир, в котором людей заманивают более дешевыми страховыми планами, чтобы они могли получить «медицинские услуги прошлого года по прошлогодним ценам»? Конечно. Также мы можем представить то, что второй (или третий, четвертый, пятый) уровень медицинских услуг, скорее всего, станет первым, в котором будет практиковаться чисто автоматическая диагностика.

Те, кто находятся на верхнем уровне, будут рады итоговому снижению общих расходов на здравоохранение. Часто именно они являются налоговой базой, необходимой для расходов на незастрахованных людей. Но ни один пациент не является изолированным в обучающейся системе медицинской помощи. Так же как постоянное удешевление производства лекарственных препаратов привело в США к постоянному дефициту стерильных впрыскиваемых лекарств, лишение значительной части населения высокотехнологической медицинской помощи осложнит тем, у кого к ней есть доступ, понимание того, стоит ли ее вообще получать[128]128
  Sharona Hoffman, “The Drugs Stop Here,” Food and Drug Law Journal 67, no. 1 (2012): 1.


[Закрыть]. Обучающаяся медицинская система может сделать удивительные открытия, если полный набор данных будет питать экспериментальные исследования, которые должны привести к созданию самых современных клинических инноваций. Чем меньше у людей доступа к таким инновациям, тем меньше возможностей у нас узнать, насколько хорошо они работают и как их можно усовершенствовать. Разделение услуг на разные уровни поможет преодолеть сегодняшний кризис расходов, который наблюдается в медицине, но в то же время оно замедлит выгодный каждому прогресс медицины в будущем. Следовательно, существует верхняя траектория движения к передовым достижениям в медицинском ИИ, на которой главным является доступ для каждого к медицинской помощи все лучшего и лучшего качества, и, с другой стороны, экономная нижняя траектория, когда главное – это попросту воспроизведение того, что мы уже имеем. Врачи, руководители больниц, инвесторы будут двигаться по верхней, нижней или по какой-то промежуточной траектории. А их решения, в свою очередь, определяются изменениями в медицинском законодательстве, а также социальным общеполитическим ландшафтом.

Рассмотрим, к примеру, противоречия между традицией и инновацией в законодательстве о врачебной ответственности. Когда что-то идет не так, врачей судят на основе стандарта, который в общем и целом определяется тем, как в то же самое время работают другие врачи. Поэтому вероятность ошибок некоторых врачей пугает, заставляя их придерживаться конформистских и традиционных практик. С другой стороны, угроза судебного преследования может ускорить переход к очевидно более качественной практике. Ни один врач сегодня не может просто прощупать опухоль и сказать, злокачественная она или доброкачественная. Обычно берутся образцы тканей, проводятся консультации с патологами, выполняется экспертный анализ ткани. Если методы ИИ-диагностики станут достаточно развитыми, само их неприменение станет врачебной ошибкой.

С другой стороны, передовая автоматизация может не достичь нужного уровня, если некая третья сторона (государство или страховщики) откажется за нее платить. Страховщики часто пытаются ограничить покрываемый их планами спектр медицинских услуг. Группы, защищающие права пациентов, сражаются за обязательные льготы. Сторонники сокращения бюджета сопротивляются, а когда они добиваются успеха, у систем здравоохранения нет другого варианта действий, кроме как отвергнуть дорогостоящую новую технологию.

Также имеют значение другие схемы регулирования. Медицинские советы определяют минимальный приемлемый уровень опытности врачей. В США центры по обслуживанию Medicare и Medicaid участвуют в определении условий выпуска медицинских специалистов из высших учебных заведений, поддерживаемых субсидиями. При хорошем финансировании они могут сотрудничать с биоинженерами, специалистами по компьютерным наукам и статистиками. При плохом финансировании они будут и дальше производить слишком много врачей, которые ничего не знают о статистике, необходимой для качественного выполнения их актуальных рабочих обязанностей, не говоря уже о критической оценке новых ИИ-технологий[129]129
  Gerd Gigerenzer, Wolfgang Gaissmaier, Elke Kurz-Milcke, Lisa M. Schwartz, and Steven Woloshin, “Helping Doctors and Patients Make Sense of Health Statistics,” Psychological Science in the Public Interest 8 (2008): 53. В этой статье критикуется недостаточная образованность врачей в области статистики и особенно незнание такого важного в медицине показателя, как «число пролеченных больных на одного излеченного».


[Закрыть].

Право – это не просто дополнительный набор препятствий, которые нужно преодолеть, а уж потом инженеры получат свободу и смогут вылечить любые человеческие болезни. Основная причина роста занятости в здравоохранении как отдельном секторе в последнее десятилетие состоит в том, что определенные правовые нормы наделили значительные группы населения покупательной способностью, не зависящей от их богатства или заработной платы. При благоприятном раскладе такие нормы будут направлять развитие систем медицинской помощи в сторону постоянных инноваций и совершенствования.

На кого работает ваше терапевтическое приложение?

Несмотря на все проблемы, поджидающие диагностику рака и других телесных заболеваний методами ИИ, мы можем быть уверены в том, что в этих областях такая технология будет играть значительную и постоянно растущую роль. Врачи и исследователи могут прийти к согласию об оптимальных стандартах эффективности и постепенно усовершенствовать машины, которые смогут распознавать больше заболеваний и выполнять больше процедур. Но проблемы становятся запутаннее, когда от физического мы переходим к психическому здоровью, для которого требуется еще большее участие человека.

Людей, страдающих душевными заболеваниями (как и другие уязвимые группы), часто посылают к автоматическим системам. В Арр Store компании Apple и Android Market Google можно найти множество приложений, которые утверждают, что они помогают улучшить психическое здоровье. Есть приложения для депрессии, тревожности, аддикции и фобий, все они предлагают некий успокоительный или подбодряющий интерфейс, а иногда и не только. Когда такие приложения выписываются терапевтом или другим специалистом, они и в самом деле могут быть полезны. Например, люди, пытающиеся вылечиться от наркотической зависимости, могут при помощи подобных приложений записывать свои пристрастия, связывать возвращение к употреблению наркотиков с определенными триггерами и получать подсказки или советы. Однако когда приложения становятся более автономными и независимыми от экспертов, могут возникнуть серьезные проблемы.

Порой приложения не способны выполнить базовые терапевтические обязанности. Журналисты выяснили, что один ИИ-терапевт не стал предупреждать власти, когда участница его испытаний написала о том, что она ребенок, страдающий от сексуальных домогательств в семье[130]130
  Geoff White, “Child Advice Chatbots Fail to Spot Sexual Abuse,” BBCKews, December 11, 2018, https://www.bbc.com/news/technology-46507900.


[Закрыть]. Квалифицированные специалисты знают об обязанности сообщать о подобных случаях, тогда как технологи, которые учились «быстро решать проблемы», возможно, не имеют о них никакого представления. Появляется все больше непроверенных и даже опасных приложений, которые создают угрозу для здоровья тех, кто нуждается в более компетентной медицинской помощи[131]131
  Dinesh Bhugra, Allan Tasman, Sounitra Pathare, Stefan Prebe, Shu-balade Smith, John Torous, Melissa Arbuckle et al., “The WPA Lancet Psychiatry Commission on the future of Psychiatry,” The Lancet Psychiatry 4, no. 10 (2017): 775–818.


[Закрыть]. Политика обмена данными в таких приложениях часто несовершенна или однобока, а потому могут встречаться нарушения правил конфиденциальности, которых обычно придерживается терапевт[132]132
  Обзор проблем, связанных с конфиденциальностью, см. в: Piers Gooding, “Mapping the Rise of Digital Mental Health Technologies: Emerging Issues for Law and Society,” International Journal of Law and Psychiatry (2019): 1-11. Ключевой проблемой в США является то, что «в отличие от лицензированных специалистов, предоставляющих услуги в области традиционной психиатрии и психологии, чат-боты не несут никаких обязательств хранить конфиденциальность». См.: Scott Stiefel, “The Chatbot Will See You Now: Protecting Mental Health Confidentiality in Software Applications,” Columbia Science and Technology Law Review 20 (2019): 333–387.


[Закрыть]. Американское Управление по контролю за качеством пищевых продуктов и медикаментов (FDA) отказалось от своих обязанностей в этой сфере, практически перестав регулировать такие приложения, после нескольких предупреждений от членов Конгресса, которые заявили, что финансирование агентства может быть урезано, если оно станет мешать инновациям. Похоже, ни одна другая инстанция не занимается действительно реальным обеспечением безопасности и эффективности в этой области[133]133
  Например, австралийские исследователи пришли к выводу, что «коммерческие агенты, включая крупных продавцов приложений и коммерческие третьи стороны, редко участвовали в официальных инициативах, несмотря на то что они оказывают значительное влияние на опыт пользователей и их результаты». См.: Lisa Parker, Lisa Вего, Donna Gillies, Melissa Raven, and Quinn Grundy, “The ‘Hot Potato’ of Mental Health App Regulation: A Critical Case Study of the Australian Policy Arena,” International Journal of Health Policy and Management 8 (2019): 168–176.


[Закрыть].

Это попустительство подкрепляется экономическими стимулами. Дешевые приложения психического здоровья – настоящий подарок для систем здравоохранения, которые стремятся во что бы то ни стало снизить расходы, например, для британской Национальной системы здравоохранения (NHS). Медицинские власти в Британии стали использовать библиотеку приложений NHS для рекомендаций специальных приложений тем, кто страдает от депрессии и тревожности. К сожалению, по данным исследования, представленного в журнале Evidence Based Mental Health, истинную клиническую ценность большинства приложений «определить невозможно»[134]134
  Simon Leigh and Steve Flatt, “App-Based Psychological Interventions: Friend or Foe?” Evidence Based Mental Health 18 (2015): 97–99.


[Закрыть]. Только два из изученных приложений применяли проверенные количественные параметры. Также совершенно неясно, могут ли цифровые заменители недоступных специалистов по психическим болезням соответствовать стандартам, в том числе конфиденциальности, которые ожидаются от людей, предлагающих медицинские услуги[135]135
  Jack M. Balkin, “Information Fiduciaries and the First Amendment,” UC Davis Law Review 49 (2016): 1183–1234.


[Закрыть]. Эта обеспокоенность, которая становится все более острой в сфере цифровых ассистентов, будет еще более выраженной в области медицинской помощи, где подобные проблемы доверия особенно значимы[136]136
  Maurice E. Stucke and Ariel Ezrachi, “Alexa et al., What Are You Doing with My Data?” Critical Analysis of Law 5 (2018): 148–169; Theodore Lee, “Recommendations for Regulating Software-Based Medical Treatments: Learning from Therapies for Psychiatric Conditions,” Food and Drug Law Journal 73 (2018): 66-102. Качественный общий анализ проблем доверия и конфиденциальности см. в: Ari Ezra Waldman, Privacy as Trust (Cambridge, UK: Cambridge University Press, 2018).


[Закрыть].

За этой проблемой тоже стоит история. Технологические решения, нацеленные на быстрые результаты, часто могут развиваться по непредсказуемой траектории. Опасные патентованные средства десятилетиями соблазняли доверчивую публику, что привело к некоторым печальным результатам[137]137
  Daniel Carpenter, Reputation and Power: Organizational Image and Pharmaceutical Regulation at the FDA (Princeton: Princeton University Press, 2010).


[Закрыть]. Особенно такие препараты были привлекательны для тех, кто не мог попасть к врачу, и точно так же приложения психического здоровья сегодня рекламируются тем, кто не может попасть к терапевту, ведь это «лучше, чем ничего». Недавно Конгресс исключил диетические добавки из списка препаратов, регулируемых FDA, создав «Дикий Запад» сомнительных «естественных снадобий»[138]138
  Jennifer Akre Hill, “Creating Balance: Problems with DSHEA and Suggestions for Reform,” Journal of Food Law & Policy 2 (2006): 361–396; Peter J. Cohen, “Science, Politics, and the Regulation of Dietary Supplements: It’s Time to Repeal DSHEA,” American Journal of Law & Medicine 31 (2005): 175–214.


[Закрыть]. Эффективность этих субстанций по большей части не доказана. Неудивительно, что дерегулирование искажает подобным образом цифровую диагностику и цифровую терапию.

Давняя история терапевтических программ позволяет лучше понять сегодняшний перенасыщенный рынок ИИ-консультаций. Специалист по компьютерным наукам из MIT Джозеф Вейценбаум разработал одну из наиболее известных программ, ELIZA (названную по имени Элизы Дулитл из «Пигмалиона», поскольку программа копировала речевые паттерны пользователей). Этот чат-бот, один из первых, подражал психотерапевту школы Роджерса. В статье 1966 г. Вейценбаум привел следующий пример беседы между пользователем и программой:

Пользовательница: Все мужчины одинаковы.

ELIZA: В ЧЕМ?

П.: Вечно они донимают нас то тем, то другим.

Е.: МОЖЕТЕ ЛИ ВЫ ПРИВЕСТИ КОНКРЕТНЫЙ ПРИМЕР?

П.: Ну, например, мой друг заставил меня прийти сюда.

Е.: ВАШ ДРУГ ЗАСТАВИЛ ВАС ПРИЙТИ СЮДА?

П.: Он говорит, что я почти все время чем-то подавлена.

Е.: МНЕ ПРИСКОРБНО СЛЫШАТЬ, ЧТО ВЫ ЧЕМ-ТО ПОДАВЛЕНЫ.

Поначалу Вейценбаум очень гордился своим творением. Он показывал его и преподавателям, и техническому персоналу MIT. Пользователи часто «секретничали» с программой, притом настолько часто, что Вейценбаум вскоре прекратил работу над этим проектом, опасаясь, что из-за него люди начнут отказываться от других, более содержательных форм терапевтической работы[139]139
  Джозеф Вейценбаум, Возможности вычислительных машин и человеческий разум: от суждений к вычислениям (Москва: Радио и связь, 1982), 27–28.


[Закрыть]. Учитывая навязчивое стремление современных технократов от здравоохранения сократить во что бы то ни стало расходы, эта обеспокоенность оказалась пророческой. В эпоху «покупок, ориентированных на реальную ценность» приложение за 2,99 долл. может показаться безусловно привлекательной заменой психиатру.

Защитники приложений, возможно, заявят, что не стоит вспоминать об ELIZA, ведь за последние полвека получила развитие намного более совершенная технология. Однако в большинстве топовых приложений психического здоровья, с которыми имеет дело потребитель, по-прежнему используется простой текстовой интерфейс. Весьма популярное приложение Woebot разработано для автоматизации определенных приемов когнитивно-поведенческой терапии. Woebot начинает разговоры с пользователем достаточно ненавязчиво, отслеживая их с помощью простых дихотомических ответов. Например, в начале разговора Woebot пишет: «Мои данные, основанные на исследовании в Стэндфордском университете, показывают, что людям требуется около 14 дней на то, чтобы научиться разговаривать со мной и начать себя лучше чувствовать». Пользователь не может задать критические вопросы, в частности: «Какое исследование в Стэнфорде? Сколько в нем было участников? С чем работала контрольная группа?». Два допустимых ответа, которые я увидел, когда сам тестировал это приложение, сводились к следующим: «Хорошо» или «Гм…». Подобные бинарные ответы постоянно используются в приложении, дисциплинируя пользователя.

Для человека, привыкшего к тестам со многими вариантами ответов, простым телефонным играм вроде Candy Crush и бинарным реакциям «нравится/не нравится» в сетях Facebook, Instagram и Twitter, кнопки ответов в Woebot могут быть приятным продолжением безболезненного цифрового дрейфа. Они снимают с человека задачу по объяснению себя самого, по формулировке разумного ответа, как и решение о том, как относиться к собеседнику – со скепсисом или доверием. Тем, кто уже страдает депрессией, это может принести облегчение.

Но существует метод лечения – его обычно называют лечением разговором, – в котором формулировка высказываний как раз и считается главным смыслом консультирования, а не чем-то, чего требуется избегать[140]140
  Enrico Gnaulati, Saving Talk Therapy: How Health Insurers, Big Pharma, and Slanted Science Are Ruining Good Mental Health Care (Boston: Beacon Press, 2018).


[Закрыть]. Распространение терапевтических приложений грозит вытеснить лечение разговором и заменить его бихевиористическими подходами, которые просто пытаются оборвать, заглушить или оспорить негативные мысли, а не исследовать их контекст и конечные причины. Когда приложения психического здоровья управляются узкоспециализированным ИИ, они пользуются утилитаристским подходом к пациентам, представляющим их проблемы в качестве помехи производительности, и в то же время его закрепляют[141]141
  Elizabeth Cotton, “Working in the Therapy Factory,” Healthcare: Counselling and Psychotherapy Journal 20, no. 1 (2020): 16–18; Catherine Jackson and Rosemary Rizq, eds., The Industrialisation of Care: Counselling, Psychotherapy and the Impact of IAPT (Monmouth, UK: PCCS Books, 2019).


[Закрыть].

Конечно, эти опасения возникли еще десятилетия назад, когда появились психотропные препараты[142]142
  Peter Kramer, Against Depression (New York: Viking, 2005).


[Закрыть]. Критики доказывали, что пациентам лучше изучать более глубокие причины своих проблем, чем пытаться отделаться от них за счет лекарств[143]143
  См., например: Йоханн Хари, Пункт назначения: счастье. Как путешествие длиною 40 ооо миль раскрыло реальные причины депрессии (Москва: Эксмо, 2019).


[Закрыть]. Но в этом случае, по крайней мере, эксперт, прежде чем начать лечение, высказывает свое мнение. Слишком многие терапевтические приложения пренебрегают даже такой предосторожностью, выходя прямо на рынок, где они доступны пациентам.

Другая линия критики связана с уязвимостью пользователей, которые могут пострадать от недобросовестной манипуляции, которой занимаются неизвестные силы[144]144
  Frank A. Pasquale, “Privacy, Autonomy, and Internet Platforms,” in Privacy in the Modern Age: The Search for Solutions, ed. Marc Rotenberg, Julia Horwitz, and Jeramie Scott (New York: New Press, 2015), 165-173-


[Закрыть]. Рассмотрим, к примеру, терапевтическое приложение, «лечащее» работника, который недоволен временем, проводимым им на работе. Работник чувствует, что ему недоплачивают или что его недостаточно ценят, и свое недовольство он формулирует в приложении. На такую проблему можно дать несколько возможных ответов. Например, приложение может заставить проявлять настойчивость, подталкивая работника к тому, чтобы он потребовал прибавки. С другой стороны, оно же может предписать созерцательную покорность своей судьбе, поощряя его ценить все то, что у него уже есть. Или оно может занять позицию подчеркнутой нейтральности, пытаясь углубиться в причины беспокойства работника. Попробуйте догадаться, какой ответ такое приложение должно было бы выдать работнику по мысли работодателя. Специалисты служат определенным буфером, позволяющим устранить подобные конфликты интересов. Они могут выступать более нейтральными интерпретаторами заболеваний, с которыми к ним обращаются, чем приложения или ИИ, управляемые третьими сторонами, будь то работодатели, страховщики или государства[145]145
  Также имеют значение режимы трудового права. Французские схемы защиты интересов рабочих закладывают более надежное основание для инициатив, связанных с охраной здоровья на рабочем месте, если сравнивать с правом в США. См.: Julie С. Suk, “Preventive Health at Work: A Comparative Approach,” American Journal of Comparative Law 59, no. 4 (2011): 1089–1134.


[Закрыть].

Предсказательная аналитика работает лучше всего, когда есть ясные и точно определенные параметры успеха. Но в случае проблем с психическим здоровьем есть множество способов определять проблемы и искать решения. Различные коммерческие модели могут склонять к разным определениям ментального заболевания и выбора его лечения. Бесплатное приложение, работающее за счет рекламы, не обязательно оптимизирует «время пребывания» пользователя в приложении, но оно может манипулировать им иначе, что необходимо для его продвижения. Рассказы человека о своем собственном благополучии могут быть

бесспорной базовой истиной, на основе которой нужно мерить ценность приложений[146]146
  Natasha Dow Schilli, Addiction by Design: Machine Gambling in Law Vegas (Princeton: Princeton University Press, 2014).


[Закрыть]. Однако само понятие благополучия колонизировано корпорациями и государством, которые связали его с более объективными показателями, такими как производительность[147]147
  Gordon Hull and Frank Pasquale, “Toward a Critical Theory of Corporate Wellness,” Biosocieties 13 (2017): 190–212; Уильям Дэвис, Индустрия счастья. Как Big Data и новые технологии помогают добавить эмоцию в товары и услуги (Москва: Эксмо, 2017).


[Закрыть]. В процессе подобной колонизации был потерян смысл обозначения эмоций как «форм суждения», если воспользоваться удачным термином Марты Нуссбаум[148]148
  Martha Nussbaum, Upheavals of Thought: The Intelligence of Emotions (New York: Cambridge University Press, 2001), 22.


[Закрыть]. Они рискуют стать еще одним объектом максимизации с применением цифровой «сомы», поставляемой быстро растущей «индустрией счастья»[149]149
  Дэвис, Индустрия счастья.


[Закрыть].

И академические ученые, и активисты указывали на проблематические предубеждения врачей и других поставщиков медицинских услуг[150]150
  Dayna Matthew, Just Medicine: A Cure for Racial Inequality in American Health Care (New York: New York University Press, 2015).


[Закрыть]. Движение за алгоритмическую ответственность в медицине должно будет действовать и дальше – критиковать и исправлять предубеждения и иные проблемы, способные отяготить медицинскую помощь с компьютерным компонентом. Лучшая структурная защита – следить за тем, чтобы большая часть приложений разрабатывалась для усиления интеллекта ответственных специалистов, а не в качестве замещающего их ИИ[151]151
  Frank Pasquale, “Professional Judgment in an Era of Artificial Intelligence,” boundary2 46 (2019): 73-101.


[Закрыть]. Также в развитии гуманистических (а не бихевиористических) приложений психического здоровья должны играть свою роль и многие другие аспекты медицинского законодательства и программ развития (в частности, нормативы лицензирования и программы компенсации)[152]152
  Brett Frischmann and Evan Selinger, Re-engineering Humanity (New York: Cambridge University Press, 2018).


[Закрыть].