Текст книги "Искусственный интеллект в медицине. Как умные технологии меняют подход к лечению"

Глава 5
Серьезные трудности

Искусственный интеллект по своему уровню далеко не дотягивает и до мышиного ума.

Ян Лекун

Я часто говорю моим студентам: пусть вас не вводит в заблуждение словосочетание «искусственный интеллект», в нем нет ничего «искусственного». ИИ делают люди, его поведение задумано как человеческое, да и в конце концов, его задача – благотворно повлиять на человеческую жизнь и человеческое общество.

Фэй-Фэй Ли

Когда я посетил Фэй-Фэй Ли в одном из офисов Google в конце 2017 г. – в то время шумиха вокруг искусственного интеллекта была близка, вероятно, к своему апогею, – она заметила: было бы неплохо, если бы в истории искусственного интеллекта наступила еще одна зима, чтобы можно было успокоиться, упорядочить достижения и, проверив их на истинность и эффективность, «обернуть пленкой» реальный прогресс. Конечно, по всему миру звучат излишне мрачные пророчества: мы все умрем, всех врачей поувольняют и так далее. Однако, вспомнив обо всех негативных моментах, связанных с ИИ, и заново их изучив, я понял, что на эту тему можно написать целую книгу. Думаю, что вскоре таких книг появится немало. Никого не удивит, если такой мощный инструмент, как искусственный интеллект, будет использован в гнусных или просто нежелательных целях, будь то умышленно или невольно. Сейчас мы вкратце рассмотрим потенциально неблагоприятные последствия, с которыми может столкнуться истинная медицина, начиная с методологии самого искусственного интеллекта, его способности усиливать предрассудки и неравенство, размывать истину, вторгаться в частную жизнь, угрожать рабочим местам и самому нашему существованию.

Методология нейронных сетей и их ограниченность

Используя термин «методология», я имею в виду все – от входа до выхода и «выводов из выхода». Нейронные сети выигрывают за счет оптимального качества и количества данных, на основании которых их обучают и которые они используют для прогнозирования. На сегодня в большинстве случаев искусственный интеллект работает со структурированными данными (например, с изображениями, речью и играми), которые отличаются высокой степенью организации, имеют определенный формат, доступны для поиска, просты в обработке, хранении и извлечении, а также поддаются анализу. К сожалению, многие данные не маркированы (помечены) и не аннотированы, не являются «чистыми» или структурированными. В медицине существует множество неструктурированных данных – например, написанный свободным стилем текст в электронных медицинских документах. За редким исключением, в наше время обучение ИИ – это обучение с учителем, которое требует определения так называемых «эталонов». Любая неточная маркировка, любой неправильный эталон могут сделать выводы бессмысленными. Например, врачебная интерпретация медицинских изображений может быть несогласованной и противоречивой, что делает шаткими и эталоны. Очистка данных означает либо удаление всего неполного, несущественного, испорченного, неточного и неправильного материала, либо его модификация до состояния, пригодного к включению в анализ.

Но даже при условии, что данные будут очищены, аннотированы и структурированы, проблемы все равно могут возникнуть. Надо учитывать еще и фактор времени: может возникнуть дрейф данных при снижении работоспособности модели, равно как и изменение данных с течением времени[146]146
  Davis, S. E., T. A. Lasko, G. Chen, E. D. Siew, and M. E. Matheny, “Calibration Drift in Regression and Machine Learning Models for Acute Kidney Injury.” Journal of the American Medical Informatics Association, 2017. 24 (6): pp. 1052–1061.


[Закрыть].

История AliveCor наглядно показывает, как отбор данных может породить искаженные выводы: вспомним, как в самом начале клиника Мэйо целенаправленно отсеяла из рассмотрения всех госпитализированных пациентов. Недостаточное количество пациентов с высоким содержанием калия в крови в первом массиве данных едва не вынудила группу исследований отказаться от проекта. В целом же, чтобы преодолеть проблему соотношения «сигнал—шум», разработчики должны иметь в своем распоряжении достаточно данных, с помощью которых можно будет делать точные прогнозы, избегать чрезмерно близкой подгонки, что очень важно, когда нейросеть вынуждена пользоваться ограниченным набором данных. Повторюсь: совершенно очевидно, что налицо изобилие данных, если иметь в виду число поисковых запросов в Google, постов в Instagram или Facebook, видеороликов на YouTube. Однако в медицине вместо миллиардов единиц данных мы, как правило, имеем дело с тысячами, в лучшем случае с миллионами. Работа с такими массивами данных не требует DNN, а если они используются, то возникает серьезная проблема недостаточных данных на входе или спорного результата на выходе.

Несмотря на то, что DNN, как правило, позиционируют как модель мозга (1–2 кг, 86 млрд нейронов и сотня триллионов нейронных связей) с его способностями к обучению, надо еще раз подчеркнуть, что на самом деле нет никаких данных, которые подкрепляли бы это утверждение. «Нейронные сети» в действительности не такие уж и нейронные. Франсуа Шолле, специалист по глубокому обучению из компании Google, подчеркивает в книге «Глубокое обучение на Python»[147]147
  Шолле Ф. Глубокое обучение на Python. – М.: Питер, 2018.


[Закрыть]: «Нет никаких доказательств, что мозг реализует механизмы, подобные механизмам, используемым в современных моделях глубокого обучения»[148]148
  Chollet, F., Deep Learning with Python. 2017. Shelter Island, NY: Manning.


[Закрыть]. Конечно, нет никаких оснований думать, будто машины должны имитировать работу мозга; это всего лишь результат упрощенного, «антропоморфного наоборот» представления о мышлении. Когда мы видим, как машина проявляет что-то напоминающее ум, мы очеловечиваем ее и начинаем думать, будто и наш мозг есть всего лишь разновидность центрального процессора, блок когнитивной обработки.

Глубокое обучение искусственного интеллекта разительно отличается от человеческого обучения и лишь дополняет его. Возьмем для примера обучение детей: Ян Лекун, пионер исследований искусственного интеллекта в компании Facebook, утверждает по этому поводу следующее: «Дети очень быстро учатся человеческому диалогу и усваивают здравый смысл, глядя на мир. Мне кажется, в этом есть нечто такое, что мы еще не открыли, некая парадигма обучения, которая остается для нас непонятной. Думаю, что наша неспособность расколоть этот орешек и есть главное препятствие на пути к настоящему прогрессу в разработке ИИ»[149]149
  Knight, W., “Facebook Heads to Canada for the Next Big AI Breakthrough,” MIT Technology Review. 2017.


[Закрыть].

Машинам для обучения требуются большие массивы данных, в то время как ребенку нужно очень ограниченное количество данных на входе. И дело не просто в том, что машины преуспевают в глубоком обучении, а дети посредством байесовских вероятностных методов могут делать многочисленные выводы и экстраполяции. Дети в состоянии рассуждать. Они быстро начинают понимать, как устроен мир. Кроме того, они выказывают большую приспособляемость к новому, даже не имея опыта оценки незнакомой ситуации. Младенцу требуется всего несколько минут на усвоение абстрактных, подобных языковым правил на основании минимального числа немаркированных примеров[150]150
  Marcus, G., Deep Learning: A Critical Appraisal. arXiv, 2018.


[Закрыть]. Вот что говорит специалист из компании Microsoft Гарри Шам: «Современные компьютеры очень хорошо справляются со специфическими задачами, но когда речь идет об обобщенных заданиях, то искусственный интеллект не может соперничать с ребенком». Это заставляет вспомнить идею Джона Локка о tabula rasa (которая, впрочем, восходит еще к Аристотелю), «чистой доске», высказанную им в классическом трактате 1689 г. «Опыт о человеческом разумении»: согласно Локку, человеческий ум при рождении представляет собой нечто похожее на «белую бумагу без всяких знаков и идей». Действительно, нейронная сеть похожа на «чистую доску», на неисписанную бумагу, но многие ученые, например Гари Маркус, утверждают: пока специалисты по ИИ не объяснят врожденность человеческого разума и его готовность усваивать информацию, компьютеры останутся неспособными на такие подвиги, как овладение речью с той же скоростью, что и маленькие дети[151]151
  Hsu, J., “Will the Future of AI Learning Depend More on Nature or Nurture?” in Spectrum IEEE. 2017.


[Закрыть]. Таким образом, хотя компьютеры могут быть непревзойденными экспертами в выполнении узких задач, для них, по выражению Шолле, «не существует практического пути от сверхчеловеческого выполнения тысяч узких вертикальных задач к общему умственному развитию и здравому смыслу ползунка». Медицине же может быть интересно лишь сочетание обучения искусственного интеллекта с такими ключевыми признаками человеческого познания, как здравый смысл.

Мы слишком часто приписываем машинам способность «читать» сканы или слайды, хотя на самом деле они не умеют читать. Распознавание не равнозначно пониманию: есть такая вещь, как нулевой контекст, о чем говорит Фэй-Фэй Ли в лекции TED по компьютерному зрению (2015 г.). Великолепный пример – это интерпретация машиной изображения: «человек едет верхом на коне по улице». На самом деле это человек, сидящий высоко на статуе, которая никуда не движется. Это означает, что в машинном распознавании образов мы уперлись в потолок. Когда я в 2018 г. спросил Фэй-Фэй Ли, изменилось ли что-нибудь к лучшему, она ответила: «Ни в малейшей степени».

Существуют даже проблемы с базовым распознаванием объекта, что было наглядно продемонстрировано в двух исследованиях. Одно – «Слон в комнате» – показало, что глубокое обучение неспособно заставить компьютер точно распознать образ слона, если последний помещен в гостиную, где, помимо него, находится диван, человек, стул и книги на полке[152]152
  Rosenfeld, A., R. Zemel, and J. K. Tsotsos, The Elephant in the Room. arXiv, 2018. https://arxiv.org/abs/1808.03305.


[Закрыть]. И вот она, изнанка, уязвимость глубокого обучения нейросетей: машина увидела призрак – она опознала человека, которого на самом деле не было на изображении[153]153
  Li, Y., X. Bian, and S. Lyu, Attacking Object Detectors via Imperceptible Patches on Background. arXiv, 2018. https://arxiv.org/abs/1809.05966.


[Закрыть].

Некоторые специалисты считают, что глубокое обучение достигло пределов своих возможностей, поэтому потребуются большие усилия для того, чтобы выйти за рамки современного уровня его узкой функциональности. Джеффри Хинтон, отец глубокого обучения, даже поставил под вопрос всю методологию[154]154
  Somers, J., “Is AI Riding a One-Trick Pony?” MIT Technology Review. 2017.


[Закрыть]. И хотя метод обратного распространения ошибки (метод исправления ошибок в нейросетях) – его изобретение, он недавно заявил, что испытывает «большие подозрения» в отношении этого метода: надо, считает Хинтон, «отбросить все, что мы сделали, и начать все сначала»[155]155
  Perez, C. E., “Why We Should Be Deeply Suspicious of BackPropagation,” Medium. 2017.


[Закрыть]. Указывая на зависимость этой технологии от обширного маркирования, он предположил, что неэффективность, проистекающая из этой зависимости, может «привести к смерти самого метода»[156]156
  Marcus, Deep Learning.


[Закрыть]. Хинтон намерен сузить пропасть между искусственным интеллектом и разумом ребенка, для чего ввел термин «капсульные сети»[157]157
  Hinton, G., S. Sabour, and N. Frosst, Matrix Capsules with EM Routing. 2018. ICLR. Simonite, T., “Google’s AI Wizard Unveils a New Twist on Neural Networks,” Wired. 2017.


[Закрыть]. Хинтон, по всей видимости, воодушевлен идеей сближения биологии и информатики, а для этого, по его мнению, потребуется выйти за рамки плоских слоев сегодняшних ГНС: в структуре капсульных сетей есть вертикальные колонки (столбики из нейронов), имитирующие структуру неокортекса. Хотя капсульной архитектуре еще только предстоит улучшить результативность сетей, не следует забывать, что методу обратного распространения ошибки потребовалось несколько десятилетий на признание в научном сообществе. Пока рано судить, последует или нет капсульная архитектура по тому же пути, однако уже сам факт, что Хинтон пробил брешь в современной методологии глубоких нейросетей, привел всех в замешательство.

Триумф AlphaGo Zero также наводит на некоторые размышления. В статье для Nature, о которой говорилось в предыдущей главе, эта система подавалась с большой помпой – чего стоил один заголовок: «Овладение игрой го без человеческих знаний»[158]158
  Silver, D., et al., “Mastering the Game of Go Without Human Knowledge.” Nature, 2017. 550 (7676): pp. 354–359.


[Закрыть]. Когда я поинтересовался мнением Гари Маркуса по этому поводу, он сказал, что это просто «смешно». «Там работала команда из 17 человек, и все – мировые эксперты по компьютерному го. В команде есть один из лучших в мире игроков в го. Тем не менее они на голубом глазу заявляют, что работали “без человеческих знаний”. Это же чистый абсурд». Тогда я спросил, почему, по его мнению, DeepMind так раздувает это достижение. На это Маркус ответил: «Просто они хайпожоры»[159]159
  Marcus, G., Gary Marcus Interviews with Eric Topol, ed. E. Topol. 2017.


[Закрыть]. Маркус не одинок в своей критике системы AlphaGo Zero. Еще один непримиримый критик, Хосе Камачо Кольядос, сделал несколько важных замечаний – например, об отсутствии прозрачности (код отсутствует в открытом доступе) и о лукавстве авторов, будто система училась «исключительно на игре с самой собой», учитывая, что игру требовалось научить и правилам, и некоторым знаниям о ней. Кроме того, он упоминает также об «ответственности исследователей в этой области за точное описание… наших усилий и недопущение распространения (зачастую с меркантильными целями) ложной информации и мистификаций»[160]160
  Collados, J. C., Is AlphaZero Really a Scientific Breakthrough in AI? 2017. https:// medium.com/@josecamachocollados/is-alphazero-really-a-scientificbreakthrough-in-ai-bf66ae1c84f2.


[Закрыть]. Соответственно, многие крупнейшие достижения искусственного интеллекта могли быть и приукрашены.

И во всех областях науки часто высказывается озабоченность по поводу выборочного представления фактов по принципу «изюм из булки» или отсутствия воспроизводимости. В рамках многих исследований тестировали сразу несколько нейросетей, но в публикациях мы читаем лишь о тех, которые работают. В иных случаях тестовые данные сильно отличались от валидационных. Отсутствие открытых данных, таких, например, как код, нарушает требование воспроизводимости, и это большая проблема многих отчетов об испытаниях. Что еще удивляет лично меня, так это малочисленность публикаций. Статьи о применении ИИ в области компьютерных игр, упомянутые в этой книге, были напечатаны (и это стоит особо отметить) в авторитетных журналах, Nature и Science. Однако многие статьи, весьма важные применительно к медицине, публикуются в виде препринтов на таких сайтах, как arXiv, и не рецензируются специалистами. Прогресс, достигнутый в области ИИ, не должен отметать проверенный временем принцип валидации – когда все статьи рецензируются соответствующими специалистами. Кроме того, большинство опубликованных на сегодняшний день медицинских исследований являются ретроспективными, выполненными in silico, и их еще предстоит оценить проспективно в ходе реальных клинических испытаний.

«Черные ящики»

Если и есть некий признак, объединяющий человеческий мозг и искусственный интеллект, то это непрозрачность. Многие способности обучающихся нейронных сетей остаются труднообъяснимыми, и мы не можем расспросить искусственный интеллект, как именно он пришел к тем или иным выводам.

Прекрасной иллюстрацией может служить ход 37, принесший AlphaGo победу над Ли Седолем: сами создатели алгоритма не могут объяснить, как это произошло. Тот же самый феномен мы наблюдаем и в медицинском ИИ. Вот один пример: благодаря глубокому обучению системе удалось сравняться по своим диагностическим возможностям с командой из 21 дипломированного дерматолога при классификации поражений кожи как злокачественных или доброкачественных. Стэнфордские ученые, создатели этого алгоритма, до сих пор точно не знают, какие именно характеристики сделали возможным такой успех[161]161
  Brouillette, M., “Deep Learning Is a Black Box, but Health Care Won’t Mind,” MIT Technology Review. 2017.


[Закрыть]. Третий пример тоже взят из медицины: об этом случае рассказал мой коллега Джоэль Дадли из школы медицины Икана при нью-йоркском медицинском центре Маунт-Синай. Дадли возглавлял группу, работавшую над проектом Deep Patient: ее задачей было разобраться, можно ли использовать данные из электронных медицинских карт для прогнозирования 78 заболеваний. Когда искусственный интеллект использовали для анализа историй болезни более 700 тыс. пациентов медицинского центра, он оказался способен предсказывать, используя обучение без учителя на материале необработанных медицинских документов (правда, сначала их каскадно обработали шумоподавляющими автокодировщиками, устранив часть шума), вероятность и приблизительный срок развития шизофрении – невообразимо трудная задача для врача. Дадли прокомментировал проблему «черного ящика» в применении к ИИ: «Мы умеем создавать такие модели, но мы не знаем, как они работают»[162]162
  Miotto, R., et al., “Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records.” Scientific Reports, 2016. 6: p. 26094.


[Закрыть].

Мы уже смирились с «черными ящиками» в медицине. Например, электрошоковая терапия весьма эффективна при тяжелой депрессии, но мы не имеем ни малейшего представления, как именно она работает в этом случае. Точно так же есть множество эффективных лекарств, механизм действия которых никто не может объяснить. Как пациенты, мы вполне согласны быть такими «черными ящиками» в человеческом обличье – во всяком случае, когда мы субъективно чувствуем себя лучше или когда объективно облегчается течение болезни. Надо ли так же относиться к алгоритмам искусственного интеллекта? Педро Домингос сказал мне, что он предпочел бы «99 %-ную точность “черного ящика” системе, которая полностью объяснима, но способна лишь на 80 %-ную точность»[163]163
  Domingos, P., Pedro Domingos Interviews with Eric Topol, ed. E. Topol. 2017.


[Закрыть].

Но нельзя сказать, что это преобладающее отношение. Институт AINow, учрежденный в 2017 г. при Нью-Йоркском университете, занимается изучением социальных последствий применения ИИ. Рекомендация номер 1 этого учреждения гласит, что ни в каких вопросах «первостепенной важности», таких как уголовное правосудие, здравоохранение, социальная политика и образование, нельзя опираться на «черные ящики» искусственного интеллекта, зависеть от них[164]164
  Campolo, A., et al., AI Now 2017 Report, ed. S. B. Andrew Selbst. 2017, AI Now Institute.


[Закрыть]. Такие доклады не единичны. В 2018 г. вступил в силу Общий регламент Евросоюза по защите данных (GDPR). Документ требует от компаний давать пользователям объяснения решений, принятых автоматизированными системами[165]165
  Knight, W., “The Dark Secret at the Heart of AI,” MIT Technology Review. 2017; Kuang, C., “Can A. I. Be Taught to Explain Itself?” The New York Times. 2017.


[Закрыть].

Это и составляет суть проблемы в медицине. Врачи и больницы (да и вся система здравоохранения) будут нести ответственность за решения, принятые машинами, пусть даже использованные алгоритмы были тщательно проверены и сочтены абсолютно пригодными к применению. «Право на объяснение», оговоренное в GDPR, дает пациентам возможность требовать разъяснения критически важных вещей, касающихся их здоровья или методов лечения заболеваний. Более того, машина может сломаться, ее могут взломать. Просто вообразите себе алгоритм ведения больного сахарным диабетом: этот алгоритм усваивает и обрабатывает многослойные данные о содержании глюкозы в крови, о физической активности пациента, о его сне, питании и стрессах. А теперь представьте себе, что этот алгоритм завис (или его взломали), и он начинает рекомендовать пациенту иную, неадекватную дозу инсулина. Если такую ошибку делает человек, то она может привести к гипогликемии и даже смерти одного больного. Если такую ошибку делает вся система искусственного интеллекта, то это может обернуться осложнениями или даже гибелью для сотен, а то и тысяч людей. Любое медицинское решение машины должно быть в любой момент доступно четкому определению и объяснению. Более того, необходимо многократное моделирование, чтобы обнаружить уязвимости алгоритма (возможность взлома, вероятные ошибки). Для того, чтобы все эти новшества были приняты медицинским сообществом, необходима прозрачность в отношении масштабов и результатов таких испытаний. Тем не менее в настоящее время на рынке есть немало медицинских алгоритмов (например, интерпретирующих снимки), и для этих алгоритмов не существует объяснений их работы. Предполагается, что машинная интерпретация каждого снимка должна быть проверена врачом-рентгенологом, что обеспечивает гарантию качества интерпретации. Что будет, если рентгенолог торопится, отвлекается или излишне беспечен, и в результате пациент получит неверную трактовку исследования?

Возникла даже общественная инициатива, названная «Объяснимый искусственный интеллект». Ее цель – понять, почему алгоритм выдает те или иные результаты. Пожалуй, неудивительно, что специалисты по информационным технологиям прибегли к помощи нейронных сетей, чтобы разобраться, как работают нейронные сети. Например, DeepDream, проект компании Google, по сути представляет собой обратный алгоритм глубокого машинного обучения. Вместо распознавания образов он генерирует их, чтобы определять их ключевые признаки[166]166
  Knight, “The Dark Secret at the Heart of AI.”


[Закрыть]. Немного забавно, что специалисты по искусственному интеллекту постоянно предлагают использовать ИИ для исправления его же недостатков. Это похоже на старую хирургическую максиму: «Сомневаешься – удаляй».

В медицине есть несколько примеров раскрытия алгоритмического «черного ящика». В одном исследовании, выполненном в 2015 г., использовали машинное обучение для прогнозирования, у каких госпитализированных по поводу пневмонии пациентов следует ожидать серьезных осложнений. Алгоритм ошибочно предсказал, что астматики лучше переносят пневмонию, что потенциально могло привести к необоснованным отказам в госпитализации[167]167
  Caruana, R., et al., “Intelligible Models for Health Care: Predicting Pneumonia Risk and Hospital 30-Day Readmission,” ACM. 2015.


[Закрыть]. Последующие попытки понять неосознаваемые аспекты алгоритма привели к определению эффекта каждой входной переменной, что и позволило исправить ошибку[168]168
  Kuang, “Can A. I. Be Taught to Explain Itself?”


[Закрыть].

Мы можем вполне обоснованно предсказать, что будет предпринято значительно больше усилий для понимания внутренних механизмов нейросетей. Даже несмотря на то, что мы привыкли к компромиссам в медицине (если они несут благо), взвешивая терапевтическую эффективность и риск, большинство врачей все же не готовы принять машинный «черный ящик» и тот факт, что искусственный интеллект становится неотъемлемой составляющей медицины. Очень скоро мы получим результаты рандомизированных испытаний в медицине – валидацию серьезного преимущества алгоритмов перед стандартами, принятыми в современной клинической медицине, но причин, почему это преимущество имеет место, найдено не будет. Наша терпимость в отношении машин с «черными ящиками», несомненно, будет подвергнута испытанию.