Текст книги "Искусственный разум и новая эра человечества"

Разные задачи – разные стили обучения

Для разных задач, выполняемых ИИ, требуются разные методы обучения. В этом заключается основная проблема внедрения машинного обучения. В зависимости от предполагаемого назначения того или иного ИИ разработчикам приходится использовать различные методы обучения. Из сочетания применяемых методов – алгоритмов машинного обучения, нейронных сетей и способов обучения – возникают новые возможности ИИ, например диагностика рака.

Сегодня можно выделить три основные формы машинного обучения: контролируемое обучение, неконтролируемое обучение и обучение с подкреплением. Контролируемое обучение позволило создать ИИ, который обнаружил халицин. Напомним, что в поисках потенциальных новых антибиотиков исследователи МТИ использовали базу данных из 2 тыс. молекул, чтобы обучить модель, в которой на входе была молекулярная структура, а на выходе – эффективность антибиотика. Исследователи предоставили ИИ сведения о молекулярных структурах, эффективность которых как антибиотиков была заранее известна. После этого ИИ смог оценить новый набор соединений.

Этот метод называется контролируемым обучением, поскольку на входе используется набор данных (в случае с халицином – молекулярных структур), индивидуально маркированных в соответствии с желаемым результатом (свойствами антибиотика). Разработчики используют контролируемое обучение для многих целей, например для создания ИИ, распознающих изображения. Для этого ИИ обучают на наборе предварительно атрибутированных изображений – например, изображений кошек с меткой «кошка». Кодируя связь между изображениями и метками, ИИ учится правильно идентифицировать новые изображения. Когда у разработчиков есть набор данных, указывающий желаемый результат для каждого из множества объектов на входе, контролируемое обучение работает особенно эффективно – полученные модели могут предсказывать результаты в ответ на новые входные данные.

Если у разработчиков нет ничего, кроме огромного количества данных, они используют неконтролируемое обучение. Сегодня предприятия, правительства и исследователи благодаря интернету и цифровизации располагают несметными объемами данных – у маркетологов оседает информация о клиентах, у биологов – об образцах ДНК, у банкиров – о финансовых операциях. Когда маркетологи формируют клиентские базы, а финансовые аналитики ищут потенциальные несоответствия в огромных массивах транзакций, неконтролируемое обучение позволяет ИИ выявлять закономерности или аномалии без какой-либо спецификации «правильных» ответов. Разработчики поручают алгоритму обучения создавать группы данных на основе определенных мер сходства. Например, видеосервисы, такие как Netflix, используют алгоритмы, которые определяют кластеры клиентов с похожими привычками просмотра, чтобы рекомендовать им подходящие фильмы. Настраивать такие алгоритмы непросто, поскольку у людей, как правило, много интересов и каждый зритель может попасть во множество кластеров.

ИИ, обученные с помощью неконтролируемого обучения, могут выявлять слишком тонкие закономерности, требующие слишком больших объемов данных для человека. Поскольку таким ИИ никто не диктует критерии «правильности» результатов, они, как и люди-самоучки, могут создавать удивительные инновационные идеи – или выдавать совершенно нелепые результаты.

И при неконтролируемом, и при контролируемом обучении ИИ решают такие задачи, как выявление тенденций, идентификация образов и составление прогнозов, на основе данных. Но если необходимо обучить ИИ работать в меняющейся среде, ограничиваться анализом данных нельзя. Поэтому появилась третья основная категория машинного обучения – обучение с подкреплением.

При обучении с подкреплением ИИ не ограничивается ролью пассивного наблюдателя, выявляющего взаимосвязи в массивах данных, – он активно функционирует в упрощенной контролируемой среде, наблюдая и фиксируя реакцию, вызванную его действиями. Как правило, используются симулированные среды, имитирующие некую упрощенную версию реальности. Например, легче смоделировать работу робота на сборочном конвейере, чем в хаосе переполненной городской улицы. Однако даже в такой упрощенной контролируемой среде, как шахматы, один ход может вызвать целый каскад возможностей и рисков. Поэтому для того, чтобы ИИ самостоятельно тренировался в искусственной среде, как правило, недостаточно обеспечить наилучшие показатели – необходим некий механизм обратной связи.

Такую обратную связь обеспечивает функция подкрепления, указывающая ИИ на то, насколько успешным был его подход. В цифровой среде человек не может эффективно давать обратную связь машине – ведь ИИ выполняет сотни, тысячи или миллиарды шагов в течение нескольких часов или дней. Поэтому функции вознаграждения автоматизируются – для этого разработчики определяют, каким образом имитируется реальность и как должно работать подкрепление. В идеале симулятор обеспечивает реалистичный опыт, а функция вознаграждения способствует принятию эффективных решений.

ИИ AlphaZero тренировался, играя против самого себя – точнее, против второго экземпляра ИИ, играющего за противника, – а для оценки своей работы использовал функцию подкрепления[27]27
  В частности, поиск будущих возможных или исключенных ходов методом Монте-Карло.


[Закрыть], которая оценивала его ходы в соответствии с создаваемыми ими возможностями. Как показывает этот пример, человек занимается созданием среды обучения ИИ с подкреплением, но не может обеспечивать обратную связь в процессе обучения. Человек определяет способ симуляции и функцию вознаграждения, а ИИ обучается. Поэтому для того, чтобы добиться нужных результатов, очень важно тщательно определить метод симуляции и функцию вознаграждения.

Мощь машинного обучения

Описанные «строительные блоки» обеспечивают широкое применение ИИ. В сельском хозяйстве ИИ способствует правильному применению пестицидов, обнаружению болезней сельскохозяйственных культур и прогнозированию урожайности. В медицине он помогает открывать новые лекарства, разрабатывать новые способы применения существующих препаратов, диагностировать и прогнозировать заболевания (например, уже есть случаи диагностики рака груди, ретинопатии, гипогликемии и наследственных заболеваний, выполненной ИИ раньше, чем врачами-людьми). В финансовой сфере ИИ может одобрять выдачу кредитов, слияния и поглощения, банкротства и т. п. или отказывать в них.

Самая убедительная иллюстрация работы ИИ – расшифровка голоса и перевод с иностранных языков. На протяжении тысячелетий человечество сталкивалось с проблемой разрыва в коммуникациях между представителями разных культур и языков. Взаимонепонимание и недоступность иноязычной информации приводили не только к недоразумениям – из-за них страдала торговля, а иногда начинались войны. История о Вавилонской башне – символ человеческого несовершенства, рассказ о горьком наказании за человеческую гордыню. Но теперь все идет к тому, что мощные методы перевода с помощью ИИ сделают межъязыковые коммуникации доступными для широкой аудитории и значительно большему числу людей станет легче общаться друг с другом.

В 1990-х гг. исследователи с переменным успехом разрабатывали системы машинного перевода на основе правил. Эти попытки не привели к созданию универсальных переводчиков. Изменчивость и тонкость языка невозможно было свести к набору правил. Все изменилось, когда в 2015 г. машинный перевод совершил серьезный прорыв с началом использования глубоких нейронных сетей. Но инновации появились не только благодаря применению нейронных сетей или методов машинного обучения – скорее они возникли благодаря новым творческим способам применения этих подходов. Они подчеркивают ключевую способность машинного обучения – делать открытия и внедрять блестящие инновации в процессе создания новых ИИ.

Чтобы переводить с одного языка на другой, переводчик улавливает определенные закономерности, последовательные зависимости. Стандартные нейронные сети различают шаблоны ассоциаций между входом и выходом – например, какими наборами химических свойств обычно обладают антибиотики. Но они не могут так же просто улавливать последовательные зависимости – такие, например, как вероятность появления того или иного слова в предложении с учетом предыдущих слов. Если предложение начинается со слов «пойду выгуливать», следующим словом будет скорее «собаку», чем «кошку» или «самолет». Чтобы обучить ИИ таким последовательным зависимостям, исследователи разработали сети, использующие в качестве входных данных пары «текст – перевод». Это позволяет ИИ определять следующее слово на основе последовательных зависимостей на языках, между которыми осуществляется перевод. Наиболее мощные из этих сетей – так называемые трансформеры, которым не требуется обрабатывать последовательности по порядку. Например, Google BERT – двунаправленный трансформер, предназначенный для улучшения поиска.

Кроме того, разработчики систем перевода с иностранных языков использовали так называемые параллельные корпусы. Это было значительным достижением по сравнению с традиционным контролируемым обучением, требующим конкретных соответствий между входными и выходными данными. При традиционном подходе разработчики обучали ИИ, используя тексты с уже существующими переводами, поскольку в таких парах был необходимый уровень детального соответствия между языками. Но такой подход значительно ограничивал объем обучающих данных, а также типы доступных текстов – ведь если официальные тексты правительств или литературные труды переводятся на другие языки достаточно часто, то огромные массивы текстов из СМИ, соцсетей, с веб-сайтов и т. п., как правило, остаются непереведенными.

Вместо того чтобы ограничивать ИИ обучением на предварительно переведенных текстах, разработчики использовали статьи и другие тексты на разных языках по одной и той же теме, не являющиеся прямым переводом друг друга. Эти похожие, но непереведенные тексты и есть параллельные корпусы. Такой процесс обучения сродни переходу от изучения языков на специализированных курсах к обучению методом погружения. При этом происходит менее точное обучение, зато значительно увеличивается объем доступных данных. В параллельные корпусы включают новостные статьи, напечатанные в газетах на разных языках, рассказы о знаменитостях, рецензии на книги и фильмы, истории путешествий – одним словом, практически любые официальные или неофициальные публикации на темы, широко освещаемые во всем мире. Успех этого подхода привел к более широкому использованию частично контролируемого обучения, при котором используется весьма приблизительная или частичная информация.

Когда система Google Translate стала использовать глубокие нейронные сети, обученные на параллельных корпусах, ее производительность повысилась на 60 % – и продолжает расти.

Речь пока не идет о параллельном переводе устной речи – до робота C-3PO или вавилонской рыбки[28]28
  Фантастическое существо из серии книг Дугласа Адамса «Автостопом по галактике», которое вступает в симбиоз с носителем и телепатическим способом делает для него понятными почти любые чужие языки. – Прим. пер.


[Закрыть] нам еще далеко. Но радикальное развитие письменного перевода обещает изменить бизнес, дипломатию, СМИ, науку и другие сферы, поскольку люди будут общаться на чужих языках легче, быстрее и с меньшими затратами, чем когда-либо прежде.

ИИ, о которых мы рассказывали до сих пор, умели находить решения: победу в шахматной партии, искомое лекарство, осмысленный перевод с иностранного языка. Отдельная область – создание новых текстов, изображений, звуков и т. п. На это способна другая технология – генеративные нейронные сети. Сначала они обучаются на основе существующих текстов или изображений, а затем создают новые тексты или изображения – искусственные, но реалистичные. Если стандартная нейронная сеть может распознать изображение человеческого лица, то генеративная сеть может создать подобное изображение, которое будет выглядеть как реальное. Это концептуально новая технология.

Перспективы применения генеративных нейронных сетей поражают воображение. Настроив такую сеть на создание программного кода или оригинальных текстов, автор может задать общую структуру, которую генеративная нейросеть заполнит деталями. Можно будет поручать таким нейросетям создавать, например, финальные тексты, рекламные ролики и фильмы на основе исходных материалов. Серьезная опасность кроется в возможности создания так называемых цифровых фабрикаций (deep fake) – неотличимых от реальности изображений людей, которые делают или говорят то, что реальные люди никогда не делали и не говорили. В перспективе генеративные нейросети могут значительно обогатить наше информационное пространство, но, если не контролировать эту деятельность, она может существенно размыть границу между реальностью и вымыслом.

Распространенный алгоритм обучения таких моделей – генеративно-состязательные сети (generative adversarial network, GAN). В них генеративная модель, которая генерирует образцы, соревнуется с дискриминаторной моделью, которая борется с созданием некачественных вариантов. Представьте, например, что генератору поручено проводить мозговые штурмы, а дискриминатору – оценить, какие из проведенных мозговых штурмов оказались полезны и результативны. Генеративная и дискриминаторная модели обучаются попеременно: сначала генеративная модель тренирует дискриминаторную, затем наоборот.

Обучение GAN может быть довольно сложным, оно выполняется на огромных объемах данных и часто дает плохие результаты, но ИИ, созданные с их помощью, могут решать замечательные задачи. ИИ, обученные с помощью GAN, могут дописывать начатые предложения (например, при составлении электронных писем) или дополнять запросы для поисковых систем. В перспективе такие ИИ, возможно, научатся завершать недописанные программы.

Одним из наиболее примечательных генеративных ИИ является GPT-3, упомянутый в главе 1 (другие генеративные модели могут создавать неотличимые от реальности изображения или видео). GPT-3 расширяет подход, который оказался таким удачным в машинном переводе. Взяв несколько слов, GPT-3 обнаруживает закономерности в идущих друг за другом элементах текста, после чего предсказывает и генерирует последующие элементы. Несколько слов GPT-3 может экстраполировать в предложение, а предложение – в абзац.

Обученные на массивах данных, взятых в основном из интернета, трансформирующие ИИ также могут преобразовывать текст в изображения и наоборот, расширять или сокращать описания и т. д. Иногда продукция GPT-3 и аналогичных ИИ кажется высокоинтеллектуальной, иногда – глупой или совершенно непонятной. Но в перспективе такие системы могут изменить многие области, включая творческие. Поэтому они вызывают большой интерес исследователей и разработчиков, изучающих их сильные стороны, ограничения и возможности применения.

Машинное обучение не просто расширило возможности применения ИИ – оно произвело революцию даже в тех областях, в которых люди ранее успешно обходились без ИИ. Именно методы машинного обучения позволили открыть совершенно новые шахматные стратегии. Разумеется, способность ИИ к открытиям не ограничивается играми. Как уже упоминалось, компания DeepMind создала ИИ, который понизил энергозатраты дата-центров Google на 40 % после того, как они уже были оптимизированы отличными инженерами-людьми. Это означает, что такие ИИ не просто выполняют тест Тьюринга, показывая продуктивность, неотличимую от человеческой, – они выходят за его рамки, превосходя человеческую производительность и раздвигая границы нашего понимания. Такие достижения означают, что ИИ и дальше будет учиться решать новые задачи и спектр его применения будет расти – возможно, он действительно будет писать оригинальные тексты и разрабатывать программные коды.

Разумеется, чем мощнее становится технология и чем больше она распространяется, тем чаще ее преимущества сопровождаются проблемами. Наглядный пример – персонализация поиска. В главе 1 мы описали, чем отличается интернет-поиск, управляемый ИИ, от обычного интернет-поиска – первый может ограничить поле зрения пользователя предложениями только дизайнерской одежды, в то время как второй познакомит его с полным ассортиментом, доступным для приобретения в интернете. Поисковая система подстраивается под конкретного пользователя двумя способами: 1) получив запрос вроде «чем заняться в Нью-Йорке», ИИ может генерировать идеи, такие как «прогулка по Центральному парку» или «посещение бродвейских шоу»; 2) ИИ может запоминать как историю запросов, так и ответные идеи. Со временем он будет конкретизировать эти идеи, делая их (теоретически) все более полезными для пользователей. Онлайн-кинотеатры выполняют подобную задачу, используя ИИ, чтобы сделать телевизионные шоу и фильмы более подходящими для зрителей, которые хотели бы смотреть, например, более позитивные фильмы. Это путь к расширению возможностей. Такой ИИ будет прятать от детей взрослый контент и сможет рекомендовать им программы, соответствующие их возрасту и вкусам. Такой ИИ будет беречь всех зрителей от жесткого контента или слишком откровенных фильмов или историй, оскорбляющих чувства, – в зависимости от того, какие выводы о предпочтениях пользователей сделают алгоритмы, анализируя их предшествующие действия. По мере того как ИИ будет изучать аудиторию, он будет добиваться все более положительных результатов – например, онлайн-кинотеатры будут с большей вероятностью рекомендовать своим подписчикам именно те фильмы и сериалы, которые их заинтересуют, а не те, которые их оскорбят или смутят.

То, что такая фильтрация может помочь, нам всем уже знакомо на практике. Находясь в другой стране, мы можем нанять гида, который покажет нам те исторические места или достопримечательности, которые в большей степени соответствуют нашей религии, национальности или профессии. Это может превратиться в своего рода цензуру – ведь такой экскурсовод, вероятно, будет избегать трущоб или районов с высоким уровнем преступности. В авторитарных странах гиды могут показывать туристам только то, что разрешено правящим режимом. Что же касается киберпространства, то в нем такая фильтрация возникает и развивается сама по себе. Как только алгоритмы, персонализирующие поиск, начинают отбирать для нас новости, книги и другие источники информации, они неизбежно начинают педалировать одни темы и скрывать другие. В результате будут расти изоляция пользователей друг от друга и разногласия между ними. Реальность одного пользователя будет отличаться от реальности другого, реальность которого будет совсем непохожа на реальность третьего, – этот парадокс мы рассмотрим более детально в главе 6.

Чем шире будет распространяться ИИ, тем больше он будет создавать рисков, и по мере развития ИИ необходимо учиться управлять этими рисками.

Ограничения ИИ и управление им

В отличие от предыдущего поколения ИИ, основанных на человеческом понимании реальности, ИИ с машинным обучением моделируют реальность самостоятельно. При этом разработчики не могут попросить ИИ объяснить, чему он научился, как это можно сделать с учеником-человеком. Невозможно узнать, чему именно научился ИИ и как он это сделал, – мы можем лишь наблюдать результаты, которые ИИ выдает после завершения обучения. Это означает, что людям нужно выполнять противоположную работу. Когда ИИ выдает результат, люди должны проверять его, чтобы быть уверенными, что это тот результат, который им нужен.

Иногда ИИ может обнаруживать нечто совершенно неожиданное. Не имея человеческого опыта, ИИ может делать выводы, которые являются истинными, но при этом находятся за границами человеческого понимания. Такие неожиданные открытия ИИ могут ставить людей примерно в то же положение, в каком когда-то оказался Александр Флеминг, первооткрыватель пенициллина, – однажды в его лаборатории плесень случайно заселила чашку Петри, уничтожив болезнетворные бактерии, из чего Флеминг сделал вывод о существовании ранее неизвестного сильнодействующего соединения. Человечество тогда не имело понятия об антибиотиках и не знало, как действует пенициллин. Значение этого открытия трудно переоценить. ИИ делает такие же поразительные открытия, когда находит новые лекарства или новые стратегии победы в игре, – людям при этом остается понять значение этих открытий и интегрировать их в существующее знание.

При этом ИИ не может «осознавать» значение того, что он обнаруживает. На протяжении многих эпох люди переживали уроки, горести и крайности войны, а затем рефлексировали на эти темы – так появились многие величайшие произведения искусства, от «Илиады» Гомера до «Герники» Пикассо. ИИ на это не способен ни с морально-этической, ни с философской точки зрения. Он просто применяет свой метод и выдает результат – банальный или шокирующий, доброкачественный или вредоносный. ИИ не может «почувствовать» себя обязанным «размышлять» о значении своих действий, поскольку он попросту не может мыслить. Поэтому люди должны регулировать и контролировать ИИ.

То, что ИИ неспособен к контекстуализации или человеческой рефлексии, требует особенно пристального внимания к некоторым его недостаткам. Например, известно, что система распознавания изображений Google опознавала изображения людей как животных[29]29
  James Vincent, «Google 'fixed' its racist algorithm by removing gorillas from its image-labeling tech», The Verge (12 января 2018 г.), https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai, ссылка проверена 1 марта 2022 г.


[Закрыть], а животных – как оружия[30]30
  James Vincent, «Google's AI thinks this turtle looks like a gun, which is a problem», The Verge (2 ноября 2017 г.), https://www.theverge.com/2017/11/2/16597276/google-ai-image-attacks-adversarial-turtle-rifle-3d-printed, ссылка проверена 1 марта 2022 г.


[Закрыть]. Эти ошибки любой человек счел бы элементарными, но они ускользнули от внимания ИИ. Зачастую подобные ошибки приходится устранять уже после развертывания систем.

Такие ошибки обусловлены несколькими причинами. Одной из проблем является необъективность данных, используемых для машинного обучения. ИИ не сможет выработать хорошие модели без данных, но критическая проблема заключается в том, насколько эти данные объективны (непредвзяты). Например, системы распознавания лиц часто обучались на наборах данных с непропорционально малым количеством изображений темнокожих людей, что приводило к низкой точности. Имеет значение не только количество, но и охват – неизбежны ошибки, если обучать ИИ на большом количестве очень похожих изображений. Нельзя недооценивать важность обучения маловероятным ситуациям, если они создают высокие риски. Если в наборе данных для обучения автомобилей с автопилотом будет мало таких примеров, как прыжок оленя через дорогу, ИИ не будет знать, как действовать в таких сценариях, – при том что именно в таких случаях он должен работать на пиковом уровне.

Кроме того, необъективность ИИ может быть результатом человеческой предвзятости при подборе обучающих данных. Это может произойти при маркировке выходных данных для контролируемого обучения: если маркировщик допустил ошибку, преднамеренную или нет, ИИ закодирует ее. Другой случай – если разработчик некорректно задает функцию вознаграждения для обучения с подкреплением. Представьте себе шахматный ИИ, обученный на симуляторе, разработчик которого маркировал определенные ходы как предпочтительные. ИИ будет использовать такие ходы, даже если они объективно неудачны.

Конечно, проблема необъективности в технологиях не ограничивается ИИ. Прибор пульсоксиметр, который с начала пандемии COVID-19 стал известен почти каждому, поскольку служит для измерения двух важнейших показателей здоровья – пульса и насыщения кислородом, завышает насыщение кислородом у темнокожих людей. Дело в том, что он ориентируется на степень поглощения света тканями и, считая показатели поглощения светлой кожей «нормальными», фактически предполагает, что показатели поглощения темной кожей «ненормальны». В пульсоксиметре нет ИИ, но даже такой простой прибор необъективен по отношению к значительной части населения. Нам обязательно нужно понимать ошибки ИИ – и не прощать их, а исправлять. Необъективность пронизывает все аспекты человеческого общества, и это серьезная проблема, с которой нужно бороться.

Другой источник ошибочной идентификации – ненадежность ИИ. Рассмотрим случай ошибочного распознавания животного как оружия. Изображение вводит ИИ в заблуждение, потому что оно содержит тонкие характеристики, невидимые для человека, но заметные для ИИ, которые сбивают ИИ с толку. ИИ не обладает «здравым смыслом», он может смешивать два объекта, которые человек различает легко и быстро. Уровень проверки ИИ и режимов его соответствия требованиям на момент подготовки этой книги не особенно высок, поэтому зачастую возникают совершенно неожиданные ошибки. В реальном мире вред, нанесенный неожиданным сбоем ИИ, может быть очень велик, а устранение последствий такого сбоя – слишком трудоемко, поскольку обществу сложнее бороться с тем, чего оно не ожидало.

Ненадежность ИИ отражает недостаток глубины обучения современных ИИ. Зависимости между свойствами входных и выходных данных, получаемые при контролируемом обучении или обучении с подкреплением, значительно отличаются от подлинно человеческого понимания – с его многочисленными уровнями концептуализации и опыта. Ненадежность также отражает факт отсутствия сознания у ИИ. Поскольку ИИ не является разумным, он не знает, чего именно он не знает, и не может избегать ошибок, очевидных для человека. Неспособность ИИ самостоятельно контролировать корректность своей работы говорит о жизненной важности разработки методов тестирования, позволяющих человеку определять пределы возможностей ИИ, анализировать сценарии, предлагаемые ИИ, и предсказывать, когда ИИ может потерпеть неудачу.

Аналогично, жизненно важно создать процедуры оценки того, работает ли ИИ так, как ожидалось. Пока движущей силой ИИ будет машинное обучение, люди по-прежнему не будут знать, чему учится ИИ, и не будут понимать, откуда он знает то, чему научился. Само по себе это нормально – человеческое обучение часто бывает таким же непрозрачным. Художники и спортсмены, писатели и механики, родители и дети – да, собственно, все люди часто действуют интуитивно и не могут сформулировать, что и откуда они знают. Именно поэтому общество разработало для людей множество программ профессиональной сертификации, правила и законы. Аналогичные методы могут быть применены к ИИ, причем общество может разрешить использование ИИ только после того, как создатели продемонстрируют его надежность в процессе тестирования. Поэтому важной задачей общества станет разработка программ «профессиональной сертификации», комплаенса и надзора для ИИ, а также обеспечение необходимой аудиторской экспертизы.

В промышленности существует широкий диапазон режимов проверки продукции перед ее эксплуатацией. Если разработчики приложений часто торопятся выпустить свой продукт на рынок, исправляя его недостатки в режиме реального времени, то аэрокосмические компании тщательнейшим образом испытывают свои самолеты до того, как хоть один человек ступит на борт. Эти различия зависят от множества факторов, включая степень риска, присущую отрасли, нормативный надзор и рыночные силы. Аналогичная картина, вероятно, будет иметь место и для различных ИИ, причем ИИ для автомобилей с автопилотом будет, по всей видимости, подлежать более жесткому надзору, чем ИИ для развлекательных платформ и соцсетей вроде TikTok.

Такой режим тестирования возможен для ИИ, которые обучаются до ввода в эксплуатацию. Если же ИИ продолжает учиться в процессе эксплуатации, он может демонстрировать неожиданное или нежелательное поведение, как это произошло с чат-ботом Microsoft Tay в 2016 г. Столкнувшись в интернете с проявлениями ненависти, Tay тут же начал подражать им и вскоре был отключен. Благодаря тому что эволюция большинства ИИ по завершении обучения останавливается, обученные модели (то есть параметры нейронной сети) в дальнейшем не меняются. Это позволяет тестировать ИИ, не опасаясь того, что после ввода в промышленную эксплуатацию он начнет вести себя неожиданным или нежелательным образом. Когда алгоритм фиксирован, автомобиль с автопилотом, обученным реагировать на сигналы светофора, не может внезапно «решить» проехать на красный свет. Это делает возможным всесторонние испытания и сертификацию ИИ – инженеры могут проверять поведение автопилота с ИИ в тестовой среде, прежде чем устанавливать его на реальный автомобиль, где ошибка может стоить жизни. Это не означает, что ИИ не будет вести себя неожиданным образом, если его поставить в новые условия, это означает только то, что предварительная проверка работы ИИ возможна. Еще одна возможность проверки качества – аудит наборов данных. Убедившись в том, что ИИ для распознавания лиц обучается на разнообразных наборах данных или что чат-бот использует для обучения тексты, из которых исключены проявления ненависти, разработчики могут понизить вероятность того, что ИИ даст сбой при вводе в эксплуатацию.

В любом случае ИИ действует в соответствии со своим кодом, что означает три вида ограничений. Во-первых, код задает параметры возможных действий ИИ. Эти параметры могут быть довольно широкими, допускающими значительный диапазон самостоятельности ИИ – а значит, и высокий уровень риска. ИИ автомобиля с автопилотом может тормозить, ускоряться и поворачивать, и любое из этих действий может привести к столкновению. Тем не менее параметры, задаваемые кодом, устанавливают некоторые ограничения поведения ИИ. Например, хотя AlphaZero и разработал новые поразительные шахматные стратегии, он не может нарушать шахматные правила – например, он не может сделать ход пешкой назад. Он попросту неспособен совершать действия, выходящие за рамки параметров его кода, – если некие действия изначально не заложены или непосредственно запрещены разработчиками, ИИ не сможет их совершать. Во-вторых, возможности ИИ зависят от его целевой функции. Эта функция определяет, какую именно задачу оптимизации решает ИИ. ИИ, открывший халицин, искал связь между химическими свойствами молекул и их антибиотическим потенциалом. Ограниченный своей целевой функцией, этот ИИ не мог бы попытаться найти молекулы лекарства против рака. Наконец, что наиболее очевидно, ИИ может обрабатывать только те входные данные, для распознавания и анализа которых он предназначен. На вход ИИ машинного перевода нельзя дать изображение – без вспомогательной программы оно покажется машине бессмыслицей.

Возможно, когда-нибудь ИИ смогут писать свой собственный код – уже известны зачаточные и весьма спорные попытки таких разработок. Но даже такие ИИ, скорее всего, не будут обладать самосознанием, их действия будут определяться их функциональностью и ограничениями. Они смогут писать код так же блестяще, как AlphaZero играет в шахматы, – но без размышлений и проявлений воли, в строгом соответствии с правилами. И несмотря на все эти ограничения, ИИ – это нечто поразительное.