Текст книги "Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей"

Стюарт Рассел

“Как только сильный ИИ «выйдет из детского сада», он превзойдет людей во всех возможных областях и будет обладать куда большей базой знаний, чем любой человек".

Профессор электротехники и computer science. директор Center for Intelligent Systems при Калифорнийском университете в Беркли

Стюарт Рассел известен как один из ведущих разработчиков ИИ. Является соавтором учебника по ИИ «Искусственный интеллект. Современный подход»[9]9
  Рассел С., Норвиг П. Искусственный интеллект. Современный подход. 2-е изд. / Пер. с англ. К. Птицына. – М.; СПб.: Диалектика, 2019. – 1407 c.: ил.


[Закрыть], который в настоящее время используется более чем в 1300 колледжах и университетах в 118 странах. Получил степень бакалавра физики в Уодхэм-колледже Оксфордского университета и докторскую степень в области computer science в Стэнфорде. Занимался исследованиями на различные темы, связанные с ИИ, такие как машинное обучение, представление знаний и компьютерное зрение. Имеет многочисленные награды, в том числе Международной объединенной конференции по ИИ (IJCAI). Является членом Американской ассоциации содействия развитию науки, Ассоциации по продвижению ИИ (AAAI) и Ассоциации вычислительной техники (ACM).

Мартин Форд: Вы написали учебник по ИИ, поэтому мне было бы интересно услышать, как вы определяете некоторые ключевые термины. Что входит в понятие ИИ? Какие проблемы информатики относятся к нему? Как ИИ связан с машинным обучением?

Стюарт Рассел: Я дам вам, скажем так, стандартное определение, которое приведено в нашей книге и в настоящее время общепризнано: «сущность разумна настолько, насколько правильно она поступает». Это означает, что ее действия должны приводить к поставленным целям. Определение относится как к людям, так и к машинам. Если разложить идею правильного поведения на составляющие и исследовать, окажется, что система ИИ должна уметь постигать, видеть, распознавать речь и действовать.

Еще требуется умение видеть суть вещей. Невозможно успешно функционировать в мире, о котором вам ничего не известно. Понять, каким образом мы осознаем различные вещи, помогает такое научное направление, как представление знаний. В его рамках изучаются способы внутреннего хранения данных, с последующей их обработкой алгоритмами формирования рассуждений, такими как алгоритмы автоматического логического вывода и вероятностного вывода.

Машинное обучение всегда было частью науки об ИИ. По сути, это развитие корректного поведения на базе предшествующего опыта.

М. Ф.: Еще дайте, пожалуйста, определения нейронным сетям и глубокому обучению.

С. Р.: Одна из стандартных методик машинного обучения – это обучение с учителем. Системе ИИ дается набор примеров какого-то понятия, снабженных описаниями и метками. Представьте фотографию с подписью, которая указывает, что это изображение лодки, далматинца или чашки с вишнями. Цель обучения состоит в поиске параметра или гипотезы, которые позволят классифицировать изображения в целом. Так мы пытаемся научить ИИ предсказывать, как могут выглядеть другие изображения тех же объектов.

Гипотезу или параметр можно представить в виде нейронной сети – схемы, состоящей из набора слоев. Входом в нее могут быть значения пикселов на фотографиях далматинцев. В процессе их распространения по схеме на каждом уровне вычисляются новые значения. На выходе из нейронной сети мы получаем распознавание объекта. И мы надеемся, что если подать на вход изображение далматинца, то после прохождения значений всех пикселов через все слои нейронной сети индикатор далматинца будет иметь высокое значение, а индикатор чашки с вишнями низкое. В этом случае можно сказать, что нейронная сеть правильно распознала объект.

М. Ф.: А как заставить нейронную сеть распознавать объекты на изображениях?

С. Р.: Для этого и нужен процесс обучения. Его алгоритмы настраивают весовые коэффициенты всех связей таким образом, чтобы на примерах сеть запоминала правильные ответы. При определенном везении сеть начинает распознавать объекты и на новых, не входящих в обучающий набор изображениях.

Глубокое обучение – это обучение многослойных нейронных сетей. Формально минимального требования к глубине сети не существует, но двух– или трехуровневые сети, как правило, не считаются глубокими. Некоторые сети могут насчитывать более тысячи слоев. В них преобразование, происходящее между входом и выходом, можно представить как композицию более простых преобразований, происходящих на отдельных уровнях. Предполагается, что наличие множества уровней облегчает поиск обобщающих параметров благодаря установлению весовых коэффициентов всех связей.

Мы только подходим к теоретическому пониманию того, в каких случаях и почему глубокое обучение дает верные результаты. По большому счету все происходящее до сих пор выглядит для нас как магия. Кажется, что изображения, звуковые сигналы и речь, подаваемые на вход глубокой сети, обладают каким-то свойством, помогающим вычленить из них нужный признак. Но пока не ясно, каким.

М. Ф.: Может сложиться впечатление, что ИИ – это синоним глубокого обучения. Это не так?

С. Р.: Приравнивать глубокое обучение к ИИ – ошибка, потому что умение отличать далматинцев от ваз с вишнями – это малая часть требований к эффективному ИИ. Программы AlphaGo и AlphaZero привлекли внимание СМИ к глубокому обучению, но на самом деле это гибрид классического ИИ, который использует метод поиска, с алгоритмом глубокого обучения, который оценивает каждую игровую позицию. Хотя умение отличать хорошую позицию от плохой в го ключевое, программа не смогла бы сыграть на уровне чемпиона мира только в результате глубокого обучения.

По такому же принципу работает система беспилотного автомобиля. На дороге то и дело возникают ситуации, разрешение которых должно происходить по классическим правилам, но в то же время нужно предугадывать возможную реакцию других участников движения, оценивать последствия.

Восприятие – это важный компонент ИИ, который вполне адекватно удается реализовать через глубокое обучение, но для создания системы ИИ требуется множество других способностей различного типа. Особенно это касается действий, растянутых во времени, таких как поездка в отпуск, или сложных – строительство завода. Такие виды деятельности невозможно организовать, имея только систему типа «черный ящик» с глубоким обучением. Иначе алгоритму глубокого обучения нужно будет продемонстрировать все способы, которые когда-либо применялись для строительства. Научится ли система после этого строить заводы? Нет. Во-первых, таких данных не существует, а если бы они и были – нет смысла строить заводы таким образом.

Для строительства нужны специальные знания. Умение планировать. Знание свойств материалов. Чтобы решать долгосрочные и сложные задачи, можно создать системы ИИ, но глубокое обучение тут не поможет.

М. Ф.: Есть ли достижения в сфере ИИ, которые можно считать прорывом?

С. Р.: Хороший вопрос. Дело в том, что многие достижения, о которых активно говорили в СМИ, это не концептуальный прорыв, а всего лишь демонстрация. Вспомните хотя бы победу суперкомпьютера Deep Blue над Каспаровым. По сути, речь шла о демонстрации алгоритмов, разработанных тридцатью годами ранее и постепенно совершенствовавшихся на более мощном оборудовании. Но прорыв заключался в особенностях шахматной программы. В ней интересны и способ прогнозирования, и альфа-бета-алгоритм, сокращающий объем поиска, и некоторые из методов проектирования функций оценки. В итоге, как это часто бывает, СМИ назвали прорывом то, что им не является.

Также и сегодня. Вспомните отчеты о восприятии и распознавании надиктованной речи, заголовки в газетах о точности понимания текста на уровне человека или еще точнее. Но все эти впечатляющие практические результаты – только демонстрация прорывов, произошедших в 1980–1990-х гг.

Сейчас к более старым достижениям прибавлены современные методы проектирования, огромные наборы данных, многоуровневые сети и новейшее оборудование. Есть интерес к ИИ. Но обсуждаются не прорывы.

М. Ф.: Можно ли считать примером прорывной технологии программу AlphaZero от DeepMind?

С. Р.: Это интересная программа. Но нет ничего удивительного в том, что программное обеспечение для игры го смогли использовать для игры в шахматы и сеги на уровне чемпионов мира.

Тот факт, что программа AlphaZero менее чем за сутки научилась играть на сверхчеловеческом уровне в три разные игры, используя одно и то же программное обеспечение, безусловно, вызывает волнение. Но это всего лишь подтверждает, что если вы четко понимаете класс задачи, особенно детерминированной, если есть два игрока, делающих ходы по очереди, а игра идет по известным правилам и за ней можно наблюдать, то решением может стать хорошо спроектированный класс алгоритмов ИИ, позволяющих обучать функции оценки и использовать классические методы управления поиском.

Но для других классов задач, где часть информации скрыта, нужны другие алгоритмические структуры. И программа AlphaZero не научится играть в покер и водить автомобиль. Она не умеет оценивать скрытые факторы. Фигуры на доске для нее – это только фигуры на доске.

М. Ф.: Но ведь в Университете Карнеги – Меллона разработали систему ИИ для игры в покер. Программу Libratus можно считать прорывом в сфере ИИ?

С. Р.: Эта программа – еще один впечатляющий пример гибридного ИИ. Она представляет собой комбинацию алгоритмов, которые существуют уже 10 или 15 лет. Для игр с неполной информацией требуется смешанная стратегия. Ведь если, к примеру, все время блефовать, соперники это быстро поймут. Но без блефа невозможно воровать блайнды, если у вас слабая комбинация карт. Давно известно, что в таких карточных играх нужно постоянно менять свое поведение и оценивать перспективу будущей ставки. ИИ умеет рассчитывать все эти вероятности крайне точно, но только для игры с короткой колодой. Уже примерно 10 лет идет работа над масштабированием расчетов, и есть результат.

Libratus можно назвать впечатляющим современным приложением с ИИ. Но я не уверен, что его методы допускают неограниченное масштабирование. Ведь даже для перехода от первой версии покера к следующей потребовалось десятилетие. Кроме того, пока непонятно, насколько в реальном мире применимы теории, лежащие в основе игры в покер. Мы не имеем представления о степени рандомизации событий повседневной жизни. Теория игр должна описывать обычную жизнь, но насколько она применима к ИИ, пока неизвестно.

М. Ф.: Когда, по вашим оценкам, автономный транспорт станет общедоступным, и после звонка в Uber приедет пустой автомобиль, который отвезет заказчика в указанное место?

С. Р.: Сроки внедрения беспилотных автомобилей – важный экономический вопрос, ведь в эти проекты инвестируют многие компании.

Но надо упомянуть, что первая беспилотная машина появилась на дорогах общего пользования 30 лет назад! Предложенный Эрнстом Дикманом прототип мог менять ряд, отслеживать положение других транспортных средств на дороге и даже совершать обгоны. Все уперлось в вопросы безопасности. Одно дело успешная демонстрация в течение короткого времени, а совсем другое – система ИИ, которая сможет работать десятилетиями без значительных сбоев. Только во втором случае транспортное средство квалифицируется как безопасное. Пока ничего подобного не существует.

Результаты проводимых сейчас в Калифорнии испытаний показывают, что люди по-прежнему считают необходимым то и дело вмешиваться в управление транспортным средством. Есть более-менее успешные проекты, связанные с беспилотными автомобилями, впечатляющие отчеты показала компания Waymo. Однако пока такие автомобили зависят от погодных условий.

Я считаю, что, если нам повезет, об общедоступности беспилотных автомобилей можно будет говорить где-то через пять лет. Конечно, я не знаю, насколько терпеливо готовы ждать крупные автомобильные компании. Подозреваю, все они стараются не упустить рыночные возможности.

М. Ф.: Я обычно называю срок 10–15 лет. Ваша оценка не слишком оптимистична?

С. Р.: Да. Но я упомянул о большом везении. Так что в реальности, скорее всего, переход случится намного позднее. Очевидно пока только одно: многие ранние варианты относительно простых архитектур для беспилотных автомобилей в настоящее время забыты, потому что появились новые данные.

Ранние версии автомобилей Google использовали собранную датчиками информацию, которая достаточно хорошо позволяла распознавать другие транспортные средства, разметку, препятствия и пешеходов. Эта система зрения эффективно передавала данные в логической форме, после чего контроллер задавал дальнейшие действия автомобиля в соответствии с заложенными в него логическими правилами. Но в программу каждый день добавлялись новые правила на все случаи жизни. С моей точки зрения, в долгосрочной перспективе архитектура такого типа бесполезна, ведь отсутствие какого-то примера может стать вопросом жизни и смерти.

Мы же не играем в шахматы или го, руководствуясь правилами для конкретных комбинаций фигур. Нигде не написано, что если король стоит на этой клетке, а ладья – на вот той, а еще вон там – ферзь, то делайте вот такой ход. Шахматные программы пишутся по другому принципу. Мы берем правила игры в шахматы и смотрим, к каким последствиям приводят те или иные действия. Так же и в беспилотном автомобиле ИИ должен принимать решения с упреждением.

М. Ф.: Расскажите, что это такое – сильный ИИ и что мешает его создать?

С. Р.: Термин введен недавно. По большому счету это просто напоминание о цели создать ИИ, похожий на интеллект человека. Поэтому именно сильный ИИ можно называть настоящим ИИ. Этой целью часто пренебрегали ради решения прикладных задач. Потому что решить конкретную задачу, такую как игра в шахматы, намного проще.

Если мы сможем победить ограничения, появится система ИИ, успешно работающая практически в любых обстоятельствах. Ее можно будет попросить как спроектировать новый скоростной катер, так и накрыть стол к ужину. Она сможет выяснить, что не так с вашей собакой, например, прочитав всю доступную информацию о болезнях собак и их лечении. Считается, что именно такие способности отражают универсальность человеческого интеллекта. То есть, говоря о сильном ИИ, мы подразумеваем универсальный ИИ, который в чем-то может нас превзойти. Как только сильный ИИ «выйдет из детского сада», он превзойдет людей во всех возможных областях и будет обладать куда большей базой знаний, чем любой человек.

Но останутся области, в которых машина развиваться не сможет. Это не означает, что сравнивать людей и машины с сильным ИИ не имеет смысла: в долгосрочной перспективе большую важность приобретут их взаимоотношения. Существуют аспекты интеллекта (например, кратковременная память), по которым обезьяна превосходит человека, но будущее горилл и шимпанзе полностью зависит от людей. Когда мы создадим сильный ИИ, то без сомнения столкнемся с проблемой, как избежать судьбы обезьян, как не уступить контроль над собственным будущим.

М. Ф.: Пугающий вопрос. Если концептуальные прорывы порой совершаются за десятилетия их практического применения, есть ли уже признаки скорого появления сильного ИИ?

С. Р.: По моим ощущениям, часть «строительных блоков» для будущего сильного ИИ уже готова. Уже известны и способы представления знаний, и способы рассуждений. Вычислительная логика давно разработана. О представлении логических выкладок в виде алгоритмов задумывались еще до появления компьютеров. Мы просто пока не знаем, как связать все это с глубоким обучением.

Уже есть такая технология, как вероятностное программирование, объединяющая возможности обучения, логических языков и языков программирования. С математической точки зрения это способ записи вероятностных моделей, в которые можно добавлять данные и получать прогнозы, используя вероятностный вывод.

Моя группа пользуется языком вероятностного моделирования BLOG (название расшифровывается как байесовская логика). Он позволяет записать известную информацию в форме BLOG-модели, к которой можно добавить данные и получить прогноз.

В качестве реального примера можно привести систему мониторинга за соблюдением договора о запрещении ядерных испытаний. В нее записали все, что известно о физике Земли, о распространении и обнаружении сейсмических сигналов, о присутствующих шумах, о расположении станций обнаружения и т. д. Получилась модель, написанная на формальном языке и учитывающая различные неопределенности. Например, мы не знаем, с какой скоростью сигнал будет распространяться в толще Земли. Со станций обнаружения в модель поставляется необработанная сейсмическая информация, а модель отвечает на следующие вопросы: какие сейсмические явления произошли сегодня? Где? Насколько глубоко? Какова их сила? Какие из них могут быть ядерными взрывами? Это активная, довольно хорошо работающая система мониторинга.

Однако невозможно четко смоделировать процесс понимания естественного языка, на котором описывается процесс рассуждений. Если это сделать, то сильный ИИ сможет прочитать учебник по химии, а затем решить экзаменационные задачи, обосновав свое решение, продемонстрировав рассуждения и выводы, ведущие к ответам.

М. Ф.: Или представим систему сильного ИИ, которая читает учебник истории, а затем моделирует современную геополитическую ситуацию, применяя полученные знания в совершенно другой области.

С. Р.: Это хороший пример, который к тому же связан со способностью системы ИИ манипулировать нашим миром в геополитическом или финансовом планах. ИИ уже может подсказывать новые стратегии продвижения товара, помогая компании обойти конкурентов.

Я бы сказал, что реализация способности понимать язык и использовать понятую информацию и есть тот прорыв, которого не хватает для создания сильного ИИ.

Еще не хватает способности к долговременной деятельности. Программа AlphaZero умеет думать на 20, а то и на 30 шагов вперед, но это ничто по сравнению с работой человеческого мозга. Мельчайшие действия человека сопровождаются отправкой сигналов мозга мышцам; даже при наборе одного абзаца текста отправляется несколько десятков миллионов таких сигналов. Соответственно, 20 или 30 шагов дадут сильному ИИ преимущество всего в несколько миллисекунд. AlphaZero бессмысленно использовать для планирования действий робота.

М. Ф.: Как же люди умудряются функционировать, если для этого требуется так много вычислять и решать?

С. Р.: В реальном мире люди и роботы могут действовать только на разных уровнях абстракции. Мы планируем свою жизнь примерно так: «Сегодня днем попытаюсь сделать вот это». А затем абстрактное действие мы разбиваем на более мелкие задачи. Для нас это рутина, но мы не понимаем, как реализовать подобное в системе с ИИ. Поведение человека явно структурировано в виде уровней абстракции. Но откуда взялась иерархия? Как мы создаем и используем такие конструкции? Умея это, машина смогла бы успешно работать в сложных условиях длительное время. И мы приблизились бы к сильному ИИ.

М. Ф.: А когда, по вашим оценкам, это может произойти?

С. Р.: Подобные вещи никак не связаны с размером наборов данных и мощностью аппаратуры, поэтому количественный прогноз попросту невозможен. Но насколько я помню, 11 сентября 1933 г. Эрнст Резерфорд сказал, что, по его мнению, извлечь из атомов энергию невозможно. На следующее утро, прочитав доклад Резерфорда, Лео Силард разозлился и изобрел ядерную цепную реакцию, запускаемую нейтронами! В итоге сказанное Резерфордом «никогда» 16 часов спустя стало реальностью. Такие примеры внушают оптимизм!

М. Ф.: Вы надеетесь, что сильный ИИ появится при вашей жизни?

С. Р.: Когда на меня начинают так давить, я иногда говорю, что ожидаю его появления при жизни моих детей. На самом деле это просто уход от прямого ответа, потому что к этому времени могут появиться технологии продления жизни.

Благодаря таким компаниям, как Google, Facebook, Baidu, над задачей работает множество очень умных людей. В ИИ вкладываются огромные ресурсы. Темой активно интересуются студенты. Большинство ученых, занимающихся этой темой, считают появление сильного ИИ делом недалекого будущего.

М. Ф.: А как вы думаете, что произойдет после появления сильного ИИ?

С. Р.: В этом случае многие вещи подойдут к своему финишу. Появятся новые измерения интеллекта, и одна за другой будут решаться различные проблемы. Например, сверхчеловеческое мышление можно применить к военной и корпоративной стратегии. Эти инструменты могут появиться у машины раньше, чем умение читать и понимать сложный текст. Первые системы сильного ИИ вряд ли смогут самостоятельно знакомиться с устройством мира или управлять им. Во многих отношениях они будут догматичными.

М. Ф.: Я хотел бы поговорить о рисках, которые несет ИИ. Ведь, как я знаю, именно на этой теме вы фокусировались в последних работах. Многие считают, что мы приближаемся к новой промышленной революции. Надвигается нечто, что полностью преобразует рынок труда, экономику и прочее. Вы согласны?

С. Р.: Как я уже говорил, невозможно предсказать дату прорыва, после которого ИИ начнет выполнять большую часть человеческой работы. Нельзя составить и однозначный список профессий, которые могут начать исчезать.

В современных дискуссиях и презентациях способности современных технологий сильно завышаются. Кроме того, не осознается сложность интеграции новых систем в существующую схему функционирования корпораций, правительств и т. д.

Разумеется, многие рабочие обязанности сводятся к повторяющимся, рутинным действиям, и имеет смысл для их выполнения заменить человека роботом.

Мне кажется, что в правительствах сейчас думают примерно так: «Нужно начинать подготовку специалистов, которые будут заниматься аналитикой данных и обслуживанием роботов». Но проблема в том, что нам не потребуется миллиард таких специалистов, все ограничится миллионами. Возможно, в маленьких странах, таких как Сингапур или ОАЭ, это жизнеспособная стратегия. Но в большой стране для таких специалистов не будет достаточного количества рабочих мест. Так что в долгосрочной перспективе проблема с безработицей решения не имеет.

Я вижу два варианта развития событий.

В первом случае большинство просто не будет работать, так как будет введен универсальный базовый доход. Ведь после автоматизации возрастет продуктивность, появится изобилие товаров и услуг, которое позволит в той или иной форме субсидировать всех неработающих. Человек лишится множества вещей, необходимых для поддержания интереса и стимула к жизни и созиданию.

Во втором варианте будущего, несмотря на то что машины возьмут на себя заботу о выпуске множества товаров и предоставлении базовых услуг, люди займутся вещами, улучшающими качество жизни. Будет цениться умение обучать, вдохновлять на более богатую, интересную, разнообразную и насыщенную жизнь. Учиться ценить литературу и музыку или выживать в дикой местности.

М. Ф.: Думаете, можно направить людей ко второму варианту будущего?

С. Р.: Разумеется, для реализации второго, позитивного варианта потребуется вмешательство извне. Движение в этом направлении нужно начинать прямо сейчас. Строить мир, обеспечивающий эмоциональную устойчивость и воспитывающий конструктивное и позитивное отношение к собственной и к чужой жизни. На данный момент мы не умеем жить таким способом.

Еще я думаю, что нужно коренным образом поменять отношение к науке и тому, что она может дать. На исследования и разработку мобильного телефона потрачены миллиарды долларов. При этом мы почти не пытаемся понять, как вести интересную и полноценную жизнь, как помогать окружающим и в какой момент. Сейчас этим никто не занимается, в этой области нельзя получить научную степень, СМИ практически не пишут об этом, а опубликованные материалы не воспринимаются всерьез.

Я допускаю появление в будущем прекрасно функционирующей экономики, в которой люди, имеющие опыт в разных областях, делятся им с остальными как коучи, преподаватели или психотерапевты.

Это будущее гораздо лучше нашего настоящего; но для перехода к нему нужно переосмыслить систему образования, научную базу, экономические структуры, определить, по какой схеме будут распределяться доходы. Хотелось бы избежать разделения на богачей, владеющих роботами и системами ИИ, тех, кто им прислуживает, и весь остальной мир, который ничем не занят. С экономической точки зрения это наихудший из возможных сценариев.

М. Ф.: Как в Беркли, так и в Калифорнийском университете в Сан-Франциско вы работали над машинным обучением на базе медицинских данных. Как вы думаете, сможет ли ИИ улучшить ситуацию в области здравоохранения?

С. Р.: Думаю, да. Но мне кажется, что в такой сфере, как медицина, лучше будут работать подходы, базирующиеся на накопленных знаниях и построенных моделях, а не машинное обучение.

Хотя допускаю, что в каких-то областях медицины терабайты маркированных данных дадут хорошие результаты. Активная работа такого рода велась в 1960–1970-х гг., что привело к определенному прогрессу систем ИИ в области медицины. Но современные технологии показали несовершенство имеющихся моделей. По большому счету это модели полностью предсказуемого вымышленного человека.

Вероятностные системы – более обоснованный и целесообразный подход. Они позволяют добавлять к классическим моделям физиологии собираемые в реальном времени данные наблюдений, чтобы поставить диагноз и запланировать лечение.

М. Ф.: А какие риски несет применение ИИ в качестве оружия?

С. Р.: Я думаю, уже началась новая гонка вооружений. В рамках которой, возможно, уже ведется разработка автономного оружия, которому достаточно описания миссии, чтобы самостоятельно идентифицировать и атаковать цель.

Ужаснее всего то, что из автономности логически вытекает масштабируемость. Если для каждой единицы вооружения не требуется человек-оператор, ничто не помешает, например, активировать 10 млн орудий убийства и уничтожить в отдельно взятой стране всех мужчин в возрасте от 12 до 60 лет. Это оружие массового уничтожения.

Применение ядерного оружия – это все-таки переход определенной черты, от которого мы пусть с трудом, но удержались даже в разгар холодной войны. У автономного оружия такого порога нет, к тому же оно легко распространяется. Поэтому, как только будет налажено его производство, доступ к нему получат в числе прочих люди, которые без колебаний пустят его в ход.

М. Ф.: Но ведь в военных целях могут применяться и обычные устройства. Достаточно приобрести на сайте Amazon беспилотный летательный аппарат и добавить к нему оружие…

С. Р.: Современные беспилотные летательные аппараты все-таки управляются с земли. Конечно, к такому аппарату можно прикрепить небольшую бомбу и доставить ее куда нужно, но сам по себе он этого сделать не сможет. Кроме того, для запуска 10 млн дронов потребуется столько же людей-операторов. Гипотетически можно представить, что кто-то подготовит целую армию для управления оснащенными бомбами дронами, но такие вещи попадают под санкции международных контролирующих органов. А вот возможности контролировать автономное оружие пока не существует.

М. Ф.: Но разве невозможно в домашних условиях разработать автономную систему управления и развернуть ее на дронах? Контролируются ли как-нибудь подобные вещи?

С. Р.: Да, для управления оснащенными оружием дронами можно использовать нечто похожее на программное обеспечение, которое управляет беспилотным автомобилем. В результате получится самодельное автономное оружие. Возможно, по этому поводу со временем будет заключен некий регулирующий договор, придумают механизм проверки с привлечением производителей дронов и чипов для беспилотных автомобилей. На заметку будут брать всех, кто заказывает подобные комплектующие в больших количествах. Разумеется, плохие вещи все равно будут делаться, но редко. А в небольших количествах автономное оружие не обладает особыми преимуществами перед обычным.

Кроме того, с применением ИИ в военных целях связаны и другие риски. Например, машины могут неправильно истолковать какой-то сигнал. Нельзя сбрасывать со счетов и вероятность взлома, после чего автономное оружие, которое вы считаете своей надежной защитой, обернется против вас.

М. Ф.: Эти пугающие сценарии вы показали в короткометражном фильме Slaughterbots («Роботы-убийцы»).

С. Р.: В письменной форме мы не смогли достучаться до широких масс. Люди продолжали считать автономное оружие научной фантастикой.

М. Ф.: В 2014 г. вместе со Стивеном Хокингом, Максом Тегмарком и Фрэнком Вильчеком вы опубликовали письмо[10]10
  Оригинал письма доступен по адресу https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html


[Закрыть], в котором говорилось о недостаточно серьезном отношении к рискам, связанным с ИИ. Среди авторов вы были единственным специалистом в области computer science. Как появилась идея этого письма?

С. Р.: Все началось с того, что Национальное общественное радио попросило меня поделиться мыслями по поводу фильма «Превосходство». Фильм совсем недавно появился в прокате, поэтому я пошел в кино, понятия не имея о том, что именно увижу.

Сначала там показали отдел информатики в Беркли. Профессор в исполнении Джонни Деппа рассказывал об ИИ, как вдруг его убил представитель радикальной антитехнологической группировки. В этот момент я невольно сжался, ведь на месте этого профессора в то время вполне мог оказаться и я. Перед смертью ученого его жена и лучший друг успели загрузить его мозг в большой квантовый компьютер. Он стал сверхинтеллектуальной сущностью, которая смогла быстро развить различные новые технологии и попыталась захватить мир.

В итоге появилось письмо, которое на первый взгляд представляло собой рецензию на фильм, но на самом деле несло следующую идею: «Любые создаваемые машины могут оказать сильное влияние на реальный мир, и это может стать серьезной проблемой, потому что речь идет о передаче контроля над нашим будущим объектам, которые не являются людьми». Ведь именно интеллект дает нам способность контролировать мир.

М. Ф.: Но многие видные ученые, занимающиеся ИИ, не считают это проблемой…

С. Р.: Да, я слышал много раз, что связанные с ИИ проблемы надуманны. Но пока аргументы сторонников такой точки зрения не показались мне заслуживающими внимания. Например, утверждать, что механизм с ИИ можно просто отключить, все равно что считать, что для победы в го над компьютером AlphaZero достаточно правильно двигать свои камни.

Отрицание проблемы ИИ я воспринимаю как защитную реакцию. Чтобы перестать бояться угрозы, люди убеждают себя, что ее не существует. По крайней мере, эта теория объясняет, почему даже очень информированные люди пытаются отрицать наличие проблемы.

Распространяется теория и на тех представителей ИИ-сообщества, которые не верят в возможность появления сильного ИИ. Здесь ситуация еще забавнее, потому что у нас за плечами 60 лет работы над темой, в успех которой мало кто верил. Но вещи, которые, если верить скептикам, были невозможными, воплотились в реальности. Например, компьютер победил чемпиона мира по шахматам.