Текст книги "Искусственный интеллект – надежды и опасения"

Размер: Линейные размеры типичного нейрона составляют около 10 микрон. Молекулярные размеры, наш практический предел, приблизительно в 10 000 раз меньше, а модули искусственной обработки данных тяготеют к этим масштабам. Их размеры повышают эффективность коммуникации.

Стабильность: Тогда как человеческая память является, по существу, непрерывной (аналоговой), искусственная память может использовать дискретные (цифровые) функции. Тогда как аналоговые значения склонны разрушаться, цифровые значения могут храниться, обновляться и воспроизводиться максимально точно.

Рабочий цикл: Человеческий мозг устает от усилий. Нужно время на питание и сон. Вдобавок он стареет и дряхлеет. В конце концов мозг умирает.

Модульность (открытая архитектура): Поскольку искусственные устройства обработки информации способны использовать точно спроектированные цифровые интерфейсы, они без труда «ассимилируют» новые модули. Так, если мы хотим, чтобы компьютер «видел» ультрафиолетовое или инфракрасное излучение или «слышал» ультразвук, достаточно подать сигнал соответствующего датчика непосредственно в его «нервную систему». Архитектура мозга гораздо более закрыта и непрозрачна, а иммунная система человека активно сопротивляется внедрению имплантатов.

Квантовая готовность: Один пример модульности заслуживает особого упоминания в связи с его потенциальными перспективами. В последнее время физики и информатики пришли к выводу, что принципы квантовой механики позволяют внедрять новые вычислительные принципы, которые могут обеспечить качественно новые формы обработки информации и (возможно) новые уровни интеллекта. Но эти возможности опираются на особенности квантового поведения, весьма, скажем так, деликатные и совершенно не подходящие, как кажется, для взаимодействия с теплой, влажной и грязной «средой обитания» человеческого мозга.

Очевидно, что в качестве носителя интеллекта человеческий мозг далеко не оптимален. Тем не менее, пусть универсальные домашние роботы или механические солдаты без труда покорят прибыльные рынки, в настоящее время не существует машины, которая хотя бы отдаленно напоминала общий человеческий интеллект, необходимый для полноценной реализации задач уборки или войны. Несмотря на свою относительную слабость во многих отношениях, человеческий мозг имеет некоторые важные преимущества перед своими искусственными конкурентами. Позвольте перечислить пять из них.

Трехмерность: Хотя, как уже отмечалось, линейные размеры нынешних искусственных процессоров значительно меньше, чем размеры мозга, процедура их изготовления (чаще всего литография, травление) является, по существу, двумерной. Это наглядно проявляется в геометрии компьютерных плат и микросхем. Конечно, можно накладывать платы друг на друга, но расстояние между слоями будет намного больше, а связь – заметно хуже, чем внутри слоев. Мозг куда лучше используют все три измерения.

Самовосстановление: Человеческий мозг способен восстанавливаться после многих травм или ошибок или даже их избегать. Компьютеры часто приходится чинить или перезагружать извне.

Связь: Человеческие нейроны обычно поддерживают несколько сотен соединений (синапсов). Более того, сложная структура этих связей очень значима. (См. следующий пункт.) Компьютерные блоки обычно поддерживают всего несколько соединений в регулярных фиксированных схемах.

Развитие (самосборка с интерактивным «ваянием»): Человеческий мозг наращивает свои единицы путем деления клеток и объединяет их в последовательные структуры посредством перемещения и наложения. Также он размножает обильные связи между клетками. Важную часть «ваяния» обеспечивают активные процессы в младенчестве и детстве, когда человек взаимодействует со своим окружением. Многие связи со временем исчезают, а другие укрепляются в зависимости от эффективности их использования. То есть тонкая структура мозга настраивается посредством взаимодействия с внешним миром – богатейшим источником информации и обратной связи!

Интеграция (датчики и исполнительные механизмы): Человеческий мозг оснащен различными сенсорными органами, в частности выведенными вовне глазами, и универсальными исполнительными механизмами, в том числе руками, которые строят, ногами, которые ходят, и ртом, который говорит. Эти датчики и исполнительные механизмы легко интегрируются в центры обработки информации в мозгу благодаря миллионам лет естественного отбора. Мы интерпретируем «сырые» сигналы и контролируем действия, уделяя им минимальное сознательное внимание. Обратная сторона в том, что мы не знаем, как это происходит, а реализация всего перечисленного непрозрачна. Выяснилось, что удивительно трудно достичь человеческого подобия в отношении этих «рутинных» функций ввода-вывода.

Эти преимущества человеческого мозга перед разрабатываемыми в настоящее время искусственными системами убедительно велики. Человеческий мозг является великолепным доказательством того, что существует как минимум несколько способов добиться большего от материи. Когда же наша инженерия сможет его воспроизвести – если вообще сможет?

Точный ответ мне неведом, но позвольте высказать несколько обоснованных предположений. Проблемы трехмерности и, в меньшей степени, самовосстановления не выглядят непреодолимыми. Это довольно сложные инженерные задачи, но постепенные улучшения здесь достаточно легко вообразить, а общее направление развития вполне понятно. Пусть человеческое зрение, руки и другие органы чувств и исполнительные механизмы удивительно эффективны, их способности далеко не исчерпывают физические возможности. Оптические системы могут делать снимки более высокого разрешения с большим охватом, глубиной и насыщенностью, а также в большем количестве областей электромагнитного спектра; роботы могут двигаться быстрее и становиться сильнее, и т. д. В ряде сфер деятельности уже доступны компоненты, необходимые для «сверхчеловеческой» производительности. «Узкие места» быстро и надежно ликвидируются устройствами обработки информации.

Тем самым мы переходим к оставшимся, полагаю, наиболее важным преимуществам человеческого мозга по сравнению с искусственными системами, то есть к связности и интерактивному развитию. Эти два преимущества являются синергетическими, поскольку именно интерактивное развитие формирует обширную, но способную растягиваться структуру детского мозга благодаря экспоненциальному росту нейронов и синапсов, для настройки того экстраординарного инструмента, которым она становится. Компьютерные ученые постепенно начинают открывать для себя всю мощь архитектуры мозга: как отмечалось, нейронные сети, чей базовый дизайн, как следует из их названия, отталкивался именно от мозга, добились ряда поразительных успехов в играх и распознавании образов. Но современная инженерия не создала ничего похожего – в эзотерической (на сегодняшний день) области самовоспроизводящихся машин – на силу и универсальность нейронов и синапсов. Это, не исключено, новый великий рубеж научных исследований. Здесь может указать путь биология, поскольку мы в целом неплохо понимаем суть биологического развития и можем его воспроизвести.

Суммируя: преимущества искусственного интеллекта перед естественным кажутся постоянными, тогда как преимущества естественного интеллекта перед искусственным, сколь угодно существенные, выглядят временными. Полагаю, инженерам понадобится немало десятилетий на то, чтобы догнать природу, но всё уложится – если не будет катастрофических войн, изменений климата или эпидемий, тормозящих технический прогресс, – в несколько столетий.

Если я прав, мы можем рассчитывать сразу на несколько поколений, на протяжении которых люди, при помощи интеллектуальных устройств, будут сосуществовать со все более и более мощными автономными ИИ. Нас ожидает сложная, быстроменяющаяся экология интеллекта, чьим следствием окажется быстрая эволюция разума. Учитывая внутренние преимущества, которыми в конечном счете станут располагать сконструированные устройства, в авангарде этой эволюции выступят киборги и сверхразум, а отнюдь не слегка «подновленный» Homo Sapiens.

Другим важным стимулом станет исследование враждебных сред как на Земле (например, в глубинах океана), так и за пределами планеты, в космосе. Организм человека плохо приспособлен к условиям обитания вне узкой полосы температур, давления и состава атмосферы. Человек нуждается в большом количестве специфических и сложных питательных веществ и в большом количестве воды. Кроме того, он не обладает радиационной выносливостью. Как наглядно продемонстрировала пилотируемая космическая программа, обитание людей вне «наземной» зоны комфорта – дело непростое и дорогое. Киборги или автономные ИИ окажутся гораздо более полезными для подобных исследований. Квантовые ИИ с их чувствительностью к шуму могут даже «предпочитать» стужу и тьму глубокого космоса.

В трогательном отрывке из романа «Странный Джон» (1935) гениального фантаста Олафа Стэплдона герой, сверхчеловеческий разум (мутант), характеризует Homo Sapiens как археоптерикса духа. Он говорит это с любовью своему другу и биографу – совершенно обычному человеку. Археоптерикс был благородным существом, звеном эволюции на пути к новым достижениям.

Глава 8
Давайте поставим более высокую цель, чем свалка истории

Макс Тегмарк

физик из Массачусетского технологического института и исследователь ИИ; президент Института «Жизнь в будущем»; научный руководитель Института основополагающих вопросов; автор книг «Наша математическая вселенная» и «Жизнь 3.0: быть человеком в эпоху искусственного интеллекта».

Меня представил Максу Тегмарку несколько лет назад его коллега по МТИ Алан Гут, «отец» инфляционной модели Вселенной[73]73
  Гипотезу об инфляции (расширении) Вселенной на ранней стадии Большого взрыва выдвинул в 1981 г. американский физик А. Гут. Сегодня считается, что проверить эту гипотезу удастся, когда исследователи смогут «приблизить» свои эксперименты к моменту Большого взрыва.


[Закрыть]. Макс, выдающийся физик-теоретик и космолог, в настоящее время сильнее всего озабочен надвигающимися экзистенциальными рисками, которыми чревато создание ОИИ (общего искусственного интеллекта, соответствующего человеческому). Четыре года назад Макс вместе с Яаном Таллинном и другими учеными основал Институт «Жизнь в будущем» (FLI), который позиционирует себя как «перспективную организацию, призванную обеспечить, чтобы самые мощные технологии будущего приносили пользу человечеству». В Лондоне в ходе подписного тура после выхода очередной его книги он, когда процесс создания FLI был в разгаре, признался, что разрыдался на станции метро после посещения Музея науки, экспозиция которого охватывает весь диапазон технологических достижений человечества. Не окажется ли этот поразительный прогресс напрасным?

В научно-консультативный совет FLI входят Илон Маск, Фрэнк Вильчек, Джордж Черч, Стюарт Рассел и оксфордский философ Ник Бостром, изобретатель часто упоминаемого Gedankenexperiment[74]74
  Мысленного эксперимента (нем.). Обычно «изобретение» этого термина приписывается немецкому философу Э. Маху, который описывал воображаемое проведение некоего физического эксперимента – и затем просил своих студентов воспроизвести такой эксперимент в реальности.


[Закрыть], по итогам которого возник мир, полный бумажных скрепок (и ничего более), созданный (очевидно) благим ОИИ, лишь выполнявшим инструкции. Институт организовал ряд конференций (Пуэрто-Рико, 2015; Асиломар, 2017) по вопросам безопасности ИИ, а в 2018 году устроил конкурс грантов для исследований в области максимизации социальных выгод ОИИ для общества.

Макса иногда причисляют – прежде всего no-cognoscenti[75]75
  Несведущие, не разбирающиеся в чем-либо (ит.).


[Закрыть] – к паникерам, но он, как и Фрэнк Вильчек, верит в будущее, которое сулит немалые выгоды из применения ОИИ, если в попытках его создать мы сможем уберечь человеческий род от вымирания.

Несмотря на обилие разногласий по поводу того, как и когда ИИ начнет изменять человечество, ситуация видится ясной с космической, так сказать, точки зрения: развивающая технологии жизнь на Земле стремится уничтожить себя, не обращая сколько-нибудь серьезное внимание возможным последствиям. Это кажется мне поистине удивительной слепотой, учитывая наши возможности обеспечить поразительное процветание человечества, невиданное в истории, если решим реализовывать более дерзновенные планы.

Через 13,8 миллиарда лет с момента возникновения наша Вселенная осознала себя. На маленькой голубой планетке крошечные сознательные элементы Вселенной вдруг поняли, что мнимая сумма существования, которую они вывели, есть не более чем ничтожная частью чего-то гораздо более грандиозного – Солнечной системы, Галактики и Вселенной, где свыше 100 миллиардов других галактик, организованных в сложную схему групп, кластеров и сверхскоплений.

Сознание есть космическое пробуждение, оно превращает нашу Вселенную из безмозглого зомби, лишенного самосознания, в живую экосистему, где присутствуют саморефлексия, красота, надежда, смысл и цель. Без этого пробуждения наша Вселенная была бы бессмысленной – этакой гигантской пустой тратой пространства. Если ей суждено однажды снова впасть в спячку из-за какого-то космического бедствия или катастрофы, спровоцированной изнутри, она снова станет бессмысленной.

С другой стороны, все может быть еще лучше. Мы не знаем, являемся ли мы, люди, единственными наблюдателями в космосе или даже первыми наблюдателями, но мы уже узнали о нашей Вселенной достаточно много, чтобы понять, что она способна пробудиться гораздо полнее, чем было до сих пор. Пионеры искусственного интеллекта, также как Норберт Винер, показали нам, что для дальнейшего пробуждения нашей Вселенной и ее способности обрабатывать и воспринимать информацию не нужны эоны дополнительной эволюции – вполне хватит, быть может, десятилетий человеческой научной изобретательности.

Возможно, человеческий разум сейчас представляет собой тот слабый проблеск самоосознания, который мы ощущаем, когда просыпаемся по утрам, лишь некое предвосхищение гораздо большего сознания, которое раскроется, когда мы распахнем глаза и пробудемся полностью. Возможно, искусственный сверхразум позволит жизни распространяться по всему космосу и процветать в течение миллиардов или триллионов лет; возможно, это произойдет благодаря тем решениям, которые мы примем здесь, на нашей планете – и при нашей жизни.

Или человечество может вскоре вымереть вследствие самоуничтожения, вызванного способностью наших технологий развиваться быстрее, чем мы с вами обретаем должную мудрость.

Текущие споры о влиянии ИИ на общество

Многие мыслители отвергают идею сверхразума как научную фантастику, поскольку они рассматривают интеллект как нечто загадочное, как нечто, присущее исключительно биологическим организмам – прежде всего людям, – и как фундаментальное свойство современного человека. Но с точки зрения физика, которым я являюсь, интеллект представляет собой конкретный способ обработки информации, выполняемый движущимися элементарными частицами, и нет такого закона физики, который гласил бы, что нельзя создавать машины, более разумные, чем люди, во всех отношениях и способные распространять жизнь в космосе. Словом, мы видим лишь верхушку айсберга в области интеллекта; налицо изумительный потенциал, позволяющий раскрыть весь спрятанный в природе разум и использовать его на благо человечества – а иначе мы исчезнем.

Другие, в том числе ряд авторов этой книги, отвергают создание ОИИ (общего искусственного интеллекта, то есть сущности, способной на любые когнитивные действия по крайней мере не хуже, чем люди) не потому, что считают подобное невозможным физически, а потому, что не верят в возможность создать что-то такое менее чем за столетие. Среди профессиональных исследователей ИИ оба типа «пораженцев» принадлежат к меньшинству – благодаря недавним открытиям. Велика вероятность того, что ОИИ будет создан в течение столетия, а медианный прогноз говорит о нескольких десятилетиях. В отчете исследователей ИИ Винсента Мюллера и Ника Бострома сообщается:

Результаты показывают, что, по мнению экспертов, системы искусственного интеллекта предположительно (вероятность более 50 %) достигнут человекоподобного уровня к 2040–2050-м годам, почти наверняка (вероятность 90 %) это произойдет к 2075 году. Сравнявшись с человеком, ИИ двинется дальше и превратится в сверхразум – через 2 года (10 %) или через 30 лет (75 %)[76]76
  Vincent C. Müller & Nick Bostrom, «Future Progress in Artificial Intelligence: A Survey of Expert Opinion», in Fundamental Issues of Artificial Intelligence, Vincent C. Muller, ed. (Springer International Publishing Switzerland, 2016), pp. 555‐72. https://nickbostrom.com/papers/survey.pdf. – Примеч. автора.


[Закрыть].

С космической точки зрения не имеет значения, появится ОИИ через тридцать лет или через триста, поэтому давайте сосредоточимся на последствиях, а не на конкретных сроках.

Во-первых, мы, люди, узнали, как воспроизводить ряд естественных процессов с помощью машин, создавая собственную тепловую, световую и механическую «лошадиную силу». Постепенно мы осознали, что наши тела также являются машинами, а открытие нервных клеток стерло границу между телом и разумом. Наконец мы начали конструировать машины, способные превзойти нас не только физически, но и ментально. Ныне мы охотно уступили машинам выполнение множества «узких» когнитивных задач – от запоминания и арифметики до игр; мы будем рады, судя по тому, как идут дела, уступить еще больше «сфер влияния» – от вождения автомобилей до инвестиций в медицинскую диагностику. Если сообщество исследователей ИИ преуспеет в реализации своей первоначальной цели (в создании ОИИ), тогда мы, по определению, окажемся избавленными от вообще всех когнитивных задач.

Эта ситуация порождает много очевидных вопросов. Например, будет ли кто-то или что-то контролировать ОИИ, управляющий планетой? Должны ли мы стремиться к подчинению сверхразумных машин? Если нет, можем ли мы гарантировать, что они будут понимать, принимать и сохранять человеческие ценности? Как писал Норберт Винер в «Человеческом применении человеческих существ»:

Горе нам, если мы позволим ей [машине] определять наше поведение, прежде чем изучим законы ее действий и не будем полностью уверены, что ее работа станет строиться на приемлемых для нас принципах. С другой стороны, подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас.

А кто такие «мы»? Кто должен находить «такие решения… приемлемыми»? Даже если некие будущие власти решат помочь людям выжить и достичь процветания, как мы отыщем смысл и цель своего существования, если нам ничего не будет нужно?

Содержание споров о влиянии ИИ на общество резко изменилось за последние несколько лет. В 2014 году публичных обсуждений риска появления ИИ почти не было, от предупреждений отмахивались как от «луддитского паникерства» – по одной из двух логически несовместимых причин:

(1) ОИИ – не более чем шумиха, он появится в лучшем случае через столетие.

(2) ОИИ, вероятно, появится скоро, но практически гарантированно принесет людям пользу.

Сегодня разговоры о влиянии ИИ на общество слышатся повсюду, а работа по безопасности и этике ИИ переместилась в компании, университеты и научные конференции. Главное в исследованиях безопасности ИИ уже не в том, чтобы его защищать, а в том, чтобы его отвергать. Открытое письмо конференции разработчиков и исследователей ИИ в Пуэрто-Рико в 2015 году (оно помогло обеспечить безопасность ИИ) весьма смутно рассуждало о важности эффективности искусственного интеллекта, но асиломарские принципы ИИ (2017, см. ниже) стали настоящей декларацией: в них прямо говорится о рекурсивном самосовершенствовании, сверхразуме и экзистенциальном риске. Этот документ подписали лидеры индустрии и более тысячи исследователей ИИ со всего мира.

Тем не менее большинство дискуссий ограничиваются обсуждением ближайших перспектив ИИ, а широкая публика уделяет сравнительно малое внимание драматическим преобразованиям, которые ОИИ способен осуществить на планете. Почему?

Почему мы спешим себя погубить, но избегаем говорить об этом

Прежде всего, обратимся к простой экономике. Всякий раз, когда мы выясняем, как избавить человека от очередного занятия, придумывая машину, которая справится с такой работой лучше и дешевле, общество в целом выигрывает: те, кто проектирует и использует машины, получают прибыль, а потребителям достаются более доступные и качественные товары. Это столь же справедливо для будущих инвесторов и исследователей ОИИ, как было справедливо для ткацких станков, экскаваторов и промышленных роботов. В прошлом пострадавшие люди обычно находили себе новые рабочие места, но сегодня с этим намного сложнее, хотя базовый экономический постулат продолжает действовать. Появление работоспособного ОИИ, по определению, означает, что всякий труд становится дешевле благодаря машинам, поэтому любой, кто утверждает, что «люди всегда найдут себе новые высокооплачиваемые рабочие места», фактически предполагает, что сообщество ИИ не сумеет создать ОИИ.

Во-вторых, Homo Sapiens по своей природе любознателен, и это качество будет мотивировать ученых на стремление постичь разум и создать ОИИ – даже в отсутствие экономических стимулов. Хотя любознательность заслуженно считается одним из важнейших человеческих качеств, она чревата проблемами, когда способствует развитию технологий, которыми мы пока не научились управлять с должной мудростью. Чисто научная любознательность без мотива прибыли обернулась появлением ядерного оружия, искусственно созданных пандемий, и грустно сознавать, что знаменитая поговорка «Любопытство сгубило кошку» ныне вполне применима к человеческому виду.

В-третьих, мы смертны. Это объясняет практически единодушную поддержку разработки новых технологий, которые помогают людям жить дольше и оставаться более здоровыми; таков, к слову, побудительный мотив современных исследований в области ИИ. ОИИ сулит прорыв в сфере здравоохранения. Некоторые мыслители даже рассуждают о бессмертии через киборгизацию или загрузку цифровых копий.

Словом, мы ступили на скользкую дорожку к созданию ОИИ, и налицо сильные стимулы, побуждающие скользить дальше, пусть даже последствия обещают наше экономическое исчезновение. Мы больше не будем нуждаться ни в чем, потому что все работы будут более эффективно выполняться машинами. Успешное внедрение ОИИ станет величайшим достижением человечества, так почему же мы наблюдаем так мало серьезных дискуссий о возможных последствиях?

Ответ опять включает несколько причин.

Во-первых, как сказал когда-то Эптон Синклер: «Трудно заставить человека понять что-то, когда его зарплата зависит от того, что он этого не понимает»[77]77
  Upton Sinclair, I, Candidate for Governor: And How I Got Licked (Berkeley CA: University of California Press, 1994), p. 109. – Примеч. автора.


[Закрыть]. Например, представители технологических компаний или университетских исследовательских групп нередко публично заявляют, что их действия не несут никакого риска, даже если сами они думают иначе. Замечание Синклера помогает объяснить не только реакцию на риски, вызванные курением и изменением климата, но и тот факт, что кое-кто воспринимает технологии как новую религию, главная догма которой гласит: больше технологий всегда лучше, а сомневающиеся – невежественные еретики и паникеры-луддиты.

Во-вторых, людям издавна присущи фантазии, некорректная экстраполяция прошлого и недооценка новых технологий. Дарвиновская эволюция подарила нам возможность опасаться конкретных угроз, а не абстрактных фантомов будущих технологий, которые непросто визуализировать или хотя бы вообразить. Представьте, как вы в 1930-м предупреждаете людей о грядущей гонке ядерных вооружений: вы не в состоянии показать ни одного видеоролика с ядерным взрывом, и никто не знает, как вообще создать такое оружие. Даже ведущие ученые могут недооценивать неопределенность, изрекая прогнозы слишком оптимистичные – где эти термоядерные реакторы и летающие машины? – или слишком пессимистичные. Эрнест Резерфорд, возможно величайший физик-ядерщик своего времени, сказал в 1933 году – менее чем за сутки до того, как Лео Силард задумался о ядерной цепной реакции, – что ядерная энергия есть «полная чушь». Разумеется, никто тогда не мог предвидеть гонки ядерных вооружений.

В-третьих, психологи обнаружили, что мы склонны избегать мыслей об опасности, когда нам кажется, что мы все равно ничего не можем сделать. Но в данном случае имеется множество конструктивных действий, которые мы в силах совершить, если заставим себя задуматься над этой проблемой.

Что мы можем сделать?

Я высказываюсь в пользу перехода от стратегии «Давайте спешно развивать технологии, которые нас погубят, – разве что-то может пойти не так?» к стратегии «Давайте воображать вдохновляющее будущее и двигаться к нему».

Чтобы добиться успеха, то есть хотя бы начать движение в нужную сторону, эта стратегия должна строиться на представлении заманчивого места назначения. Да, голливудская фантастика в целом тяготеет к антиутопии, но на самом деле ОИИ способен обеспечить человечеству поистине уникальный уровень процветания. Все, что мне нравится в нашей цивилизации, есть плод интеллекта, а потому, если мы сумеем подкрепить наш собственный интеллект созданием ОИИ, у нас появится возможность справиться с острейшими вызовами сегодняшнего и завтрашнего дня, включая болезни, изменения климата и бедность. Чем детальнее будет наш общий позитивный взгляд на будущее, тем сильнее окажется мотив трудиться вместе над реализацией мечты.

Что мы должны делать с точки зрения выбора цели? Двадцать три принципа, принятых в 2017 году на конференции в Асиломаре, предлагают множество рекомендаций, включая следующие краткосрочные цели:

(1) Прекращение гонки вооружений в производстве смертоносного автономного оружия.

(2) Экономическое процветание, обеспечиваемое ИИ, должно широко распространиться и быть доступным каждому человеку.

(3) Инвестиции в ИИ должны сопровождаться финансированием исследований по обеспечению полезного применения искусственного интеллекта. Следует стремиться к тому, чтобы системы ИИ были исключительно надежными, устойчивыми к взлому и сбоям, и делали то, что нам нужно[78]78
  https://futureoflife.org/ai-principles/ – Примеч. автора.


[Закрыть].

Первые два условия подразумевают избавление от неоптимального равновесия Нэша[79]79
  Равновесие Нэша – одно из ключевых понятий теории игр, позиция, когда невозможно улучшить свой результат, если другие участники игры не меняют стратегий; американский математик Дж. Нэш доказал необходимость такого равновесия для всех конечных игр с любым числом игроков.


[Закрыть]. Вышедшую из-под контроля гонку вооружений в производстве смертоносного автономного оружия, призванную минимизировать расходы на автоматизированное анонимное убийство, будет очень трудно остановить, если она наберет обороты. Вторая цель потребует изменения нынешней политики ряда западных стран, где целые слои населения становятся беднее в абсолютном выражении, что вызывает гнев, обиды и поляризацию общества. Если не будет достигнута третья цель, все замечательные технологии ИИ, которые мы создаем, способны причинить нам вред, случайно или преднамеренно.

Исследования безопасности ИИ должны проводиться с четким пониманием того, что до появления ОИИ мы должны выяснить, как заставить ИИ понять, принять и уважать наши цели. Чем более интеллектуальными и мощными становятся машины, тем важнее согласовывать их цели с нашими. Пока мы строим относительно глупые машины, вопрос заключается не в том, будут ли преобладать человеческие цели и ценности, а в том, сколько хлопот могут доставить нам машины прежде, чем мы сумеем согласовать цели. Однако если однажды все-таки появится машинный сверхразум, то здесь уже все будет наоборот: поскольку интеллект есть способность ставить цели и их достигать, сверхразумный ИИ, по определению, будет превосходить людей в достижении собственных целей, а потому возьмет над нами верх.

Иными словами, реальный риск ОИИ состоит не в его злонамеренности, а в компетентности. Сверхразумный ОИИ будет реализовывать собственные цели; если окажется, что эти цели не совпадают с нашими, у нас возникнут проблемы. Люди не задумываются о затоплении муравейников при строительстве гидроэлектростанций, но не стоит помещать человечество в положение этих муравьев. Большинство исследователей утверждают, что, если мы когда-нибудь создадим сверхразум, он, как выразился пионер исследований по безопасности ИИ Элиезер Юдковски, должен быть «дружественным» (то есть таким, который будет действовать на благо человечества).

Вопрос морального свойства о том, какими должны быть цели ИИ, актуален ничуть не меньше технических вопросов о согласовании целей. Например, какое общество мы рассчитываем создать, откуда берутся смысл и цели нашей жизни, даже если мы, строго говоря, планете не нужны? Мне часто отвечают следующим образом: «Давайте создадим машины, которые умнее нас, а затем спросим у них!» Налицо ошибочное отождествление разума и морали. Интеллект сам по себе ни добрый, ни злой, он морально нейтрален. Это лишь способ достигать сложных целей, хороших или плохих. Нельзя утверждать, что все сложилось бы намного лучше, окажись Гитлер умнее. Действительно, откладывать рассмотрение этических вопросов до момента появления ОИИ с согласованными целями было бы безответственно – и потенциально катастрофично. Совершенно послушный сверхразум, цели которого автоматически совпадают с целями творцов-людей, будет похож на нацистского оберштурмбаннфюрера Адольфа Эйхмана на стероидах[80]80
  См., например: Hannah Arendt, Eichmann in Jerusalem: A Report on the Banality of Evil (New York: Penguin Classics, 2006). – Примеч. автора. Рус. пер.: Арендт Х. Банальность зла. Эйхман в Иерусалиме. М.: Европа, 2008.


[Закрыть]. Лишенный моральных устоев и собственных ограничений, он с безжалостной эффективностью станет реализовывать цели своего хозяина, каковы бы те ни были.

Когда я говорю о необходимости изучить технологические риски, меня порой упрекают в паникерстве. Но здесь, в Массачусетском технологическом институте, где я работаю, мы знаем, что анализ рисков – не паникерство, а соблюдение техники безопасности. Перед полетом астронавтов на Луну НАСА систематически проверяло, что может дать сбой в 110-метровой ракете, наполненной легковоспламеняющимся топливом, потому что в космосе им уже никто не сможет помочь (если коротко, очень многое могло дать сбой). Это паникерство? Нет, это техника безопасности, которая обеспечила успех миссии. Точно так же мы должны проанализировать, что может пойти не так в области ИИ, чтобы убедиться в правильности происходящего.

Прогноз

Итак, если наши технологии опережают обретение мудрости, благодаря которой мы с ними справляемся, это обстоятельство может привести к нашему исчезновению. По некоторым оценкам[81]81
  См. Elizabeth Kolbert, The Sixth Extinction: An Unnatural History (New York: Henry Holt, 2014). – Примеч. автора.


[Закрыть], оно уже привело к исчезновению от 20 до 50 процентов всех видов живых существ на Земле, и было бы странно, не окажись мы сами следующими в очереди. Вдобавок будет жаль, если так случится, учитывая возможности ОИИ – поистине астрономические, сулящие процветание жизни на протяжении миллиардов лет, не только на Земле, но и во многих уголках космоса.

Вместо того чтобы упускать такую возможность из-за псевдонаучного отрицания рисков и скверного планирования, давайте будем амбициозными! Ведь Homo Sapiens амбициозен по природе, о чем напоминают знаменитые строки Уильяма Эрнеста Хенли из стихотворения «Непокоренный»: «Я властелин моей судьбы, / Я капитан моей души»[82]82
  Перевод В. Рогова. У. Хенли – английский поэт и литературный критик, друг Р. Л. Стивенсона.


[Закрыть]. Хватит дрейфовать как корабль без руля и ветрил, морально готовясь отправиться на свалку истории, давайте соберемся и преодолеем технические и социальные проблемы, стоящие между нами и благим высокотехнологичным будущим. А что насчет экзистенциальных проблем, связанных с моралью, целеполаганием и смыслом? В физических законах смысл не закодирован, и не стоит пассивно ждать, пока наша Вселенная ниспошлет его нам; давайте признаем и порадуемся, что именно мы, сознательные существа, придаем смысл нашей Вселенной. Давайте созидать наши собственные смыслы, содержащие нечто более важное, нежели наличие рабочих мест. ОИИ может помочь нам наконец-то стать хозяевами своей судьбы. Давайте сделаем эту судьбу по-настоящему прекрасной!