Текст книги "Искусственный интеллект – надежды и опасения"

Глава 5
Что мы можем сделать?

Дэниел К. Деннет

профессор философии в университете и стипендиат Остина Б. Флетчера, а также директор Центра когнитивных исследований при университете Тафтса. Он опубликовал более десятка книг, в том числе «Объясненное сознание» и, если упоминать последние, «От бактерий к Баху и обратно: эволюция разума».

Дэн Деннет – «философ выбора» в сообществе исследователей искусственного интеллекта. Возможно, он наиболее известен в когнитивных науках своей концепцией интенциональных систем и моделью человеческого сознания, которая описывает вычислительную архитектуру репрезентации потока сознания в массово-параллельной [44]44
  Подразумевается, что кора головного мозга у человека действует по принципу разделения системы на отдельные полуавтономные узлы.


[Закрыть]коре головного мозга. Против такого бескомпромиссно «вычислительного» подхода выступали такие философы, как Джон Серл, Дэвид Чалмерс и покойный Джерри Фодор[45]45
  Джон Серл – американский философ, критик идеи искусственного интеллекта; Дэвид Чалмерс – австралийский философ, выдвинул т. н. дуалистическую теорию сознания («легкие» проблемы сознания, доступные для решения традиционными методами, и «трудные», которые наука разрешить не в состоянии); Джерри Фодор – американский когнитивист, отстаивал гипотезу о существовании особого «языка мыш– ления».


[Закрыть], которые утверждали, что наиболее важные аспекты сознания – интенциональность и субъективные признаки – не подвластны вычислениям.

Двадцать пять лет назад я навещал Марвина Минского, одного из пионеров в исследованиях искусственного интеллекта, и спросил его о Дэне. «Он наш лучший нынешний философ, новый Бертран Рассел, – сказал Марвин и добавил, что, в отличие от традиционных философов, Дэн изучал нейронауки, лингвистику, искусственный интеллект, информатику и психологию. – Он переосмысливает философию и реформирует ее роль. Конечно, Дэн не понимает мою теорию сообществ разума[46]46
  О концепции сообществ разума см.: Минский М. Сообщества разума. М.: АСТ, 2018.


[Закрыть], но никто не совершенен».

Мнение Дэна по поводу стараний исследователей ИИ создать сверхразум остается неизменно уравновешенным. С какой стати беспокоиться? В своем очерке он напоминает нам, что ИИ прежде всего следует рассматривать – и воспринимать – как инструмент, а не как человекоподобного коллегу.

Он начал интересоваться теорией информации, когда проходил обучение в Оксфорде. Вообще-то он признался мне, что на заре своей карьеры всерьез обдумывал, не написать ли ему книгу о кибернетических идеях Винера. Для мыслителя, приверженного научному методу, показательна его готовность ошибаться. В недавней статье под названием «Что такое информация?» он заявляет: «Я опираюсь на принципы, но допускаю их пересмотр. Я уже вышел за их пределы и осознаю, что разработаны иные, лучшие способы решения некоторых задач». Скорее всего, он сохранит хладнокровие и беспристрастность применительно к исследованиям ИИ, хотя сам Дэн нередко признает, что его собственные идеи эволюционируют – как и все идеи на свете.

Многим знакома ирония ситуации, когда впервые читаешь великую книгу в том возрасте, когда еще слишком молод, чтобы сполна оценить ее величие. Причислить классическое произведение к уже прочитанным и тем самым как бы обезопасить себя от дальнейшего влияния, усвоив всего-навсего сюжет и обрывки нескольких непонятных идей – вот верный рецепт потратить время впустую и без всякой пользы. Эта мысль сразу пришла мне на ум, когда я стал перечитывать «Человеческое применение человеческих существ». Первый раз я прочитал эту книгу шестьдесят лет назад, в далекой юности. Вообще-то, стоило бы ввести в обычай перечитывание книг нашей молодости, ведь так нам откроются наглядные признаки ряда наших собственных более поздних «открытий» и «изобретений», а также станет понятным, какое богатство идей мы вынужденно игнорировали до тех пор, пока наш разум не натренировался, не познал страдания и радости, а кругозор не расширился благодаря многочисленным житейским вызовам, которые пришлось преодолевать.

Написанная в те времена, когда вакуумные лампы являлись основными «кирпичиками» электронных устройств, а действующих вычислительных машин имелось считаное количество, книга Норберта Винера рисовала будущее, в котором мы сегодня обитаем, с поразительными прозрениями – и почти без явных ошибок. Знаменитая статья Алана Тьюринга «Вычислительная техника и интеллект» (1950) в философском журнале «Майнд» предрекала появление ИИ, и Винер разделял это мнение, но он смотрел дальше и глубже, признавая, что ИИ не просто будет подражать людям (и постепенно избавит их от множества интеллектуальных действий), но изменит саму человеческую природу.

Мы лишь водовороты в реке, что течет беспрерывно. Мы не материя, существующая вечно, а структура, которая длит себя.

Когда эти слова писались, не составляло труда отмахнуться от них как от очередного образчика гераклитовского по духу преувеличения. Ну да, ну да, нельзя войти дважды в одну и ту же реку. Но в этих словах содержались семена грядущей революции в мировоззрении. Сегодня нам известно, что такое сложные адаптивные системы, странные аттракторы, расширенные состояния ума (познания) и гомеостаз[47]47
  Термины теории сложности: сложная адаптивная система – «система систем», через взаимодействие со средой развивающая полезные и отвергающая бесполезные способности; странный аттрактор – характеристика нелинейных систем, «притягивание» (attraction) конкретной системы к аттрактору хаотическим образом; изучением расширенных состояний ума на рубеже минувшего и нынешнего столетий занялась нейробиология (нейротеология, нейрофилософия и пр.; гомеостаз – способность открытой системы сохранять стабильность внутреннего состояния).


[Закрыть]; перспектива изменилась, и это сулит исчезновение «объяснительной пропасти»[48]48
  Joseph Levine, «Materialism and Qualia: The Explanatory Gap», Pacific Philosophical Quarterly 64, pp. 354‐61 (1983). – Примеч. автора.


[Закрыть] между разумом и механизмом, духом и материей, той пропасти, которую до сих пор горячо защищают современные картезианцы, не желающие смириться с тем, что мы – мы сами – являемся самосохраняющимися информационными структурами, а не «материя, существующая вечно». Эти структуры удивительно стабильны и обладают способностью к самовосстановлению, но одновременно их можно охарактеризовать как текучие, оппортунистические, эгоистичные, склонные к эксплуатации всего и вся вокруг в своем стремлении к сохранению. Именно здесь, как признавал сам Винер, возникают сложности. При обилии привлекательных возможностей мы стараемся платить меньше и соглашаемся лишь на малые, тривиальные, если угодно, расходы по ведению бизнеса для доступа к новым умениям и навыкам. В результате мы очень скоро становимся настолько зависимыми от наших новых инструментов, что теряем способность существовать без них. Дополнительные опции становятся обязательными.

Это старая, как мир, история со множеством хорошо известных глав по эволюции. Большинство млекопитающих способны самостоятельно синтезировать витамин С, но приматы выбрали диету преимущественно из фруктов – и утратили эту врожденную способность. Ныне мы вынуждены потреблять витамин С, но не пожираем фрукты безостановочно, подобно нашим дальним родичам приматам, поскольку мы разработали технологии, позволяющие нам производить и принимать витамины по мере необходимости. Самосохраняющиеся структуры, именуемые людьми, ныне зависят от одежды, приготовленной пищи, витаминов, прививок… кредитных карт, смартфонов и интернета. А еще – завтра, если не сегодня – будут зависеть от ИИ.

Винер предвидел проблемы, которые Тьюринг и другие оптимисты в значительной степени упускали из виду. По его словам, настоящая опасность кроется в том,

что подобные машины, пускай они безвредны сами по себе, могут быть использованы человеком или группой людей для усиления своего господства над остальной человеческой расой, а политические лидеры могут попытаться контролировать население своих стран посредством не самих машин, а посредством политических практик, столь узких и равнодушных к человеческим потребностям, как если бы эти практики действительно вырабатывались механически.

Он осознавал, что сила сосредоточена в алгоритмах, а не в оборудовании, которое ими оперирует, хотя современное оборудование позволяет обрабатывать алгоритмы, которые казались бы невообразимо громоздкими во времена Винера. Что мы можем сказать об этих «практиках», «узких и равнодушных к человеческим потребностям»? Они внедряются в общество снова и снова, некоторые из них предположительно полезны, другие предположительно вредны, и большинство из них вызывает огромное количество вопросов.

Рассмотрим несколько конфликтных ситуаций. Мой покойный друг Джо Вейценбаум[49]49
  Джозеф Вейценбаум – американский ученый, один из пионеров кибернетики, автор «виртуального собеседника» ELIZA.


[Закрыть], преемник Винера в роли высокотехнологичного пророка Иеремии в Массачусетском технологическом институте, любил повторять, что кредитные карты, при всех неоспоримых достоинствах, заодно предоставляют правительствам и корпорациям недорогой и почти стопроцентно надежный способ отслеживать перемещения, покупательские привычки и желания граждан. Анонимность наличных денег в значительной степени недооценивается, к ней стремятся разве что торговцы наркотиками и другие преступники, а ныне она и вовсе на грани исчезновения. Тем самым отмывание средств сделается более сложной технической задачей, но поклонники и энтузиасты искусственного интеллекта, ратующие против наличности, добились вдобавок того, что все мы очутились как на ладони у «группы людей», которые могут использовать это обстоятельство «для усиления своего господства над остальной человеческой расой».

Что касается искусства, то инновации в цифровых аудио– и видеозаписях позволяют нам платить небольшую цену (по мнению всех, за исключением наиболее ярых меломанов и любителей кино) за отказ от аналогового формата, благодаря чему обеспечивается удобное и простое – не слишком ли простое? – воспроизведение музыкальных и прочих произведений искусства с почти идеальной точностью. Но здесь имеются колоссальные скрытые издержки. «Министерство правды» Оруэлла сегодня вполне возможно реализовать на практике. Ныне получают распространение технологии создания (при посредстве ИИ) практически неотличимых от оригиналов подделок переговоров, например вследствие чего устаревают инструменты расследований, которые мы привыкли считать само собой разумеющимися за последние сто пятьдесят лет. Согласны ли мы отказаться от краткой эпохи фотографических доказательств и вернуться в прежние времена, когда человеческая память и доверие служили этаким золотым стандартом, – или будем разрабатывать новые методы защиты и нападения в гонке вооружений периода постправды? (Мы способны вообразить возвращение фотопленки и проявки, хранение улик в «защищенных от несанкционированного доступа местах» до момента предъявления присяжным и т. д., но как скоро кто-то додумается до способа поставить под сомнение достоверность таких свидетельств? Вот один тревожный урок недавнего прошлого: уничтожение репутации и доверия обходится намного дешевле, чем защита репутации.) Винер рассуждал максимально широко: «в конечном счете отсутствует различие между вооружением себя и вооружением наших врагов». Информационная эпоха – это также эпоха дезинформации.

Что тут можно поделать? Нужно переосмыслить наши приоритеты, опираясь на пристрастный, но искренний анализ Винера, Вейценбаума и других авторитетных критиков нашей технофилии. Ключевым, на мой взгляд, является оброненное почти мимоходом замечание Винера насчет машин, которые «безвредны сами по себе». Как я недавно заявил, мы создаем инструменты, а не коллег, и реальная опасность состоит в том, чтобы не видеть разницы; мы должны всячески ее подчеркивать, обозначать и отстаивать, в том числе с помощью политических и правовых инноваций.

Возможно, лучше всего удастся объяснить, что конкретно упускают из вида, указав, что сам Алан Тьюринг допустил вполне простительную и понятную ошибку, когда формулировал свой знаменитый тест. Как хорошо известно, это вариант его «игры в подражание», когда мужчина в помещении без окон, письменно общающийся с посредником, пытается убедить посредника в том, что он на самом деле женщина, а женщина, находящаяся в тех же условиях, уверяет, что это она – женщина. Тьюринг писал, что для мужчины (или для женщины, притворяющейся мужчиной) будет очень и очень непросто воспользоваться обилием знаний о том, как думает и действует противоположный пол, что он склонен одобрять или игнорировать. Конечно (дзинь!)[50]50
  Обязательная тревога (этакий колокольный звон в голове всякий раз, когда некое слово приводится в качестве аргумента) позитивно описана мной в работе «Интуиционные насосы и другие инструменты мышления» (2013). – Примеч. автора.


[Закрыть], любой мужчина, способный убедительно изобразить женщину и превзойти в этом собственно женщин, окажется разумным агентом. Но Тьюринг не предвидел способности ИИ на основе глубинного обучения усваивать этот объем информации в пригодной для использования форме без необходимости понимания усвоенных сведений. Тьюринг воображал проницательного и творческого (следовательно, разумного) агента, который ловко выстраивает ответы на основе проработанной «теории» того, что женщины якобы могут делать и говорить. Если коротко, перед нами интеллектуальное планирование по принципу сверху вниз. Разумеется, Тьюринг не предполагал, что мужчина, победивший в игре в подражание, каким-то образом действительно станет женщиной; он считал, что исход игры будет определять мужское сознание. Скрытая предпосылка аргументации Тьюринга была такова: лишь сознательный, разумный агент способен разрабатывать и реализовывать выигрышную стратегию в игре в подражание. Поэтому для Тьюринга (и для других, включая меня, по-прежнему стойкого защитника теста Тьюринга) было обоснованным утверждение, что «вычислительная машина», способная имитировать человека в состязании с человеком, может и не обладать сознанием в человеческом понимании, но она должна быть сознательным агентом хоть в какой-то степени. Думаю, данная позиция до сих пор достойна защиты (единственная из многих), но следует отдавать себе отчет в том, насколько изобретательным и проницательным придется быть посреднику, чтобы разоблачить поверхностность суждений ИИ, прошедшего глубинное обучение (инструмента, а не коллеги).

Тьюринг не предвидел сверхъестественной способности сверхбыстрых компьютеров бездумно просеивать большие данные, неиссякаемым источником которых служит интернет, обнаруживая вероятностные закономерности в человеческой деятельности и используя их для формирования базы «аутентичных» допустимых ответов на практически любой вопрос потенциального посредника в игре в подражание. Винер тоже недооценивал эту способность, отмечая очевидную слабость машин в том, что они не умеют учитывать

тот огромный диапазон вероятностей, который характерен для человеческих ситуаций.

Но принятие во внимание этого диапазона вероятностей – именно та область, где новый ИИ демонстрирует поразительные успехи. Единственной брешью в доспехах ИИ оказывается это слово «огромный»; человеческие возможности, благодаря языку и культуре, которую язык порождает, поистине огромны[51]51
  В «Опасной идее Дарвина» (1995) я придумал аббревиатуру: слово Vast («огромный») можно расшифровать как «Намного (Very) больше, чем астрономический (ASTronomical)», а дополнительное определение «исчезающий (Vanishing)» заменяет обычные преувеличения «бесконечный» и «бесконечно малый» в обсуждении тех возможностей, которые официально не признаны безграничными, но фактически считаются таковыми на практике. – Примеч. автора.


[Закрыть]. Сколько бы моделей и шаблонов мы с ИИ ни выявили в потоке данных, доступных на сегодняшний день в интернете, существует гораздо больше возможностей, которые в сети никогда не фиксировались. Лишь малая (но не исчезающе малая) часть накопленной в мире мудрости, замыслов, реакций и глупости попадает в интернет, но, вероятно, наилучшей тактикой для посредника-вопрошающего при беседе с участниками теста Тьюринга будет не искать ответы, а как бы создавать их заново. ИИ в своих нынешних проявлениях паразитирует на человеческом интеллекте. Он совершенно беззастенчиво пожирает все, что сотворили люди, и извлекает образцы, которые может отыскать, включая ряд наших самых пагубных привычек[52]52
  Aylin Caliskan-Islam, Joanna J. Bryson & Arvind Narayanan, «Semantics derived automatically from language corpora contain human-like biases», Science, 14 April 2017, 356: 6334, pp. 183–6. DOI: 10.1126/science.aal4230. – Примеч. автора.


[Закрыть]. Машины не располагают (пока?) целями, стратегиями и возможностями для самокритики и инноваций, которые позволили бы им выходить за пределы собственных баз данных, осмысливать собственное мышление и собственное целеполагание. Они, как говорит Винер, безвредны не потому, что закованы в кандалы или ущербны как-то иначе, а потому, что вообще не являются агентами – лишены способности «руководствоваться причинами» (как выражался Кант), им открывающимися. Важно, чтобы мы сохраняли такое положение, и это потребует некоторых усилий.

Один из недостатков книги Вейценбаума «Мощность компьютеров и человеческий разум» (я многократно и тщетно пытался переубедить Джо), заключается в том, что автор так и не пришел к выводу, какой именно из двух тезисов он отстаивает: тот, что ИИ невозможен, или тот, что ИИ возможен, но это чревато проблемами. Он хотел доказать, заодно с Джоном Серлом и Роджером Пенроузом[53]53
  Английский физик и математик, автор гипотезы «космической цензуры» и популярной мозаики Пенроуза.


[Закрыть], что «сильный ИИ» невозможен, но в пользу этого утверждения не имеется веских доводов. В конце концов, нам известно всего-навсего, как я уже отмечал, что мы суть роботы, изготовленные из роботов, изготовленных из роботов – вплоть до моторных белков[54]54
  Тж. двигательные белки, т. е. белки, способные к перемещениям в молекулах.


[Закрыть] и прочего, без каких-либо магических ингредиентов, добавляемых к этой смеси. Другое, более значимое и полезное замечание Вейценбаума сводится к тому, что мы не должны стремиться к созданию «сильного» ИИ и нам следует проявлять чрезвычайную осторожность в отношении тех систем ИИ, которые мы можем создать и которые уже создали. Как логично предположить, обоснованный тезис гибриден: ИИ («сильный» ИИ) возможен в принципе, но нежелателен. ИИ, который возможно создать на практике, не обязательно зло – если его не принимают за «сильный» ИИ!

Разрыв между реальными современными системами и фантастическими системами, доминирующими в воображении, все еще велик, хотя многие, равно любители и профессионалы, ухитряются его недооценивать. Возьмем, к примеру, Watson[55]55
  Суперкомпьютер, способный отвечать на вопросы, задаваемые на естественном языке; назван в честь первого генерального директора компании-разработчика Т. Уотсона. В 2011 г. одержал победу над игроками-людьми в викторине «Jeopardy!».


[Закрыть] компании «Ай-би-эм», на данный момент вполне достойную веху эволюции искусственного интеллекта. Это итог масштабного процесса НИОКР, охватывающего многие человекостолетия программирования, и, как отмечает Джордж Черч (см. далее), система использует в тысячи раз больше энергии, чем человеческий мозг (технологическое ограничение, которое, на что справедливо указывает Черч, может быть временным). Победа системы в викторине «Jeopardy!» стала настоящим триумфом, который обеспечили формальные ограничения правил игры, но, чтобы машина могла участвовать в игре, даже эти правила пришлось подкорректировать (один из обычных компромиссов: вы отказываетесь от толики универсальности и человечности, зато получаете привлекательное для зрителей шоу). Watson – не лучший собеседник, что бы ни утверждала реклама производителя, обещающая умение поддерживать разговор, и видеть в этой системе полноценного многомерного агента – все равно что уподоблять Watson ручному калькулятору. Она может служить полезным ядром такого агента, но больше похожа на мозжечок или миндалину, чем на человеческий мозг; в лучшем случае это подсистема специального назначения, которая может оказывать значительную поддержку, но совершенно не годится для постановки целей, составления планов и осознанного усвоения и воспроизведения разговорного опыта.

Зачем нам создавать мыслящего, творческого агента из системы Watson? Возможно, блестящая идея Тьюринга с операциональным тестом заманила нас в ловушку: мы желаем сотворить хотя бы иллюзию реального человека за ширмой, проводника через «пропасть». Опасность заключается в том, что с тех самых пор, как Тьюринг сформулировал свои условия (а ведь для него задача состояла в том, чтобы в итоге обмануть посредника), разработчики ИИ пытались перекинуть через эту «пропасть» мост из этаких почти невесомых, сугубо человеческих конструкций; налицо, если угодно, своего рода диснеефикация[56]56
  Компанию Disney часто упрекают в том, что в своих фильмах и анимациях она «затушевывает» реальные проблемы.


[Закрыть], очаровывающая и обезоруживающая непосвященных. Система ELIZA Вейценбаума была первым примером такого сотворения эфемерных иллюзий, и сам ее создатель поражался и смущался той легкости, с какой его смехотворно простая программа убеждала людей, будто она способна вести серьезный разговор (собственно, именно к этому он стремился).

Вейценбаум смущался не зря. Если мы и научились чему-то на ограниченном применении теста Тьюринга в состязаниях за премию Лебнера[57]57
  Ежегодный конкурс на прохождение компьютерными программами теста Тьюринга; победителем признается та программа, которая проявит наибольшую «человечность».


[Закрыть], то это пониманию того, что даже очень умные люди, незнакомые с возможностями и хитростями компьютерного программирования, легко попадаются на простейшие уловки. Отношение сообщества ИИ к этим методам анализа «человеческого интерфейса» варьируется от презрения до восторга, но все сознают, что это уловки, способные, впрочем, увлекать и убеждать. Очень кстати будет следующее изменение во взглядах: нужно признать откровенно, что всевозможные преувеличения являются ложной рекламой, которую следует скорее осуждать, чем восхвалять.

Но как этого добиться? Как только мы осознаем, что люди начинают принимать решения в категории «жизнь или смерть», опираясь преимущественно на «советы» систем ИИ, работа которых скрыта от глаз и непостижима, у нас появится веская причина налагать моральную и юридическую ответственность на тех, кто каким-либо образом побуждает общество доверять этим системам больше, чем они того заслуживают. Системы ИИ суть превосходные инструменты, настолько совершенные, что даже у экспертов не найдется оснований ставить собственные суждения выше «суждений» таких систем. Но если те, кто пользуется этими инструментами, желают получить финансовую или иную выгоду от перемещений по Terra Incognita, необходимо удостовериться в том, что они знают, как использовать инструменты ответственно, с максимальным контролем и обоснованием. Лицензирующие организации – мы ведь лицензируем фармацевтов (и операторов кранов!) – и другие службы в областях, где ошибки и неверные суждения могут иметь тяжелые последствия, должны, не исключено, под давлением страховых компаний и пр., побудить разработчиков систем искусственного интеллекта тщательнейшим образом выявлять реальные и потенциальные уязвимости программ, а также обучать тех, кто приобретает права на их использование.

Можно представить себе нечто вроде обратного теста Тьюринга, когда опрашивают посредника; до тех пор пока он не обнаружит уязвимость, нечеткость ограничений, какие-то упущения и пр., лицензия на распространение не выдается. Ментальная подготовка, необходимая для работы посредника, будет обязательной. Желание продемонстрировать интенциональность, наша обычная тактика при контакте с тем, что видится нам разумным агентом, почти непреодолимо велико. Действительно, способность сопротивляться внешней привлекательности и сохранять беспристрастность – малоприятный талант, от которого отдает расизмом или, скажем так, «видизмом». Многие сочтут, что культивировать в себе безжалостный скептический подход аморально, и можно ожидать, что даже опытные пользователи будут иногда поддаваться искушению «подружиться» с системами-инструментами, хотя бы для того, чтобы избавиться от дискомфорта при исполнении обязанностей. Сколь бы скрупулезно проектировщики ИИ ни устраняли фальшивые «человеческие» признаки из своих творений, можно ожидать возникновения новых привычек мышления, разговорных уловок, хитростей и блефа в этой новой области человеческой деятельности. Комично длинные списки известных побочных эффектов для новых лекарств, рекламируемых по телевидению, покажутся мелочью в сравнении с обязательными «разоблачениями», на которые не найдется ответов у разработчиков конкретных систем, и солидные штрафы будут уготованы тем, кто решит пропустить «мелкие недочеты» своих продуктов. Общепризнано, что в значительной степени растущее экономическое неравенство в современном мире обусловлено богатством, накопленным цифровыми предпринимателями; мы должны принять законы, которые заставят их опустошать свои глубокие карманы ради общественного блага. Некоторые обладатели глубоких (глубочайших, к слову) карманов добровольно берут на себя такие обязательства – служить в первую очередь обществу, а уж потом зарабатывать деньги, – но нельзя полагаться исключительно на добрую волю.

Нам не нужны искусственные сознательные агенты. Налицо избыток естественных сознательных агентов, достаточный для решения любых задач, которые подлежат резервированию как прерогатива этих особых, привилегированных сущностей. Нам нужны интеллектуальные инструменты. Инструменты лишены прав и не должны испытывать чувства, которые возможно задеть, или обижаться на «злоупотребления» со стороны неумелых пользователей[58]58
  См.: Joanna J. Bryson, «Robots Should Be Slaves», in Close Engagement with Artificial Companions, Yorick Wilks, ed., (Amsterdam, The Netherlands: John Benjamins, 2010), pp. 63‐74; http://www.cs.bath.ac.uk/~jjb/ftp/Bryson-Slaves-Book09.html; она же: «Patiency Is Not a Virtue: AI and the Design of Ethical Systems», https://www.cs.bath.ac.uk/~jjb/ftp/Bryson-Patiency-AAAISS16.pdf. – Примеч. автора.


[Закрыть]. Одна из причин отказаться от создания искусственных сознательных агентов заключается в том, что, какими бы автономными они ни были (в принципе они способны на автономию, самосовершенствование и самосотворение в той же степени, что и человек), они не смогут – без специальной подготовки, которой можно воспрепятствовать, – разделить с нами, то есть с естественными сознательными агентами, нашу уязвимость и смертность.

Однажды на университетском семинаре, который мы с Матиасом Шойцем вели по искусственным агентам и автономии, я предложил студентам: опишите технические характеристики робота, который заключит с вами обязательный к исполнению контракт – не как суррогат человека-владельца, а самостоятельно. Дело не в том, чтобы обучить робота пониманию юридических тонкостей или умению водить ручкой по листу бумаги, а в том, чтобы он заслуженно обрел правовой статус морально ответственного агента. Маленькие дети не могут подписывать договоры, равно как и те инвалиды, чей правовой статус требует опеки и ответственности сторонних лиц. Беда роботов, которым вздумается достичь столь высокого статуса, в том, что они, подобно Супермену, слишком неуязвимы для доверия к ним. Если они нарушат договор, каковы будут последствия? Каким будет наказание за отказ соблюдать согласованные условия? Тюремная камера или, если уж на то пошло, принудительная разборка? Камера едва ли доставит неудобства ИИ, если не внедрить в него изначально wanderlust[59]59
  Жажду странствий (нем.).


[Закрыть], которую искусственный интеллект не сможет игнорировать или отключать самостоятельно (с системной точки зрения это будет непросто, учитывая предположительное всеведение и самопознание ИИ); а демонтаж системы, будь то робот или стационарный агент наподобие Watson, не покончит с ней, если сохранится информация в ее конструкции и программном обеспечении. Сама легкость цифровой записи и передачи информации – прорыв, который фактически гарантирует бессмертие программному обеспечению и данным – выводит роботов из пространства уязвимости (по крайней мере, это касается обычно воображаемых роботов с цифровым программным обеспечением и памятью). Если вы не уверены в этом, задумайтесь о человеческой морали: как она изменится, скажем, будь у нас возможность изготавливать «резервные копии» людей каждую неделю. В субботу прыгаем головой вниз с высокого моста без страховки – это же мелочь, о которой можно не вспоминать в пятницу вечером, ибо в воскресенье утром онлайн доступна пятничная резервная копия, которая и наслаждается видеозаписью вашей субботней кончины.

Следовательно, мы создаем не сознательных человекоподобных агентов (их мы не должны создавать), а совершенно новый вид сущностей, нечто вроде оракулов, лишенных совести и страха смерти, не отвлекающихся на любовь и ненависть, не обладающих личностью (но со всеми фобиями и причудами, которые, без сомнения, станут трактовать как «личность» системы). Это своего рода «ящики истины» (если нам повезет), почти наверняка содержащие в своих базах данных россыпи лжи. Будет довольно трудно научиться жить рядом с ними, не отвлекаясь на фантазии о «сингулярности», в которых ИИ порабощает человечество в реальности. Человеческое применение человеческих существ в скором времени изменится – снова – навсегда, но мы в состоянии встать у руля и направить наш корабль мимо хотя бы некоторых опасностей, если возьмем на себя ответственность за траекторию движения.