Текст книги "Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта"

Законы

Мы, люди, – социальные животные, сумевшие подчинить себе другие виды животных и занять доминирующее положение на планете благодаря нашей способности к сотрудничеству. Мы разработали законы для поддержания и облегчения сотрудничества, и если искусственный интеллект сможет улучшить наши законодательные и правительственные системы, то мы сможем сотрудничать еще более успешно, чем когда-либо прежде, проявляя все то лучшее, что в нас есть. И поскольку существует много способов для написания и применения наших законов, давайте рассмотрим сейчас и то и другое.

Каковы первые ассоциации, которые приходят на ум, когда вы думаете о судебной системе в вашей стране? Если вы подумали о бесконечных проволочках, дороговизне и о то и дело случающихся несправедливостях, то вы не одиноки. Правда, было бы замечательно, если бы вместо всего этого вы прежде всего подумали об эффективности и честности? Поскольку судебный процесс в теории может рассматриваться как вычисление, на входе которого информация о собранных доказательствах и законах, а на выходе – судебное решение, то есть ученые, мечтающие полностью его автоматизировать, передав всю процедуру в ведение роботов-судей – систем с искусственным интеллектом, которые в каждом своем решении неизменно опираются на самые высокие правовые стандарты и не знают человеческих слабостей, таких как пристрастность, утомление или недостаток новейших знаний.

Роботы-судьи

В 1994 году Байрон Делабэквит-младший был осужден за убийство лидера движения за гражданские права чернокожих Медгара Эверса, совершенное им в 1963 году, при том что уже на следующий год после убийства два разных жюри штата Миссисипи, включавшие только белых заседателей, не смогли вынести ему приговор, хотя, объективно говоря, набор улик никак не изменился{40}40
  Статья в New York Times о том, как убийца из Ку-клукс-клана был сначала оправдан, а потом осужден – много лет спустя: http://tinyurl.com/kkkacquittal


[Закрыть]. Увы, история права изобилует предвзятыми суждениями, на которые повлиял то цвет кожи, то пол, то сексуальная ориентация, то религиозная принадлежность, то национальность, то еще какой-нибудь фактор. Роботы-судьи в принципе могут гарантировать, что в первый раз в истории все будут действительно равны перед законом: их можно так запрограммировать, чтобы они ко всем относились одинаково и с каждым одинаково себя вели, обеспечивая транспарентность в применении закона и его полную беспристрастность.

Роботы-судьи также, в отличие от людей, неподвластны случайным предубеждениям, равно как и предубеждениям систематическим. Например, вызвавшее много споров исследование 2012 года работы израильских судей показало, что те выносят значительно более жесткие приговоры, когда голодны: они отклоняли около 35 % прошений об условно-досрочном освобождении сразу после завтрака, но больше 85 % – непосредственно перед обедом{41}41
  Исследование Данцигера с коллегами 2011 года (http://www.pnas.org/content/108/17/6889.full), доказывающее, что голодные судьи выносят более жестокие приговоры, было оспорено Вейншел-Марджел и Джоном Шапардом (http://www.pnas.org/content/108/42/E833.full), но Данцигер с коллегами привел новые свидетельства свой правоты: http://www.pnas.org/content/108/42/E834.full


[Закрыть]. Еще один недостаток людей в роли судей заключается в том, что им часто не хватает времени, чтобы изучить все детали дела. В отличие от них робота-судью легко размножить, так как он ненамного больше заложенного программного обеспечения, и тогда все дела будут изучаться параллельно, а не одно за другим, и каждое из них получит собственного судью на весь срок рассмотрения дела. Наконец, судья-человек не может обладать всеми техническими знаниями, необходимыми для ведения разнообразных дел – от запутанных патентных споров до таинственных убийств, раскрываемых лишь с помощью новейших достижений судебной медицины, а роботы-судьи будущего смогут располагать практически неограниченными емкостью памяти и обучаемостью.

Когда-нибудь такие роботы-судьи окажутся и более эффективными, и более справедливыми, чем люди, будучи беспристрастными, компетентными и транспарентными. А их эффективность послужит еще большему усилению справедливости, ускорив ход юридических процессов и уничтожив предпосылки для воздействия на их исход со стороны подкованных юристов, при этом они позволят добиваться справедливости через суд при значительно меньших расходах. И тогда шансы даже не располагающего особыми средствами просителя или стартап-компании успешно противостоять миллиардеру или транснациональной корпорации сильно возрастут, несмотря на армию юристов, помогающих оппоненту.

С другой стороны, чем грозят для такого робота-судьи программные глюки или атаки хакеров? И от того и от другого уже пострадали машины автоматизированного голосования, а когда на карту поставлены годы за решеткой или миллионы на банковском счету, цена кибератаки заметно повышается. Даже если мы уверены, что искусственный интеллект использует правильный законодательный алгоритм, почувствуем ли мы достаточную уверенность в логике его использования, чтобы уважать выносимые решения? Эта проблема усугубляется быстрым прогрессом в развитии нейронных сетей, которые часто превосходят довольно очевидные традиционные алгоритмы искусственного интеллекта, за что приходится расплачиваться их прозрачностью. Если ответчик хочет знать, почему ему вынесли именно такой приговор, он должен иметь право на лучший ответ, чем какой-нибудь такой: “Мы натренировали нашу систему на большом количестве данных, и она теперь приняла такое решение”. Кроме того, недавние исследования показали, что если вы тренируете нейронные системы глубокого обучения на большом количестве данных о заключенных, они могут предсказывать, кто из этих заключенных с большой вероятностью вернется к своей преступной деятельности (и кому из них поэтому должно быть отказано в условно-досрочном освобождении), лучше, чем судья-человек. Но что делать, если эта система обнаружит, что склонность к рецидивам статистически связана с полом или расовой принадлежностью заключенного, – будет ли это считаться проявлением сексизма или расизма робота-судьи, который, следовательно, нуждается в перепрограммировании? Действительно, исследование 2016 года показывает, что программное обеспечение, используемое в Соединенных Штатах для предсказание рецидивизма, предвзято настроено против афроамериканцев и поддерживало несправедливые приговоры{42}42
  Сообщение в Pro Publica о расовых предубеждениях программного обеспечения, предсказывающего криминальные рецидивы: http://tinyurl.com/robojudge


[Закрыть]. Это важные вопросы, которые нам надо поставить и обсудить, чтобы сохранить возможность эффективно использовать искусственный интеллект. У нас нет необходимости принимать решение из разряда “все или ничего” в отношении роботов-судей, но решать, до каких пределов и с какой скоростью мы хотим вводить искусственный интеллект в нашу правовую систему, нам придется. Мы хотим, чтобы завтра люди, выполняющие работу судей, получили себе в помощь системы информационной поддержки принятия решений на основе искусственного интеллекта, как ее получат врачи? Мы хотим идти дальше и дать роботам-судьям возможность самостоятельно принимать решения, которые могут быть обжалованы в суде, состоящем только из людей, или же мы хотим пойти до конца и дать машинам право выносить не подлежащие обжалованию приговоры, даже если речь о высшей мере наказания?

Юридические препоны

Пока мы обсуждали только применение закона, давайте теперь обратимся и к его содержанию. Существует общее согласие по поводу того, что наши законы должны развиваться, чтобы идти в ногу с нашей технологией. Например, все обвинения против двух программистов, создавших червя ILOVEYOU, о котором рассказывалось выше и который повлек ущерб в миллиарды долларов, были сняты, и они ушли от всякого наказания просто потому, что в то время на Филиппинах не было закона, запрещавшего создание вредоносных программ. Поскольку темпы технического прогресса, по-видимому, и дальше будут увеличиваться, законы должны обновляться также со всевозрастающей скоростью, но они имеют тенденцию отставать. Вероятно, обществу было бы полезно иметь побольше технически подкованных людей в юридических вузах и в правительстве. Но не следует ли уже сейчас подумать о системах поддержки принятия решений на основе технологий искусственного интеллекта для избирателей и законодателей, а затем, не откладывая в долгий ящик, и о роботах-законодателях?

Вопрос, как приспособить наши законы к быстро меняющейся действительности, чтобы они наилучшим образом соответствовали прогрессу в области искусственного интеллекта, вызывает горячие и увлекательные споры. Один из возможных подходов отражает существующее противоречие между правом на неприкосновенность частной жизни и свободой информации. Фанаты свободы слова утверждают, что чем сильнее мы сузим сферу неприкосновенности, тем больше доказательств будет в распоряжении судов и тем более справедливые решения они будут выносить. Например, если правительство получит доступ ко всем электронным устройствам и будет постоянно вестись запись, где они находятся, какие кнопки на них нажимают, что в них говорят и что с ними еще делают, многие преступления могут быть сразу и с легкостью раскрыты, а еще большее их количество можно было бы предотвратить. Защитники частной жизни возражают на это, что они не хотят оказаться в оруэллианском государстве тотальной слежки и что, даже если бы они этого и хотели, есть риск быстрого превращения такого государства в тоталитарную диктатуру неслыханных доселе масштабов. Более того, методы машинного обучения показали очень хорошие результаты в анализе данных МРТ мозга для определения, что человек думает и, в частности, насколько правдиво то, что он говорит{43}43
  Использование функциональной магнитно-резонансной томографии и других методов сканирования мозга в качестве доказательства в судах крайне сомнительно из-за низкой достоверности самих этих методов, хотя многие исследовательские группы утверждают, что их точность превышает 90 %: http://journal.frontiersin.org/article/10.3389/fpsyg.2015.00709/full


[Закрыть]. Если суды признают возможным использование методов сканирования мозга при условии, что его результаты расшифровываются искусственным интеллектом, и такая технология станет нормой, длительный и скрупулезный в настоящее время процесс установления истинности предоставляемых фактов окажется легким и быстрым, существенно ускоряя судебные разбирательства и гарантируя их справедливость. Но защитники неприкосновенности частной жизни имеют все основания беспокоиться по поводу случайных ошибок, совершаемых такими системами, или, обращаясь к проблеме более фундаментальной, – по поводу допустимости правительственной слежки за состоянием наших умов. Правительства, не поддерживающие свободу мнений, могут использовать такие технологии для введения уголовной ответственности за приверженность определенным убеждениям и мнениям. А где бы вы лично провели линию между требованиями общественного блага и защитой личного пространства, между защитой общества в целом и защитой ваших личных свобод? Но где бы вы ее ни провели, не будет ли она незаметно, но неумолимо смещаться в ту сторону, где частная жизнь оказывается защищена все меньше, – для того, чтобы компенсировать всевозрастающую легкость подделки улик? Например, когда искусственный интеллект научится изготавливать видео, неотличимые от подлинных, но тем не менее поддельные, на которых запечатлено, как вы совершаете преступление, то разве вы сами не проголосуете за такую систему, которая даст правительству возможность постоянно отслеживать ваше местонахождение, предоставляя вам при необходимости железное алиби?

Не менее горячие споры разворачиваются вокруг вопроса о регулировании исследований искусственного интеллекта, или, если говорить конкретнее, о том, как политики должны стимулировать исследователей искусственного интеллекта, чтобы максимизировать вероятность благоприятного результата. Среди самих исследователей есть такие, кто выступает категорически против любых форм регулирования в данной области, утверждая, что оно приведет только к неоправданному замедлению внедрения по-настоящему необходимых инноваций (например, беспилотных автомобилей, сохраняющих жизни участников дорожного движения) и заставит тех, кто ведет самые передовые исследования, уйти в подполье или бежать в страны с менее требовательными правительствами. На конференции в Пуэрто-Рико по дружественному AI, о которой рассказывалось в главе 1, Илон Маск говорил, что от правительств нам сейчас нужно содействие, а не противодействие – в частности, необходимо, чтобы на правительственных постах были технически образованные люди, которые следили бы за прогрессом в области искусственного интеллекта и не давали этим исследованиям съезжать на обочину. Он также утверждал, что правительственные регулирующие директивы иногда могут способствовать прогрессу, а не душить его: например, если правительственные стандарты безопасности для беспилотных автомобилей помогут уменьшить количество дорожно-транспортных происшествий с их участием, то вероятность общественных выступлений против новой технологии сильно снизится и принятие ее пройдет быстрее. Поэтому наиболее озабоченные проблемами безопасности компании могут поддерживать такое регулирование, которое заставит менее ответственных конкурентов соответствовать высоким стандартам безопасности.

Еще один интересный правовой спор касается предоставления прав машинам. Если появление на дорогах беспилотных автомобилей сохранит жизнь половине от тех 32000 человек, что ежегодно гибнут на дорогах США, то производители таких автомобилей получат не 16 000 благодарственных открыток от спасенных, а 16 000 исков в защиту погибших. В случае, когда беспилотный автомобиль попадает в аварию и в результате страдают люди, кто должен нести за это ответственность – седоки, владелец или производитель? Правовед Дэвид Владек выдвинул четвертый вариант: сам автомобиль! В частности, он предлагает, чтобы для беспилотных автомобилей допускалось (и даже требовалось) наличие страховки. И тогда модели, чья страховая история окажется безупречно чиста, будут претендовать на премии за свою выдающуюся безопасность. Такая премия может быть совсем небольшой, пусть даже намного меньшей, чем та, на какую претендовал бы водитель-человек в аналогичном случае, но зато плохо разработанные модели от небрежного производителя получат право лишь на такие дорогие страховые полисы, что владение этим автомобилем окажется до невозможности невыгодным.

Но если машины – те же беспилотные автомобили – получают право на приобретение страховых полисов, то не должны ли они также получить право иметь собственные деньги и приобретать на них иное имущество? А если так, то нет никаких юридических препятствий и для того, чтобы умный компьютер зарабатывал на фондовом рынке и пользовался заработанным для покупки онлайн-услуг. После того как компьютер начинает платить людям за работу на него, он становится способен на все, на что способны люди. Если системы с искусственным интеллектом лучше проводят инвестиции, чем люди (а кое в чем они этого уже достигли), это может привести к ситуации, когда большая часть нашей экономики окажется в собственности у машин и под их управлением. Мы этого хотим? Если вы думаете, что это как-то чересчур, то подумайте о том, что наша экономика и так уже в основном в собственности нечеловеческих сущностей – корпораций, которые часто значительно более могущественны, чем любой человек из работающих в них, и могут до некоторой степени жить собственной жизнью.

Если вы не видите проблем в предоставлении машинам прав на владение имуществом, то как насчет предоставления им права голоса? И тогда каждой компьютерной программе надо дать голос, хотя она легко может сделать триллионы копий самой себя в подходящем облаке, тем самым гарантируя результаты любых выборов? А если нет, то на каком моральном основании мы проводим дискриминацию машинного ума по отношению к человеческому? Если машина обладает сознанием и субъективным опытом, то чем она отличается от нас? Мы обсудим более подробно эти спорные вопросы, связанные с управлением нашего мира компьютерами, в следующей главе и вопросы, связанные с наличием у машин сознания, в главе 8.

Оружие

С незапамятных времен человечество страдает от голода, болезней и войн. Мы уже коснулись темы, как искусственный интеллект может помочь решить проблемы голода и болезней, а что насчет войны? Некоторые утверждают, что наличие ядерного оружия удерживает владеющие им страны от войны, потому что ее последствия ужасающи. Так не позволить ли всем нациям создать еще более ужасающее оружие с использованием искусственного интеллекта в надежде, что после этого войны прекратятся навсегда? Если аргумент вас не убеждает и вы считаете, что будущие войны все равно неизбежны, то что вы скажете об использовании искусственного интеллекта для гуманизации этих войн? Если в боевых действиях будут принимать участие только машины, воюющие с машинами, то ни военные люди, ни гражданские не должны гибнуть. Более того: можно надеяться сделать будущие дроны, снабженные искусственным интеллектом, и другие автономные системы оружия (АСО; их противники дали им название “роботы-убийцы”) более справедливыми и рациональными, чем человеческие солдаты: оснащение их сенсорами, далеко превосходящими человеческие органы чувств, и отсутствие у них страха смерти сделает их спокойными, расчетливыми и уравновешенными даже в пылу сражения, делая почти невероятным убийство гражданских лиц.

Человек в цепи

Но что если автоматизированные системы глючат, сбоят и ведут себя не так, как ожидалось? Американская система Phalanx, устанавливаемая на крейсерах класса Aegis[24]24
  Крейсерами класса Aegis (Иджис) называют крейсера, на которых установлена корабельная многофункциональная боевая информационно-управляющая система Aegis. Phalanx – это система оружия ближнего боя, часто входящая в состав Aegis. – Прим. перев.


[Закрыть], автоматически обнаруживает, отслеживает и отражает приближающиеся цели противника, такие как противокорабельные ракеты и самолеты. USS Vincennes[25]25
  Третий ракетный крейсер типа Ticonderoga (“Тикондерога”). Крейсера класса Ticonderoga были первыми, на которых стояла система Aegis, то есть крейсерами класса Aegis. – Прим. перев.


[Закрыть] был ракетным крейсером, получившим прозвище “Робокрейсер” – с намеком на установленную на нем систему Aegis. 3 июля 1988 года, в разгар перестрелки с иранскими канонерскими лодками в ходе ирано-иракской войны, его радиолокационная система предупредила о приближении самолета. Капитан Уильям Роджерс-третий заключил, что их атакует иранский истребитель F‐14 и позволил системе Aegis открыть огонь. В тот момент он не понимал, что они сбивают пассажирский самолет иранской авиакомпании Iran Air, выполнявший свой обычный рейс под номером 655. Погибли все 290 человек, находившиеся на борту, из-за чего разразился грандиозный международный скандал. Расследование показало, что катастрофа произошла отчасти из-за того, что пользовательский интерфейс системы не давал достаточно полной информации, не показывая в автоматическом режиме, ни какие из точек на экране радаров соответствуют гражданским самолетам (рейс 655 проходил в его обычном ежедневном коридоре с включенным гражданским транспондером), ни какие из самолетов снижаются (как во время нападения), а какие, напротив, набирают высоту (как это было с рейсом 655, который как раз взлетал из аэропорта Тегерана). Вместо этого автоматизированная система сформировала запрос о траектории загадочного самолета и получила на него ответ “нисходящая”, но это был статус уже другого самолета, которому присвоен номер, используемый на военных кораблях для отслеживания самолетов военно-морского флота. Так что снижался в тот момент на самом деле патрульный самолет США, находившийся на боевом дежурстве далеко от места событий, над поверхностью Оманского залива.

Рис. 3.4

Современные военные дроны (например, стоящий на вооружении ВВС США MQ‐1 Predator) дистанционно управляются человеком. В будущем у подобных дронов есть шанс освободиться от человека в цепи управления.

В этом случае окончательное решение принимал именно человек, включенный в цепь управления, но из-за нехватки времени он был вынужден чрезмерно доверять тому, о чем сообщала автоматизированная система. Пока что высшие должностные лица, ответственные за оборону своих стран, согласны в том, что во всех развернутых системах оружия человек включен в цепь; исключение делается лишь для простых ловушек вроде наземных мин. Но в настоящее время ведется разработка действительно автономного оружия, которое по-настоящему самостоятельно выбирает и атакует цели. В военном отношении перспектива изъять человека из цепей управления очень заманчива, это сразу даст преимущество в скорости: в схватке между полностью автономным дроном, способным реагировать моментально, и вяло реагирующим дроном, подчиняющимся командам человека, сидящего за пультом дистанционного управления на расстоянии в полмира, какой из двух, по-вашему, победит?

Однако бывало и так, что мир висел на волоске, и это большая удача, что в цепи оказался человек. 27 октября 1962 года, во время кризиса из-за размещенных на Кубе ракет, одиннадцать эсминцев ВМС США и авианосец USS Randolph выследили советскую подводную лодку Б‐59 недалеко от Кубы, в международных водах за пределами американской “карантинной” зоны. Они не знали, что температура на борту к тому времени выросла до 45 °C, потому что все аккумуляторные батареи сели и кондиционирование воздуха было прекращено. На грани отравления углекислым газом многие из членов экипажа были без сознания. Подлодка не могла связаться с Москвой уже много дней, и никто на ней не знал, не началась ли уже третья мировая война. Американцы начали сбрасывать небольшие глубинные бомбы, которые, как они потом объясняли Москве, оставались незамеченными советским экипажем, хотя предназначались исключительно для того, чтобы заставить подводную лодку подняться на поверхность. “Думали, все – финиш, – вспоминал один из членов экипажа В. П. Орлов. – Казалось, будто сидишь в железной бочке, по которой колотят кувалдой”[26]26
  Слова капитана второго ранга В. П. Орлова цитируются в русском оригинале по: Астафьева Е. Советский супергерой // Дилетант. 2016. Октябрь (доступно онлайн: http://diletant.media/articles/31508321/) и по: Язов Д. Карибский кризис: 50 лет спустя. М.: Центрполиграф, 2015. С. 344 (фразы “Казалось, будто сидишь в железной бочке, по которой колотят кувалдой” в книге Язова нет). – Прим. перев.


[Закрыть]. А еще американцы не знали, что Б‐59 была вооружена ядерной торпедой, которую им было разрешено использовать без согласования с Москвой. И капитан Савицкий действительно принял решение пустить эту торпеду. Валентин Григорьевич, торпедный офицер, воскликнул: “Мы сейчас по ним шарахнем! Сами погибнем, их потопим всех, но флот не опозорим!”[27]27
  Цит. по: Язов Д. Карибский кризис: 50 лет спустя. Там же. – Прим. перев.


[Закрыть]. К счастью, решение о пуске должно приниматься тремя офицерами, и один из них, Василий Архипов, сказал нет. Очень немногие слышали об Архипове, хотя его решение, возможно, предотвратило третью мировую войну и должно рассматриваться как едва ли не наиболее ценный вклад в современную историю человечества{44}44
  Американская телекомпания PBS сняла фильм The Man Who Saved the World (Человек, который спас мир) об инциденте, в котором Василий Архипов предотвратил советский ядерный удар по Америке: https://www.youtube.com/watch?v=4VPY2SgyG5w


[Закрыть]. Почти полная неизвестность Архипова действует отрезвляюще, и не меньше отрезвляют размышления о том, что могло бы случиться, если бы Б‐59 была автономной, контролируемой искусственным интеллектом подводной лодкой без людей в цепи управления.

Два десятилетия спустя, 9 сентября 1983 года, напряженность в отношениях сверхдержав снова выросла: Советский Союз получил клеймо “империи зла” от президента США Рональда Рейгана после того, как неделей раньше был сбит пассажирский самолет Корейских авиалиний, сбившийся с курса в воздушном пространстве, и в результате погибло 269 человек, в том числе конгрессмен США. На этот раз по советской автоматизированной системе раннего оповещения прошла тревога: США выпустили пять ядерных ракет наземного базирования по Советскому Союзу, и у дежурного офицера Станислава Петрова оставались минуты, чтобы решить, не была ли тревога ложной. Спутник проверили – он работал в штатном режиме, и входящий протокол обязывал Петрова рапортовать о начале ядерного нападения. Но он этого не сделал, поверив внутреннему чувству, говорившему ему, что Соединенные Штаты вряд ли стали бы атаковать всего лишь пятью ракетами, и сообщил командованию, что тревога ложная, хотя никакой уверенности, что это действительно так, у него быть не могло. Позднее стало ясно, что спутник ошибочно принял солнечные блики от облаков за пламя ракетных двигателей{45}45
  Рассказ о том, как Станислав Петров не поверил поступившим предупреждениям о готовящейся ядерной атаке Соединенных Штатов на СССР, лег в основу фильма The Man Who Saved the World (Человек, который спас мир – этот фильм не следует путать с другим, упомянутым в предыдущей сноске, с таким же названием). В 2008 году Петров был приглашен в штаб-квартиру ООН, где получил награду Ассоциации граждан мира: https://www.youtube.com/watch?v=IncSjwWQHMo


[Закрыть]. Хотел бы я знать, что случилось бы, будь на месте Петрова система искусственного интеллекта, которая должным образом отреагировала бы на должным образом поступивший протокол.

Снова гонка вооружений?

Как вы, несомненно, уже догадались, лично у меня создание автономных систем оружия вызывает серьезную озабоченность. Но я пока даже не начал рассказывать вам о главной причине моего беспокойства: конечной точке в гонке вооружений с применением искусственного интеллекта. В июле 2015 года я выразил это беспокойство в открытом письме, написанном вместе со Стюартом Расселом, с содержательными откликами от моих коллег по Институту будущего жизни{46}46
  Открытое письмо от исследователей в области искусственного интеллекта и робототехники о запрете автономного оружия: http://futureoflife.org/open-letter-autonomous-weapons/


[Закрыть]:

АВТОНОМНОЕ ОРУЖИЕ

Открытое письмо специалистов по искусственному интеллекту и робототехнике

Автономное оружие выбирает и поражает цели без вмешательства человека. Это могут быть, например, квадрикоптеры с установленным на них оружием, которые способны разыскивать и уничтожать людей, отвечающих определенным критериям, но отсюда исключаются все крылатые ракеты или дистанционно управляемые дроны, для которых все решения по выбору целей принимаются людьми. Технологии искусственного интеллекта достигли той точки, где создание таких систем практически, а может быть и юридически, осуществимо в течение нескольких лет, не десятилетий, и ставки на них высоки: создание автономного оружия считают третьей революцией в военном деле, после изобретения пороха и атомной бомбы.

В пользу автономного оружия и против него выдвигаются многочисленные аргументы. Например, замена людей на поле боя машинами хороша тем, что ведет к уменьшению числа человеческих жертв у собственника, но плоха тем, что снижает порог, за которым конфликт превращается в военный. Ключевой вопрос для человечества сегодня таков: начать ли глобальную гонку AI-вооружений, или предотвратить ее. Если каждая крупная военная держава подталкивает инженеров к разработкам AI-оружия, то глобальная гонка вооружений практически неизбежна, и конечная точка этой технологической траектории очевидна: автономное оружие станет автоматом Калашникова завтрашнего дня. В отличие от ядерного оружия, для его создания не требуется дорогостоящих или трудно получаемых материалов, поэтому оно превратится в широко распространенный, недорогой и доступный для всех значительных военных держав продукт массового производства. Его появление на черном рынке, а потом и в руках террористов, диктаторов, стремящихся к усилению контроля над населением, полевых командиров, мечтающих о новых этнических чистках, – не более чем вопрос времени. Автономное оружие идеально подходит для таких задач, как политические убийства, организация массовых волнений, подчинение населения и выборочное убийство представителей определенной этнической группы. Поэтому мы считаем, что военная гонка AI-вооружений не принесет добра человечеству. Есть много способов, как с помощью искусственного интеллекта сделать зоны военных конфликтов более безопасными для человека, особенно гражданских лиц, без создания на его основе новых орудий убийства.

Так же, как большинство химиков и биологов не проявляют никакого интереса к созданию химического или биологического оружия, большинство исследователей искусственного интеллекта не заинтересованы в создании AI-оружия и не хотят, чтобы другие порочили сферу их деятельности, производя его, провоцируя граждан на выступления против технологии искусственного интеллекта, что усложнит внедрение более благоприятных для общества способов его использования. Действительно, и биологи и химики всемерно поддержали международные соглашения, запрещающие химическое и биологическое оружие, так же как большинство физиков поддерживали договоры о запрещении ядерного оружия космического базирования и ослепляющего лазерного оружия.

Чтобы от нас было труднее отмахнуться, как от каких-то пацифистски настроенных защитников китов и деревьев, я хотел, чтобы поводы для тревоги, выраженные в нашем письме, поддержали как можно больше ключевых исследователей искусственного интеллекта и инженеров-робототехников. Международная кампания за контроль над использованием роботов в военных целях ранее предварительно собрала несколько сотен подписей от людей, призывающих запретить роботов-убийц, но я чувствовал, что наш результат мог оказаться еще лучше. Я знал, что профессиональные организации не захотят делиться списками адресов электронной почты своих многочисленных сотрудников в целях, которые могут быть истолкованы как политические, поэтому выуживал их имена и названия учреждений из онлайн-документов, а потом получившийся список загрузил в “механического турка” на Amazon, сопроводив его задачей найти адреса электронной почты для каждой записи. У большинства исследователей адрес электронной почты указан на персональной странице веб-сайта университета, так что двадцать четыре часа спустя я, потратив $54, был гордым обладателем списка адресов сотен исследователей искусственного интеллекта, достаточно успешных в своей области, чтобы быть избранными в Ассоциацию по продвижению искусственного интеллекта (AAAI). Одним из них был британо-австралийский профессор искусственного интеллекта Тоби Уолш, который любезно согласился переслать наше письмо по всем остальным адресам в нашем списке и стать знаменосцем в нашей кампании. Невидимые работники “механического турка” по всему миру неустанно составляют дополнительные списки рассылки для Тоби, и прошло немного времени, как уже 3000 исследователей искусственного интеллекта и робототехников подписали наше открытое письмо, в их число вошли шесть бывших президентов AAAI, а также лидеры AI-отрасли из Google, Facebook, Microsoft и Tesla. Армия добровольцев Института будущего жизни неустанно работала над проверкой подлинности подписей, то и дело удаляя фиктивные подписи Билла Клинтона и Сары Коннор. Под письмом поставили свои подписи более 17 000 человек, в том числе и Стивен Хокинг. А после того, как Тоби организовал пресс-конференцию обо всем этом на Объединенной международной конференции по искусственному интеллекту, публикация нашего письма стала одной из важнейших новостей для всего мира.

Из-за того что биологи и химики однажды заняли ясную позицию, их главным делом теперь считается создание полезных лекарств и новых материалов, а не разработка биологического и химического оружия. Сообщества ученых, чьи исследования относятся к разработке искусственного интеллекта и робототехнике, тоже говорили: подписавшие письмо хотят, чтобы предмет их исследований ассоциировался со стремлением к лучшему будущему, а не с созданием новых способов убивать людей. Будет ли искусственный интеллект в будущем использоваться преимущественно в гражданских или в военных целях? Хотя в этой главе больше страниц посвящено первым, может оказаться, что мы скоро потратим больше денег на последние, – особенно если военная гонка AI-оружия наберет обороты. Инвестиционные обязательства на исследование искусственного интеллекта в гражданских целях в 2016 году превысили миллиард долларов, но это ничто по сравнению с бюджетными запросами Пентагона на 2017 фискальный год, где на проекты, связанные с искусственным интеллектом, закладывается 12–15 миллиардов долларов. России и Китаю, вероятно, следует принять к сведению слова заместителя министра обороны США Роберта Уорка: “Я хочу, чтобы наших конкурентов заинтересовало, что скрывается за черным занавесом”{47}47
  В американском правительстве, очевидно, есть люди, стремящиеся развязать гонку AI-вооружений: http://tinyurl.com/workquote


[Закрыть].

Нужно ли международное соглашение?

Хотя в настоящее время явно наметилось общее движение к международным переговорам о поисках формы запрета роботов-убийц, до сих пор неясно, каким он будет и, несмотря на довольно оживленную дискуссию, каким он должен быть. Хотя основные участники согласны, что мировые державы должны выработать какой-то проект международных правил относительно ведения исследований в области автономных систем оружия и относительно его возможного применения, у них гораздо меньше согласия в том, что именно должно быть запрещено и каким образом этот запрет должен обеспечиваться. Например, только ли летальное автономное оружие следует запрещать, или такой запрет должен касаться и тех его видов, которые серьезно угрожают здоровью людей, – скажем, ослепляя их? Запрещать надо разработку, производство или владение? Запрет должен касаться всех видов автономных систем оружия или, как сказано в нашем письме, только наступательных, не распространяясь на оборонительные системы – автономные зенитные орудия и комплексы противоракетной обороны в числе прочего? В последнем случае следует ли автономную систему оружия (АСО) считать оборонительной, даже если она легко выдвигается на вражескую территорию? И как добиваться соблюдения договора, если большинство компонентов автономного оружия допускает двойное использование, включая гражданское? Например, нет большой разницы между дроном, доставляющим бандероли от Amazon, и дроном, доставляющим бомбы.