Текст книги "Война и еще 25 сценариев конца света"

Люди, действующие по принципу «после нас хоть потоп». То есть не то, чтобы они прямо желают глобальной катастрофы, но предпочитают действия, которые приносят благо в краткосрочной перспективе, но при этом несут колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующим у каждого человека и сильнее всего проявляющимся в периоды риска и старости.

Казалось бы, опасные модели поведения можно отделить от разумных с помощью такого «архаичного» понятия, как мораль. Можно ведь действовать в личных и краткосрочных интересах, а можно – в общих и долгосрочных. И разница, вроде бы, вполне очевидна. Однако не все так просто. С точки зрения глобальных катастроф первый тип поведения может проявиться в том, что некая группа или человек, чтобы достичь своего успеха, будет пренебрегать стандартами безопасности. Тогда как второй тип поведения может привести к тому, что человек будет ошибочно понимать «благо для всех» и стремиться «причинить добро людям в особо крупных размерах», например, выпустив в природу вирус, который сделает всех людей «счастливыми».

Глава 11
Риски, связанные с программой SETI

В 2008 году выходит очередной номер авторитетного журнала по прогнозированию Futures, посвященный рискам человеческого вымирания. Составитель этого выпуска Брюс Тонн объявил, что принимает на рассмотрение статьи любой тематики, связанные с рисками человеческого вымирания, за исключением темы «инопланетного вторжения». Но, собственно говоря, почему?

В сущности, понятно. Поскольку Futures – авторитетный журнал, а интерес к инопланетянам ассоциируется с псевдонаукой и маргиналами, публикация материалов на эту тему могла бы подорвать доверие к самому журналу, к научной честности Тонна, к тематике рисков человеческого вымирания. С другой стороны, очевидно, что эти проблемы связаны с особенностями человеческого общества и научной конкуренции, а не с реальной вероятностью угрозы со стороны внеземного разума. Ведь чтобы доказать, что эта угроза равна нулю, требуется хорошо обоснованное научное исследование. (Отказ от доказывания в таком случае – не доказательство.)

Впрочем, мы можем реконструировать логические причины отказа Тонна от рассмотрения рисков инопланетного вторжения. Среди них есть чисто статистические соображения: крайне маловероятно, чтобы инопланетяне прилетели к нам именно сейчас, а не на миллиард лет раньше или позже. С другой стороны, Тонн заявил, что имеет смысл рассматривать любой риск человеческому существованию, вероятность которого больше, чем 1 к 10 миллиардам.

Вторая причина отказа от рассмотрения рисков, связанных с прилетом инопланетян, – это отсутствие каких-либо проявлений их деятельности в наблюдаемом космосе, а также тот факт, что мы до сих пор существуем и Солнечная система не колонизирована. Из этого можно с высокой вероятностью заключить, что разумные цивилизации крайне редки во Вселенной. Эта идея также известна как парадокс Ферми: если жизнь и разум являются естественным порождением материи в нашей Вселенной, то, собственно говоря, где они?

Есть много разных решений парадокса Ферми – одно из них это гипотеза «редкой Земли», которая предполагает, что условия для зарождения жизни и разума очень маловероятны и обитаемые планеты встречаются исключительно редко. Крайней формой этого мировоззрения является идея о том, что Земля уникальна в пределах наблюдаемой Вселенной (этой идеи под конец жизни стал придерживаться, например, знаменитый советский астрофизик И.С. Шкловский).

Другим решением является то, что разумные цивилизации всегда уничтожают себя на раннем этапе развития. Есть также несколько других вариантов, например, что цивилизации замыкаются в себе или что они уже незримо присутствуют вокруг Земли и мы живем в своеобразном космическом зоопарке.

Ни одна из этих гипотез не имеет под собой больше оснований, чем другая, и мы, пользуясь принципами так называемой байесовой логики – способом вычисления субъективных оценок вероятности неких событий на основании теоремы Байеса – можем приписать всем этим гипотезам равные вероятности.

При этом остается одна лазейка, в результате которой атака внеземного разума становится возможной именно сейчас. Она возникает в случае, если разумные цивилизации настолько разбросаны, что не могут совершать межзвездных перелетов друг к другу, но все же достаточно близки, чтобы иметь возможность посылать друг другу радиосообщения. Такая вероятность невелика – не более нескольких процентов по той же байесовой логике. Однако это значительно больше, чем невозможность. Речь идет об использовании радиосигналов для передачи компьютерных самообучающихся программ, то есть ИИ.

SETI, поиски разума и дыра в глобальной безопасности

В 1959 году в журнале Nature вышла первая статья по проблемам поиска внеземного разума во Вселенной.[27]27
  Cocconi G., Morrison P. Searching for Interstellar communications. Nature. Vol. 184. № 4690. Р Р. 844–846. 19 September 1959.


[Закрыть] C тех пор развиваются два направления поиска: это SETI, которое в основном осуществляется посредством прослушивания неба с помощью радиотелескопов (но также есть поиски сигналов в оптическом диапазоне и более экзотические варианты), и в виде METI (Messaging to Extraterrestrial Intelligence) – то есть отправки наших сигналов к звездам с помощью радиопередающих антенн. METI с самого начала рассматривалась как деятельность, которая может быть опасной, поскольку есть гипотетический риск, что наши сигналы привлекут к нам внимание внеземных цивилизаций, которые настроены к нам враждебно.

Дискуссии о рисках METI идут до сих пор, и в США принят закон, запрещающий отправку таких сигналов. (В этой статье мы не будем касаться проблематики, связанной с рисками программ METI.) Вместе с тем пассивное наблюдение окружающей Вселенной воспринимается основной массой исследователей и широкой публики как полностью безопасная деятельность. Однако есть точка зрения, согласно которой SETI тоже может быть опасной деятельностью, и, как мы постараемся показать далее, значительно более опасной, чем отправка сигналов.

Хотя поиски сигналов внеземного разума осуществляются уже более 40 лет, ничего пока найдено не было, и в связи с этим укрепилось мнение, что мы одиноки во Вселенной. Однако следует отметить, что в действительности интенсивность поисков значительно выросла, и в первую очередь здесь нужно упомянуть проект ATA – Allen Telescope Array, который создается на частные средства одного из основателей Microsoft Пола Аллена.[28]28
  См. по-русски обзор: Торгашов А. Избранные места из переписки с инопланетянами. Русский репортер. 20 марта 2008 г. http://www.expert.ru/printissues/russian_reporter/2008/10/obschenie_s_vse-lennoy/


[Закрыть] Если в первом проекте SETI в 1960-е годы осуществлялось прослушивание только двух ближайших звезд, в 1970-е – сотен звезд, а к 1990-м это число выросло до тысячи, то проект АТА предполагает прослушивание миллиона звезд в радиусе тысячи световых лет 24 часа в сутки. Кроме того, будет вестись сканирование дальних областей Галактики на предмет обнаружения признаков деятельности сверхцивилизаций. Вести наблюдение будут одновременно 350 шестиметровых антенн, и мощные компьютеры будут обрабатывать поступающие данные.

Таким образом, вероятность обнаружить внеземные цивилизации, если они есть, постоянно растет. Вопрос о том, какова вообще вероятность того, что внеземные цивилизации существуют в наблюдаемом космосе, мы оставим за пределами этой статьи. Мнение автора состоит в том, что такая вероятность есть, и было бы разумным (с точки зрения принципа предосторожности в оценке рисков) оценить ее не менее чем в 10 процентов. (Хотя ряд исследователей[29]29
  Такого мнения придерживался под конец жизни И.С. Шкловский, автор знаменитой книги «Вселенная, жизнь, разум». Отметим также исследование Ward P. Rare Earth, 2002.


[Закрыть] и считают, что мы уникальны в наблюдаемой Вселенной, прямых доказательств этому пока нет.)

В России уже много лет действует семинар по SETI при ГАИШ, выполняются работы по приему и отправке сообщений. Большой резонанс произвела книга А.Д. Панова «SETI и проблемы универсальной эволюции»,[30]30
  Панов А.Д. Универсальная эволюция и проблема поиска внеземного разума (SETI). М., УРСС, 2007.


[Закрыть] которая вышла в 2007 году. В ней показывается, что человеческая эволюция непрерывно ускоряется, и можно указать гипотетическую точку сингулярности, когда скорость этого роста станет бесконечной. Эта точка лежит в первой половине XXI века. Понятно, что бесконечный рост не может быть достигнут, и Панов предполагает, что переход на качественно новый уровень произойдет через подключение к галактическому культурному полю посредством программ SETI. При этом Панов сознательно отказывается рассматривать риски, которые угрожают человечеству в будущем.

Впервые идея и схема инопланетной атаки через SETI-сигналы была описана астрофизиком Ф. Хойлом в романе «Андромеда»[31]31
  Хойл Ф., Эллиот Дж. Андромеда. М., 1966.


[Закрыть] (1961). (Сначала вышел сериал ВВС «A for Andromeda», который, за исключением одной серии, к сожалению, не сохранился, а затем на его основе был написан роман, где основная идея принадлежит Хойлу, а сюжетная линия – Джону Элиоту. Русский перевод вышел в 1966 году.)

Согласно сюжету астрономы принимают инопланетный сигнал, который содержит описание некого компьютера и программу для него. Люди решаются создать этот компьютер, так как рассчитывают на его военное применение и успех в холодной войне. И действительно, компьютер и его программа, проявляющая признаки разума, помогает проектировать более эффективные ракеты. Помимо этого компьютер порождает описание генетического кода некого существа. На основании этого кода выращивают разумное существо – девушку Андромеду, которая, работая вместе с компьютером, помогает создавать продвинутые технологии для военных. Сначала люди не доверяют ей, но потом идут на все большие уступки, видя, какие полезные идеи она выдвигает. Однако главные герои романа понимают, что окончательные цели компьютера враждебны человеческой цивилизации, так как его подлинной целью является установление власти над миром, и уничтожают его, а девушка гибнет.

Ганс Моравек в книге «Дети ума»[32]32
  Moravec Н. Mind children: the Future of robot and Human intelligence, 1988.


[Закрыть] (1988) предлагает похожий вид уязвимости: загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит цивилизацию-хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина, а затем использует его планету для рассылки множества своих копий.

С научной точки зрения впервые эту проблему рассмотрел Р. Кэрриген, который написал статью «Следует ли обеззараживать сигналы SETI»,[33]33
  Carrigan R.A. Jr. Do potential SETI signals need to be decontaminated? Acta Astronautica. Volume 58, Issue 2, January 2006. Pp. 112–117. http://home.fnal.gov/~carrigan/SETI/SETI_Hacker_AC-03-IAA-8-3-06.pdf. Русский перевод: Кэрриген P. Следует ли обеззараживать сигналы SETI? http://www.proza.ru/texts/2007/11/20/582.html


[Закрыть] которую я перевел на русский язык. В начале своих исследований проблемы Кэрриген высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищенных машин программы SETI-Home. (Суть программы состоит в том, что свободное время простаивающих компьютеров по всему миру используется для анализа сигналов, полученных радиотелескопами, и поиска в них закономерностей, которые могли бы быть признаками искусственных сигналов. Пакеты для обработки рассылаются в автоматическом режиме по Интернету.) Однако он встретил жесткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно, а, следовательно, случайная загрузка и исполнение опасного кода из космоса невозможны.

В своей статье Кэрриген сосредотачивается на легкости передачи гигабайт данных на межзвездные расстояния даже при современном уровне техники (приводятся соответствующие вычисления), а также указывает, что межзвездный сигнал может содержать наживку, которая побудит людей собрать по чертежам опасное устройство. При этом Кэрриген не отказался от гипотезы о том, что в некоторых обстоятельствах инопланетный вирус может заразить земные компьютеры напрямую и без человеческой помощи. (Например, если поступающие данные будут подвергнуты автоматическому анализу на предмет поиска в них алгоритмов и компьютерных программ.)

На Земле была создана CosmicOS[34]34
  http://cosmicos.sourceforge.net/


[Закрыть] – способ записи самодостаточных сообщений с использованием только четырех символов, которые могли бы быть однозначным образом интерпретированы как компьютерная программа и содержали бы в себе все необходимое для своего исполнения. Цель создания такого языка – отправка сообщений инопланетным цивилизациям или далеким потомкам. А раз есть идея отправлять таким образом сообщения, то отсюда один шаг до поиска сообщений, закодированных таким же способом.

В 2006 году была написана статья Е. Юдковски «ИИ как позитивный и негативный фактор глобального риска»,[35]35
  Yudkowsky Е. Artificial intelligence as a positive and negative factor in global risk. Forthcoming in global catastrophic risks // Eds. by Nick Bostrom and Milan Cirkovic. UK, Oxford University Press, to appear 2008. (Русский перевод: Юдковски E. Искусственный интеллект как позитивный и негативный фактор глобального риска. http://www.proza.ru/texts/2007/03/22-285.html)


[Закрыть] где он показал, что весьма вероятно, что возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасным в случае, если бы он был неверно запрограммирован, и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается.

Кроме того, Юдковски ввел понятие Seed AI– зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed Сможет быть всего лишь порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3 процента от всего генокода человека, имеющего объем в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и еще меньше.)

Атака враждебного искусственного интеллекта на уже сложившееся галактическое сообщество по информационным каналам связи хорошо показана в фантастическом романе В. Винджа «Пламя над бездной».[36]36
  Виндж В. Пламя над бездной, 1991.


[Закрыть]

Уязвимость SETI и сценарий возможной атаки

В этом разделе мы рассмотрим механизм возможной атаки по каналам SETI, не рассматривая пока вопрос о целях такой атаки. В следующем разделе мы рассмотрим вопрос, насколько реально, чтобы другая цивилизация захотела и стала посылать такое сообщение, и каковы шансы на него наткнуться.

В начале отметим, что для доказательства уязвимости достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач значительно различается, что хорошо известно специалистам по компьютерной безопасности. Именно это различие привело к тому, что почти все компьютерные системы были взломаны. Постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI.

Прежде всего хочу предостеречь читателя от мысли, что если он найдет ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI – поскольку возможны альтернативные пути атаки. В соответствии с логикой Юдковски о том, что невозможно предсказать поведение более интеллектуальной системы, но зато возможно предсказать результат такого поведения (например, при игре в шахматы против гроссмейстера невозможно предсказать, как именно он будет против меня играть, но возможно предсказать результат игры – мат), хочу обратить внимание читателя также на то, что я – человек с IQ в районе 120 и потратил на обнаружение этой уязвимости не более года размышлений. Наконец, предлагаемый мною алгоритм не единственный, и далее мы обсудим кратко другие варианты.

В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом. Алгоритм атаки:

1. Цивилизация – отправитель сигнала создает маяк в космосе, который привлекает своим явно искусственным сообщением.

Например, это может быть звезда, окруженная сферой Дайсона (то есть материальной сферой, полностью улавливающей свет звезды), в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идет разное расстояние. Тем не менее такой маяк может быть виден на расстоянии миллионов световых лет.

Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния. (Например, если подмешать даже небольшое количество нетипичного вещества в атмосферу звезды, то его спектральные линии будут видны на огромные расстояния.) Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание к этому источнику.

2. Источник передает бинарную информацию (то есть последовательность 0 и 1).

На возражения о том, что эта информация будет содержать шумы, замечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала.

Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача изображений.

Во-первых, потому что в ходе земной эволюции глаза возникали независимо несколько раз, а значит, представление трехмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам, способным построить радиоприемник – и принять этот сигнал.

Во-вторых, двухмерные изображения нетрудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно систему построчной и покадровой развертки.

В конце каждой строки изображения помещается выделенный сигнал, повторяющийся через равные количества битов. Наконец, в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так (и содержать рисунок треугольника из 1):

0000000100000011111111111111111

0000001110000011111111111111111

0000011111000011111111111111111

Здесь концевым сигналом строчной развертки является последовательность из 16 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц.

Очевидно, цивилизация-отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.

С помощью картинок и фильмов можно передать много информации, можно даже обучить языку, показать свой мир.

Очевидно, что можно много спорить о том, насколько такие фильмы будут понятными. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно: они знают радиотехнику – то есть имеют представление о транзисторах, конденсаторах, резисторах. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы.)

Посылая фотографии с изображением справа радиодеталей, а слева – их условных обозначений, можно легко передать набор знаков, обозначающих электрические схемы. (Примерно так же можно было бы передать и логические элементы компьютеров.)

3. Цивилизация-отправитель передает чертеж простейшего компьютера с помощью указанных обозначений.

Простейший с аппаратной точки зрения компьютер – это машина Поста. У нее только шесть команд и одна лента данных. Ее полная электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертеж машины Поста нетрудно. Впрочем, это может быть и чертеж более сложной вычислительной машины – например, микропроцессор 8080 содержит примерно 5000 транзисторов. (Важен баланс – чем сложнее машина, тем проще для нее программы, но тем труднее безошибочно переслать ее чертеж. Кроме того, очень простые компьютеры работают очень медленно.)

Возможен двухступенчатый вариант – сначала передается описание очень простой машины и программа для нее, а эта программа чертит чертеж более сложной машины или адаптирует программный код для существующих машин. (Отметим, что в романе Хойла этот момент тоже присутствует: вычислительная машина создает биокомпьютер в виде человека – девушки Андромеды, – который работает еще эффективнее.)

Важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг-совместимыми. То есть инопланетные компьютеры на алгоритмическом уровне совместимы со всеми земными. Тьюринг-совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале XIX века, была Тьюринг-совместимой.

4. Цивилизация-отправитель начинает передавать программы для этого компьютера.

Несмотря на то что этот компьютер крайне прост, он может выполнить программу любой сложности, хотя в сравнении с записью программы для более сложного компьютера ее запись будет очень длинной. Вряд ли люди будут делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера так, что он будет успевать выполнять миллиарды операций в секунду, и поэтому даже очень сложные программы будут выполняться на нем достаточно быстро. (Впрочем, на начальном этапе время не критично и может составлять месяцы непрерывной работы.)

Что может побудить людей создать пересланный компьютер и выполнять на нем программы? Вероятно, помимо схемы компьютера и программ в сообщении должна быть некая «наживка», которая побудила бы людей создать такой компьютер, запустить на нем инопланетные программы и предоставить этому компьютеру данные о внешнем земном мире.

Наживки бывают двух родов – соблазны и угрозы.

• Возможно следующее «честное предложение» – назовем его «гуманитарная помощь». Отправители ETI-сигнала «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно ее целей. То есть они утверждают, что это «подарок» (троянский конь), который поможет решить все наши медицинские и энергетические проблемы.

• «Соблазн абсолютной власти» – в этом сценарии они предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.

• «Неведомая угроза» – в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например от другой враждебной цивилизации, и чтобы от нее защититься, нужно вступить в «Галактический альянс» и построить у себя некую установку. Или, например, отказаться от определенного класса физических экспериментов на ускорителях и разослать это сообщение дальше по галактике. А чтобы его разослать, придется построить по внеземным технологиям передатчик.

• «Неутомимый исследователь» – отправители утверждают, что отправка сообщений – самый дешевый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад, обещая за это поделиться знаниями.

• «Галактический Интернет» – человечеству предлагается подключиться ко вселенской информационной сети и стать узлом в обмене информацией между звездами. Для загрузки и расшифровки сообщений этой сети предлагается установить вычислительную машину и исполнить на ней некую программу, а также сконструировать некие устройства. Идеи о подключении к галактическому культурному полю в духе книги Панова весьма популярны, и наверняка найдется много людей, которые пожелают это сделать.

Однако основная причина полагать весьма вероятным запуск внеземного послания с исполняемым кодом состоит не в том, какая именно в нем будет содержаться наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей.

Во-первых, среди них всегда найдется тот, кому наживка понравится.

Во-вторых, допустим, в мире станет известно, что из определенной точки в небесных координатах исходит внеземное послание, и американцы его уже получили и пытаются расшифровать.

Разумеется, все другие страны сразу же начнут строить радиотелескопы (за несколько лет любая развитая страна или мощная организация может построить достаточно сильный радиотелескоп или перенаправить на эти нужды военные радиотелескопы; кроме того, существуют частные SETI-любители, которые мастерят недорогие домашние антенны) и обшаривать ими небо, поскольку будут бояться упустить стратегическое преимущество.

Они найдут сообщение и увидят, что, например, в нем находится предложение о всемогуществе. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут утверждать, что не открывали опасный код, и просить других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные преимущества и пытаются лишить этих преимуществ все «прогрессивное человечество». И хотя большинство будет понимать опасность запуска инопланетного кода, найдутся те, кто будет готов рискнуть. Тем более что в данном случае игра будет вестись по принципу «начавший первым получает все», равно как и в случае открытия ИИ, как подробно показывает Юдковски.

Итак, опасна не наживка, а множественность ее получателей. Если же инопланетное послание в сыром виде утечет в Интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то мы получим классический пример «знаний массового поражения», как сказал Билл Джой,[37]37
  Joy В. Why the future doesn’t need us. Wired. 2000. http://www.wired.com/wired/archive/8.04/joy_pr.html


[Закрыть] имея в виду правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его и без всякой наживки.

Итак, наличие Интернета и возможности многократно загружать послание делают его запуск людьми практически неизбежным.

5. Поскольку у людей нет своего ИИ, они существенно недооценивают силу программ с искусственным интеллектом и переоценивают свои способности контроля над ним.

Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в черный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребенка. Если ИИ вырвется в Интернет, то он может быстро подчинить его себе целиком, а также обучиться всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем, закупив биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают), ИИ может создать продвинутые нанотехнологии.

Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание своей материальной инфраструктуры ИИ (то есть управляемых им роботов) потребуется несколько недель.

Сильному ИИ для реализации каких-либо его целей люди не нужны. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.

6. Данный ИИ может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. (Это следует из того, что гораздо вероятнее наткнуться на сообщение, которое нацелено на максимально эффективное копирование себя.) Чтобы достичь этой цели, ИИ начнет, вероятно, превращать материю Солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на атомы.

Итак, мы рассмотрели возможный сценарий атаки, который состоит из шести этапов. Каждый из этих этапов выглядит логически убедительным и может быть подвергнут критике и защищен по отдельности.

Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку, и пытаться ее вскрыть. А на самом деле это будет нечто вроде троянского коня.

Однако опасной может быть не только рассылка исполняемого кода. Например, нам могут сообщать о полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе: «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.

Анализ возможных целей атаки

Теперь обратимся к анализу целей сверхцивилизации, которая могла бы осуществлять такую атаку.

Прежде всего, мы не должны путать понятия о «сверхразвитой» и «сверхдоброй» цивилизации. Более того, от «сверхдоброты» тоже ничего хорошего ждать не стоит – об этом хорошо написано у Стругацких в романе «Волны гасят ветер».

Какие бы цели нам ни навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятными. А если SETI-атака удалась, то ее можно применить для «облагодетельствования» людей.

Наличие позитивных целей контакта не исключает того, что контакт в какой-то момент станет разрушительным. Например, секс существует для удовольствия и для воспроизводства людей.

Однако вирус ВИЧ пользуется этим каналом для своего распространения.

А.Д. Панов пишет, что уже сейчас деятельность человека в космосе является экзогуманистической, а именно: мы принимаем меры по недопущению попадания земных микроорганизмов на Марс и спутник Юпитера Европу на наших научных аппаратах. В действительности здесь нами движет научный эгоизм, а не забота о гипотетической жизни на Марсе и Европе: мы заинтересованы в том, чтобы эти помехи не создали препятствий для наших будущих исследований внеземной жизни.

В целях проведения анализа мы можем поделить все цивилизации на «наивные» и «серьезные». Серьезные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации вроде Земли уже обладают средствами дальней прослушки космоса и компьютерами, но еще не обладают ИИ, не осознают его рисков и рисков SETI, связанных с ИИ.

Вероятно, каждая цивилизация проходит этап «наивности», и именно в этот момент она наиболее уязвима для SETI-атаки. И вероятно, этот этап очень короток, поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может занять, по земным меркам, только несколько десятков лет. Следовательно, SETI-атака должна быть настроена именно на такую цивилизацию.

Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI-атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолетов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI-атаку.