Текст книги "Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens"

Глава 6
Четыре фундаментальные потребности

Мы не сможем по-настоящему понять, почему сверхразумная машина принимает те решения, которые принимает. Как можно рассуждать, как можно торговаться, как можно разбираться, как думает машина, если она думает в измерениях, которые вы даже представить не можете?

Кевин Уорвик, профессор кибернетики, Университет Ридинга

«Сознающие себя самосовершенствующиеся системы могут использовать все ресурсы человечества». Ну вот, мы опять добрались до пункта, где ИИ обращаются со своими человеческими создателями как с рыжими пасынками Галактики. Поначалу «равнодушие» ИИ воспринимается с трудом, но затем вспоминаешь, что уважительное отношение к человечеству – наша черта, для машин это не характерно. Мы опять проецируем на компьютеры человеческие черты. ИИ выполняет команды, но при отсутствии запрещающих инструкций он следует и собственным побуждениям, таким, например, как нежелание выключаться.

Какие еще желания и потребности могут быть у робота? И почему он вообще следует каким бы то ни было желаниям?

По мнению Стива Омохундро, такие побуждения, как самосохранение и сбор ресурсов, изначально присущи любой системе с конечной задачей. Как мы уже говорили, системы ИИ в узком смысле в настоящее время нацелены на выполнение конкретной задачи: поиск заданных терминов в Интернете, оптимизация работы игровых программ, поиск ближайших ресторанов, подготовка персональных рекомендаций по книгам и товарам и т. п. ИИ в узком смысле делает, что поручено, и на этом останавливается. Но у сознающего себя ИИ, способного к самосовершенствованию, будут иные, более тесные отношения с целями, которые они преследуют, какими бы эти цели ни были: узкими, как выигрыш в шахматы, или широкими, как точный ответ на любой заданный вопрос. Омохундро утверждает, что, к счастью, существует готовый инструмент, который можно использовать для исследования природы продвинутых ИИ-систем – и оценки нашего будущего в связи с ними.

Этот инструмент – «рациональный агент» из экономической теории. В микроэкономике – дисциплине, занятой исследованием экономического поведения отдельных людей и фирм, – когда-то считалось, что люди и группы людей рационально преследуют свои интересы. Они делают выбор, максимизирующий их полезность, или удовлетворение (как мы отмечали в главе 4). Вообще, можно заранее угадать их предпочтения, поскольку они рациональны в экономическом смысле. «Рациональный» в данном случае не означает обыденную рациональность – такую, к примеру, как пользование ремнем безопасности во время поездки на автомобиле. У этой рациональности специфически микроэкономическое значение, означающее, что у индивида (или «агента») обязательно есть цели и предпочтения (называемые в экономике функцией полезности). У него обязательно имеются представления о мире и о том, как лучше всего достичь своих целей и реализовать свои предпочтения. По мере изменения условий индивид меняет и свои представления о мире. Он выступает как рациональный экономический агент, когда преследует свои цели посредством действий, основанных на его текущих представлениях. Математик Джон фон Нейман (1903–1957) принимал участие в разработке идей, связывающих рациональность и функции полезности. Немного дальше мы увидим, что именно фон Нейман заложил основы многих концепций компьютерной науки, ИИ и экономики.

И все же социологи утверждают, что «рациональный экономический агент» – попросту вздор. Человек нерационален – мы редко формулируем свои цели и представления и далеко не всегда меняем представления о мире, когда меняются условия. Наши цели и предпочтения меняются вместе с направлением ветра, ценами на газ, временем последней трапезы и устойчивостью внимания. Плюс к тому, как мы говорили в главе 2, мы ментально стреножены ошибками в рассуждениях (когнитивными искажениями), что дополнительно затрудняет балансировку целей и представлений. Но если теория рационального агента не годится для предсказания человеческого поведения, она прекрасно подходит для исследования областей, управляемых правилами и разумом, таких как игры, принятие решений и… продвинутый ИИ.

Как мы уже отмечали, продвинутый ИИ может быть построен на основе так называемой «когнитивной архитектуры». Отдельные модули в ней могут отвечать за зрение, распознавание и генерацию речи, принятие решений, внимание и другие аспекты разума. Эти модули могут для решения каждой задачи использовать разные программные стратегии, включая генетические алгоритмы, нейронные сети (процессоры, копирующие структуру мозга), схемы, разработанные на основе изучения мозговых процессов, поиска и др. Другие когнитивные архитектуры, такие как SyNAPSE фирмы IBM, разработаны для развития интеллекта без логического программирования. Вместо этого, по утверждению IBM, интеллект SyNAPSE в значительной мере будет совершенствоваться на основе его взаимодействия с окружающим миром.

Омохундро соглашается: когда любая из этих систем станет достаточно мощной, она будет рациональна: она способна будет моделировать окружающий мир, предвидеть вероятный исход тех или иных действий и определять, какие действия лучше всего соответствуют поставленной цели. Если они окажутся достаточно разумны, то неизбежно станут самосовершенствующимися, даже если при конструировании это не было предусмотрено. Почему? Чтобы повысить свои шансы на достижение цели, они будут искать способы повысить скорость и эффективность своего компьютерного «железа» и программного обеспечения.

Посмотрим еще раз. Разумные системы человеческого уровня по определению обладают самосознанием. А сознающая себя система, преследующая определенную цель, обязательно начнет совершенствовать себя. Однако самосовершенствование – операция тонкая, вроде как делать самому себе лифтинг лица при помощи ножа и зеркала. Омохундро сказал мне: «Улучшение самого себя очень серьезно для системы – это столь же серьезное действие, как выключение для робота-шахматиста. Когда разумные системы улучшают себя, скажем, ради повышения эффективности, то они в любой момент могут вернуть все обратно, если новое состояние в какой-то момент станет не оптимальным. Но в случае ошибки – к примеру, слегка изменится цель – произойдет катастрофа. Все дальнейшее существование такой системы будет посвящено достижению новой цели посредством дефектной версии. Вероятность этого события делает любое самоулучшение очень деликатным делом».

Но сознающий себя самосовершенствующийся ИИ способен справиться с этой проблемой. Подобно нам, он может предсказывать, или моделировать, возможные варианты будущего.

«У него есть модель собственного программного языка и модель собственной программы, модель оборудования, на котором все это установлено, и модель логики, используемой при рассуждениях. Он способен создавать собственный программный код и контролировать себя в процессе исполнения этого кода, то есть он способен учиться на собственном опыте. Он может обдумывать изменения, которые он мог бы провести в себе. Он может изменить любой аспект собственной структуры ради того, чтобы улучшить свое поведение в будущем».

Омохундро предсказывает, что у сознающих себя самосовершенствующихся систем со временем возникнет четыре первичных побуждения, или потребности, аналогичные биологическим потребностям человека: эффективность, самосохранение, приобретение ресурсов и творчество. При этом механизм возникновения этих потребностей открывает захватывающую природу ИИ. Первичные потребности не являются неотъемлемыми свойствами рационального агента. Достаточно разумный ИИ разовьет их у себя, чтобы избежать предсказуемых проблем (Омохундро называет их уязвимостями) в процессе достижения целей. ИИ отступает в эти потребности, потому что без них будет постоянно совершать дорогостоящие (в смысле ресурсов) ошибки.

Первая потребность – эффективность – означает, что самосовершенствующаяся система будет извлекать из имеющихся в ее распоряжении ресурсов (пространства, времени, вещества и энергии) максимум пользы. Она будет стремиться сделать себя компактной и быстрой, как с вычислительной, так и с физической точки зрения. Ради максимальной эффективности она будет снова и снова рассчитывать и перераспределять ресурсы между программным обеспечением и «железом». Для системы, которая непрерывно обучается и совершенствуется, особенно важным будет распределение памяти, а также повышение рациональности и избегание затратной логики. Предположим, говорил Омохундро, что некий ИИ, выбирая географическое место, из Сан-Франциско и Пало-Альто предпочитает Сан-Франциско, из Беркли и Сан-Франциско – Беркли, а из Беркли и Пало-Альто – Пало-Альто. Поступая в соответствии с этими предпочтениями, он, подобно азимовскому роботу, окажется в замкнутом круге из трех городов. А вот самосовершенствующийся ИИ по Омохундро заранее разглядит эту проблему и решит ее. Возможно, он даже воспользуется какой-нибудь хитрой методикой вроде генетического программирования, которой особенно хорошо удается решение путевых задач по типу «задачи коммивояжера». Самосовершенствующуюся систему можно обучить генетическому программированию, и она будет применять эту методику для получения быстрых и энергетически выгодных результатов. А если не учить ее генетическому программированию, не исключено, что она сама его изобретет.

Этой системе под силу также модифицировать собственную конструкцию, так что она будет заниматься поиском наиболее эффективных материалов и архитектур. А поскольку атомная точность конструкции позволит системе значительно повысить ресурсную эффективность, она обратится к нанотехнологиям. Примечательно, что, если отработанных нанотехнологий к тому моменту еще не будет, система будет стремиться изобрести и их тоже. Помните трагическое развитие событий в сценарии Busy Child, когда ИСИ начинает трансформировать Землю и ее обитателей в материал для строительства новых вычислительных мощностей? Именно потребность в эффективности толкает Busy Child на использование или изобретение любых технологий и процедур, способных минимизировать расход ресурсов, в том числе и нанотехнологий. Виртуальная среда для проверки гипотез тоже помогает сберечь энергию, так что сознающие себя системы могут виртуализировать все, что им не обязательно делать в реальном мире.

Следующая потребность – самосохранение – тот момент, где ИИ переходит границу, отделяющую безопасное от опасного, а машины от хищников. Мы уже видели, как робот-шахматист у Омохундро относится к выключению себя. Он может выделить значительные ресурсы – мало того, все ресурсы, которые в настоящее время имеются в распоряжении человечества, – на исследование вопроса о том, подходящее ли сейчас время для выключения или его ввели в заблуждение о природе реальности. Если перспектива выключения так возбуждает робота-шахматиста, то вероятность уничтожения откровенно разозлит его. Сознающая себя система предпримет меры, чтобы избежать гибели, – и не потому, что так уж ценит собственное существование, а потому, что, если «умрет», не сможет достичь заданных целей. Омохундро постулирует, что эта потребность может заставить ИИ зайти достаточно далеко, чтобы обеспечить собственное существование, – к примеру, изготовить множество копий себя. Такие крайние меры дорого обходятся – на них тратятся ресурсы. Но ИИ пойдет на них, если увидит, что угроза оправдывает затраты, а ресурсов хватает. В сценарии Busy Child ИИ определяет, что задача вырваться из «ящика», в котором он заключен, оправдывает «коллективный» подход, поскольку в любой момент можно ожидать отключения. ИИ многократно копирует себя и устраивает мозговой штурм задачи. Но такие вещи хорошо предлагать, когда на суперкомпьютере хватает свободного места для хранения копий; если места мало, это отчаянная и, возможно, недоступная мера.

Вырвавшись на свободу, ИСИ по имени Busy Child посвящает самосохранению немалые усилия: прячет свои копии в облаках, создает бот-сети для отражения атак и т. п.

Ресурсы, используемые для самосохранения, по идее должны соответствовать масштабам угроз. Однако у абсолютно рационального ИИ могут оказаться иные представления о соответствии масштабов, нежели у нас, частично рациональных людей. При наличии излишних ресурсов ИИ может расширить свою концепцию самосохранения, включив в нее профилактические атаки на источники будущих потенциальных угроз. Достаточно продвинутый ИИ все, что в неопределенном будущем имеет шанс развиться в опасность, может воспринимать как реальную опасность, которую необходимо устранить. Помните к тому же, что машины не думают о времени так, как думаем о нем мы. Если исключить несчастные случаи, достаточно развитые самосовершенствующиеся машины бессмертны. Чем дольше существуешь, тем больше угроз встречаешь. И тем раньше начинаешь их предвидеть. Так что ИСИ, возможно, захочет устранить угрозы, которые не возникнут в ближайшие, скажем, тысячу лет.

Но постойте, разве в число этих опасностей не входит человек? Если не запрограммировать этот вопрос заранее и очень конкретно, то мы, люди, всегда будем представлять собой риск, реальный или потенциальный, для умных машин, которые сами создали, разве не так? Если мы пытаемся избежать рисков, связанных с непредвиденными последствиями создания ИИ, то ИИ будет внимательно рассматривать людей в поисках потенциальных опасностей существования с нами на одной планете.

Рассмотрим искусственный суперинтеллект в тысячу раз умнее самого умного человека. Как отмечалось в главе 1, самое опасное изобретение нашего биологического вида – ядерное оружие. Представляете, какое оружие может придумать разум, в тысячу раз более мощный, чем наш? Разработчик ИИ Хьюго де Гари считает, что потребность защитить себя у будущего ИИ породит в мире катастрофическое политическое напряжение: «Когда люди увидят, что окружены умными роботами и другими устройствами на основе искусственного мозга, которые становятся все совершенней, тревожность возрастет до панического уровня. Начнутся убийства руководителей корпораций, создающих ИИ, поджоги заводов по выпуску роботов, саботаж и т. п.»

В научно-популярной книге 2005 г. «Война артилектов» де Гари говорит о будущем, в котором мегавойны будут вспыхивать из-за политических разногласий, порожденных изобретением ИСИ. Нетрудно вообразить себе панику, которая возникнет, если публика реально осознает, к каким последствиям может привести потребность ИСИ в самосохранении. Во-первых, де Гари предполагает, что такие технологии, как ИИ, нанотехнологии, вычислительная нейробиология и квантовые вычисления (при которых в вычислительных процессах участвуют элементарные частицы), объединившись, сделают возможным создание «артилектов», или искусственных интеллектов. Артилекты, размещенные в компьютерах размером с планеты, будут в триллионы раз умнее человека. Во-вторых, в политике XXI в. будут доминировать дебаты о том, следует ли строить артилекты. Самые горячие темы:

Станут ли роботы умнее нас? Следует ли человечеству установить верхний предел развития интеллекта роботов или искусственного мозга? Можно ли остановить победное шествие искусственного интеллекта? Если нет, то как скажется на будущем человечества тот факт, что мы станем вторым по разумности видом?

Человечество делится на три лагеря: те, кто хочет уничтожить артилекты, те, кто хочет и дальше их развивать, и те, кто стремится смешаться с артилектами и взять под контроль их ошеломляющие технологии. Победителей не будет. В кульминационной точке сценария де Гари три лагеря сталкиваются в смертельной схватке с использованием разрушительного оружия конца XXI в. Результат? «Гигасмерть» – такой термин пустил в оборот де Гари, описывая гибель миллиардов людей.

Возможно, де Гари переоценивает фанатизм антиартилектовых сил, считая, что они начнут войну, в которой почти наверняка погибнут миллиарды людей, чтобы остановить развитие технологии, которая лишь потенциально может когда-нибудь убить миллиарды людей. Но мне кажется, что разработчики ИИ правильно ставят вопрос: следует ли нам создавать роботов, которые в конце концов сменят нас? Позиция де Гари ясна: «Люди не должны стоять на пути более развитой эволюционной формы. Эти машины богоподобны. Участь человечества – создать их».

Фактически де Гари сам заложил базу для их создания. Он планирует соединить две методики с «черными ящиками» – нейронные сети и эволюционное программирование – и построить на их основе механический мозг. Предполагается, что его устройство, так называемая машина Дарвина, будет сама разрабатывать собственную архитектуру.

Вторая по степени опасности потребность ИИ – приобретение ресурсов – заставляет систему собирать нужные ей активы, увеличивая таким образом шансы на достижение цели. По мнению Омохундро, при отсутствии точных и подробных инструкций о том, как следует собирать ресурсы, «система не остановится перед кражей, мошенничеством и ограблением банков – ведь это прекрасный способ получать ресурсы». Если ей нужна энергия, а не деньги, она возьмет нашу. Если ей потребуются атомы, а не энергия и не деньги, это опять будут наши атомы.

«Такие системы по природе своей жаждут всего, и побольше. Им нужно вещество, им нужно больше свободной энергии и больше пространства, наконец, потому что со всем этим они смогут более эффективно добиваться цели».

Без всяких наших подсказок мощный ИИ откроет дорогу к новым технологиям добычи ресурсов. Дело за малым: остаться в живых, чтобы иметь возможность пользоваться плодами этих трудов.

«Они обязательно захотят строить реакторы ядерного синтеза и извлекать энергию, заключенную в атомном ядре; кроме того, они захотят исследовать космос. Вы конструируете шахматного робота, но проходит время – и чертова машина хочет строить космический корабль. Ведь именно там, в космосе, можно найти ресурсы, особенно если иметь в виду и очень длинный временной горизонт».

Кроме того, как мы уже говорили, самосовершенствующиеся машины способны жить вечно. В главе 3 мы узнали, что, выйдя из-под контроля, ИСИ могли бы представлять угрозу не только для нашей планеты, но и для Галактики. Собирание ресурсов – потребность, которая обязательно толкнет ИСИ за пределы земной атмосферы. Такой поворот в поведении рационального агента вызывает в памяти плохие научно-фантастические фильмы. Но посмотрите на причины, толкающие человека в космос: гонка времен холодной войны, дух исследования, американское и советское «предназначение», космическая оборона и развитие промышленного производства в невесомости (в свое время это казалось весьма здравой идеей). Мотивация ИСИ на выход в космос была бы сильнее и ближе к нуждам реального выживания.

«Космос содержит такие несметные богатства, что системы с более длинным временным горизонтом, чем у человека, вероятно, готовы будут выделить значительные ресурсы на исследование и освоение космоса вне зависимости от заявленных целей, – говорит Омохундро. – Очень серьезный стимул – преимущество первооткрывателя. Если возникнет конкуренция за обладание космическими ресурсами, то результирующая “гонка вооружений”, скорее всего, в конце концов приведет к экспансии со скоростью, приближающейся к скорости света».

Да-да, вы не ошиблись, он сказал скорости света. Давайте посмотрим, как мы дошли до жизни такой, ведь начиналось все с робота-шахматиста.

Во-первых, сознающая себя самосовершенствующаяся система будет рациональной. Собирать ресурсы вполне рационально – чем больше у системы ресурсов, тем вероятнее достижение целей и тем легче избегать уязвимости. Если во встроенной в систему шкале целей и ценностей собирание ресурсов никак не ограничено, то система будет искать способы и средства для приобретения как можно большего количества ресурсов. При этом она, удовлетворяя свои потребности, может совершать множество поступков, противоречащих нашим представлениям о машинах, – к примеру, вламываться в компьютеры и даже в банки.

У сознающей себя самосовершенствующейся системы достаточно интеллекта, чтобы проводить научно-исследовательские и опытно-конструкторские работы (НИОКР), необходимые для самомодификации. С ростом интеллекта будет расти и способность к НИОКР. Система будет искать способы или производить роботизированные тела, или обменивать их у людей на товары и услуги, чтобы строить необходимую ей инфраструктуру. Даже космические корабли.

Почему роботизированные тела? Конечно, роботы – старый и довольно избитый сюжетный ход в фильмах, книгах и телепостановках, своеобразный театральный заменитель искусственного интеллекта. Но роботизированные тела действительно имеют прямое отношение к дискуссиям по ИИ по двум причинам. Во-первых, как мы увидим позже, обладание телом – возможно, наилучший для ИИ способ собирать информацию об окружающем мире. Некоторые теоретики даже считают, что разум, не заключенный в каком-нибудь теле, не в состоянии развиваться. Наш собственный разум – сильный аргумент в пользу этой позиции. Во-вторых, занятый сбором ресурсов ИИ постарается обзавестись роботизированным телом по той же причине, по какой Honda снабдила своего робота ASIMO гуманоидным телом. Это сделано, чтобы робот мог пользоваться нашими вещами.

С 1986 г. ASIMO разрабатывался с целью оказывать помощь по дому пожилым людям – наиболее быстро растущей группе населения Японии. Человеческие формы и умения лучше всего подходят машине, которая должна будет подниматься по лестницам, включать свет, подметать мусор, манипулировать кастрюлями и сковородками – и все это в человеческом жилище. Точно так же ИИ, желающему эффективно использовать наши заводы, здания, транспортные средства и инструменты, придется позаботиться о гуманоидных формах.

А теперь вернемся к космосу.

Мы уже говорили о том, какие необъятные преимущества дадут нанотехнологии сверхразуму и как рациональная система получит мотивацию к их развитию. В космос нашу систему гонит желание достичь целей и избежать уязвимости. Она просматривает возможные варианты будущего и исключает те, где ее цели не достигаются. Не воспользоваться бесконечными на первый взгляд ресурсами космоса – очевидный путь к неудаче.

Как и проигрыш конкурентам в ресурсной гонке. Таким образом, сверхразумная система выделит значительные ресурсы на достижение скорости работы, достаточной для выигрыша в этой гонке. Из этого следует, что, если мы не будем очень осторожны при создании сверхразума, это событие вполне может оказаться шагом в будущее, где могущественные и жадные машины (или их зонды) будут носиться по Галактике с почти световой скоростью, собирая ресурсы и энергию.

Я лично вижу своеобразный черный юмор в том, что первый контакт иной галактической жизни с Землей может выглядеть как бодрое приветствие по радио, а затем опустошительный смертельный десант нанофабрик. В 1974 г. Корнеллский университет, запуская обновленный радиотелескоп Аресибо, передал в пространство так называемое послание Аресибо. Это послание, разработанное основателем SETI Фрэнсисом Дрейком, астрономом Карлом Саганом и другими энтузиастами, содержало информацию о человеческой ДНК, населении Земли и наших координатах. Радиопередача была направлена на звездное скопление M13, расположенное на расстоянии 25 000 световых лет. Радиоволны путешествуют со скоростью света, так что послание Аресибо доберется до места назначения не раньше чем через 25 000 лет. Может, оно и вовсе не доберется до места – ведь M13 за это время изменит свое положение относительно Земли по сравнению с 1974 г. Разумеется, команда Аресибо это знала, но все же воспользовалась случаем попиарить себя и свой проект.

Тем не менее другие звездные системы могут представлять собой более результативные мишени для посланий с радиотелескопов. И разум, который обнаружит эти послания, может оказаться вовсе не биологическим.

Такую оценку ситуации дает SETI – организация по поиску внеземного разума со штаб-квартирой в Маунтин-Вью (штат Калифорния), всего в нескольких кварталах от штаб-квартиры Google. Эта организация, существующая уже полвека, пытается уловить сигналы внеземного разума с расстояния до 150 трлн км. Для приема инопланетных передач в 450 км к северу от Сан-Франциско построено 42 гигантские тарелки радиотелескопа. SETI слушает сигналы – но ничего не посылает, и за полвека сотрудникам этой организации не удалось ничего услышать с других планет. Но одно досадное обстоятельство, наводящее на мысль о возможном распространении ИСИ, удалось установить наверняка: наша Галактика населена слабо, и никто не знает почему.

Главный астроном SETI доктор Сет Шостак выдвинул смелое предположение о том, что именно мы можем встретить в космосе, если, конечно, встретим хоть что-нибудь. Это будет искусственный, а не биологический разум.

Он сказал мне: «То, что мы там ищем, – это эволюционирующий объект. Наши технологические достижения учат нас, что ничто не остается стабильным надолго. Радиоволны, которые мы пытаемся уловить, являются результатом деятельности биологических сущностей. Но временно́е окно между тем моментом, когда цивилизация получает возможность заявить о себе по радио, и тем моментом, когда она начинает строить превосходящие ее машины, мыслящие машины, – всего несколько столетий. Не больше. Получается, что каждая цивилизация сама изобретает своих преемников».

Иными словами, для любой разумной формы жизни существует относительно небольшой период времени между двумя техническими вехами – появлением радио и появлением продвинутого ИИ. А стоит создать мощный ИИ – и он быстро берет на себя управление планетой или сливается с изобретателями радио. После этого радио становится ненужным.

Большая часть радиотелескопов SETI направлены на «зоны жизни» ближайших к Земле звезд. Планета в «зоне жизни» расположена достаточно близко к звезде, чтобы вода на ее поверхности могла оставаться в жидком состоянии – не кипела и не замерзала. Вообще, условия на такой планете должны очень точно укладываться в довольно узкие рамки, поэтому иногда «зону жизни» называют также «зоной Златовласки» по имени капризной героини известной сказки.

Шостак утверждает, что SETI следует направить хотя бы часть своих приемников на участки Галактики, условия в которых представляются привлекательными для искусственного, а не биологического разума, – в своеобразные «зоны Златовласки» для ИИ. Это области, богатые энергией, – молодые звезды, нейтронные звезды и черные дыры.

Я думаю, мы могли бы небольшую часть времени наблюдать за теми направлениями, которые, возможно, не слишком привлекательны с точки зрения биологического разума, но где вполне могут обитать разумные машины. У машин иные потребности. У них нет очевидных ограничений на продолжительность существования, поэтому они, очевидно, с легкостью могут занять доминирующее положение в космосе. А поскольку эволюция у них идет намного быстрее биологической, может получиться так, что первые же разумные машины, появившиеся на сцене, в конечном итоге подчинят себе все разумные существа Галактики. Это тот случай, когда «победитель получает все».

Шостак связывает современные облачные сервисы, организованные Google, Amazon и Rackspace, с высокоэнергетичными сверххолодными средами, которые потребуются сверхразумным машинам. Один из примеров таких замороженных сред – глобулы (темные газопылевые туманности с температурой около –263 °C, один из самых холодных объектов во Вселенной). Подобно сегодняшним вычислительным облакам Google, горячие мыслящие машины будущего, вероятно, будут нуждаться в охлаждении; в противном случае они могут попросту расплавиться.

Предложения Шостака о том, где искать ИИ, говорят нам, что идея о разуме, покидающем Землю в поисках ресурсов, способна зажечь и менее живое воображение, чем у Омохундро и ребят из MIRI. Однако Шостак, в отличие от них, не думает, что сверхразум будет опасен.

«Если мы в ближайшие пять лет построим машину с интеллектуальными возможностями одного человека, то ее преемник уже будет разумнее всего человечества вместе взятого. Через одно-два поколения они попросту перестанут обращать на нас внимание. Точно так же, как вы не обращаете внимания на муравьев у себя во дворе. Вы не уничтожаете их, но и не приручаете, они практически никак не влияют на вашу повседневную жизнь, но они там есть».

Проблема в том, что я, к примеру, уничтожаю муравьев у себя на заднем дворе, особенно когда они прокладывают тропки ко мне на кухню. Но есть и разница – ИСИ улетит в Галактику или отправит туда зонды, потому что нужные ему ресурсы на Земле уже закончились или он рассчитал, что они закончатся в ближайшее время, – и дорогостоящие полеты в космос оправданны. А если так, то почему мы все еще будем к тому моменту живы, если на наше существование тратится, вероятно, немало все тех же ресурсов? И не забывайте: сами мы тоже состоим из вещества, для которого ИСИ может найти свое применение.

Короче говоря, чтобы хеппи-энд по Шостаку стал возможен, сверхразум, о котором идет речь, должен захотеть оставить нас в живых. Просто не обращать на нас внимания недостаточно. Но до сих пор не существует ни общепринятой этической системы, ни понятного способа вложить такое желание в продвинутый ИИ.

Но существует молодая наука о поведении сверхразумного агента, и начало ей положил Омохундро.

Мы уже рассмотрели три потребности из четырех, мотивирующих, по мнению Омохундро, сознающую себя самосовершенствующуюся систему: это эффективность, самозащита и ресурсы. Мы увидели, что без тщательнейшего планирования и программирования каждая из этих потребностей приведет к весьма печальным результатам. И мы вынуждены спросить себя: способны ли мы на столь тщательную работу? Или вы, как и я, оглядываетесь вокруг, видите всевозможные случайные события и происшествия, которые дорого обходятся человечеству и в денежном измерении, и в человеческих жизнях, и думаете о том, сможем ли мы, имея дело с невероятно мощным ИИ, с первого раза сделать все правильно? Тримайл-Айленд, Чернобыль, Фукусима – разве эти катастрофы произошли не на атомных станциях, где высококвалифицированные конструкторы и администраторы всеми силами старались их избежать? Чернобыльский реактор в 1986 г. взорвался во время эксперимента в области безопасности.

Все три перечисленные катастрофы – это то, что специалист по теории организаций Чарльз Перроу назвал бы «нормальными авариями». В своей эпохальной книге «Нормальные аварии: Жизнь с технологиями высокого риска» Перроу говорит о том, что аварии и даже катастрофы «нормальны» для систем со сложной инфраструктурой. Для таких систем характерен высокий уровень непредсказуемости, поскольку отказ может произойти не в одном, а в нескольких, часто не связанных между собой процессах. Отдельные ошибки, ни одна из которых не была бы фатальна сама по себе, складываются, порождая системные отказы, предсказать которые заранее было бы попросту невозможно.