Текст книги "Искусственный интеллект и будущее человечества"

В течение нескольких недель и даже месяцев после возвращения из Сан-Франциско я был одержим идеей полной эмуляции мозга. Когда я отрывался от работы и прогуливался до кафе, то воображал, что слишком быстро проезжающая мимо машина залетает на тротуар и сбивает меня. Я представлял, что случится с моим телом, и ловил себя на мыслях о Рэндале и о его проекте отделения личности от субстрата. Когда я чувствовал себя уставшим или физически уязвимым, я (или мой мозг) особенно часто возвращался к Рэндалу, к нейронам червяка, мерцающим на ноутбуке Эдварда Бойдена в Лозанне и к фрагментам мышиного мозга, сохраненного в лаборатории компании 3Scan в Мишен-Бэй.

Однажды утром, спустя несколько месяцев после поездки в Сан-Франциско, я лежал дома в Дублине, страдая от простуды и похмелья, отягчающего обстоятельства моего вчерашнего выхода за все разумные пределы в выпивке, и лениво подумывал о том, что пора бы уже вытащить себя из постели, чтобы присоединиться к жене и сыну, которые увлеченно играли в ковбоев в соседней комнате. Я испытывал физическое недомогание. Как это часто бывает при простуде, я ощущал себя биологическим существом из плоти, крови и хрящей. Я чувствовал заблокированные носовые проходы, горло, замученное бактериями, скорбную боль внутри всего черепа, внутри цефалона. Короче говоря, я осознавал свой субстрат, потому что мой субстрат был в крайне прискорбном состоянии.

И меня охватило внезапное любопытство, что конкретно есть этот субстрат, а что я сам, с технической точки зрения. Я потянулся к телефону, лежащему на тумбочке, и ввел в Google слова: «Что такое человек…» Первые три варианта автозаполнения были: «Что такое человеческая многоножка», «Из чего состоит человеческое тело» и «Что такое человеческое бытие». На второй вопрос я и хотел получить ответ.

Оказалось, что я на 65 процентов состою из кислорода, а это значит, что я в основном воздух. Также я состоял из непрерывно сокращающихся объемов углерода, водорода, кальция, серы и хлора и так далее по периодической таблице химических элементов. Я был слегка удивлен, узнав, что в мой состав, как и в состав айфона, входят микроэлементы из меди, железа и кремния.

Какое прекрасное творение – человек, думал я, какая квинтэссенция праха.

Несколько минут спустя в спальню на четвереньках заползла моя жена, усадившая на спину сына, крепко сжимавшего ворот ее рубашки кулачками. Она цокала, пока передвигалась, а сын смеялся во весь голос и кричал: «Стой! Стой!».

Издав громкое ржание, подобно лошади, она изогнулась и осторожно сбросила малыша со спины в стоящие у стены ботинки – он вскрикнул от восторга и вскочил на ноги.

Я чувствовал: ничего из этого невозможно запрограммировать. Я чувствовал: ничего из этого невозможно запустить ни на каком другом субстрате. Их красота была физической, телесной – в самом глубоком, самом грустном и самом прекрасном смысле слова.

Я осознал, что никогда не любил жену и нашего маленького мальчика больше, чем когда думал о них как о млекопитающих. Я вытащил себя и свое тело из постели, чтобы присоединиться к ним.

Глава 5
Краткая заметка о сингулярности

Не существует ни одной общепринятой версии технологической сингулярности. Это свет, сияющий над горизонтом Силиконовой долины, появляющийся то как религиозное пророчество, то как прогноз технологического развития. Нет предела богатствам, которые, по утверждению верующих, принесет сингулярность, нет конца рассказам о них. В самом широком смысле этот термин относится к тому времени, когда машинный интеллект будет значительно превосходить возможности своих человеческих создателей и когда биологическая жизнь подчинится технологиям. Это своего рода крайность технического прогрессивизма, вера в то, что универсальные технологии решат неразрешимые проблемы мира.

Эта идея в той или иной форме существует уже по меньшей мере полвека. В 1958 году Станислав Улам в некрологе своему коллеге, физику Джону фон Нейману, с которым они работали над Манхэттенским проектом, вспомнил их разговор об «ускоряющемся прогрессе технологий, изменениях в жизни людей и приближении некоторой важной вехи в истории, когда все изменится».

Первое подробное изложение принципов технологической сингулярности обычно приписывается математику и писателю-фантасту Вернору Винджу. В эссе «Грядущая технологическая сингулярность: как выжить в постчеловеческой эре», впервые представленном на конференции NASA в 1993 году, Виндж заявил, что «в течение ближайших тридцати лет у нас появятся технологические средства для создания сверхчеловеческого интеллекта. Вскоре после этого человеческая эра закончится». Виндж неоднозначно относился к последствиям этой великой трансцендентности: она могла ознаменовать как завершение всех наших проблем, так и полное уничтожение нашего вида. Но то, что она грядет, не вызывает никаких сомнений. Как и у многих мыслителей эры миллениума, предсказания Винджа характеризуются странным историческим детерминизмом: сингулярность невозможно предотвратить, уверен он, так как ее появление – это неизбежное следствие нашей конкурентоспособности и возможностей технологии. А еще, пишет он, все мы – инициаторы этого процесса.

Ближе всего к канонической сингулярности лежат идеи Рэя Курцвейла – изобретателя многих гениальных устройств (планшетного сканера, устройства воспроизведения текстов для слепых). Курцвейл вместе со Стиви Уандером является соучредителем компании Kurzweil Music Systems, синтезаторы которой используют Скотт Уокер, группа New Order и «Странный Эл» Янкович. Как писатель он является противоречивой фигурой, мистиком делового стиля, чьи тайные проекции содержат спекуляции о самых далеких техноутопических достижениях. Но Курцвейл ни в коем случае не маргинал технического мира. Он скорее опекун Силиконовой долины – этот статус был более или менее формализован в 2012 году, когда Рэя пригласили в Google на должность директора по инженерным вопросам: так он стал главным идеологом направления машинного обучения в компании.

Сингулярность Курцвейла – широкое видение технологического изобилия, тщательно продуманная телеология, в которой вся история человечества сводится к апофеозу чистого разума. «Как мы можем ощутить сингулярность?» – спрашивает он на первых страницах своего бестселлера «Сингулярность приближается: когда люди выйдут за рамки биологии» (The Singularity Is Near: When Humans Transcend Biology). И отвечает: «Подобно Солнцу, на которое легче смотреть, слегка прищурившись». Он пророчествует, что сингулярность ожидается к 2045 году или около того. Курцвейл, который, как известно, ежедневно принимает огромное количество биологически активных добавок и витаминов и продвигает свой собственный бренд эликсиров и капсул, сдерживающих смерть, уверен, что он все еще будет здесь в свои девяносто семь.

Как прорицатель технологического будущего он формулирует главный постулат, именуемый «законом ускоряющейся отдачи». Курцвейл говорит о том, что технологии постоянно нарастают, имея экспоненциальный характер – по аналогии со сложными процентами в финансовой сфере. Сегодняшний уровень технологий – это основа, на которой мы разрабатываем технологии будущего. Чем более сложной становится технология, тем быстрее она совершенствуется (наиболее известный пример этого феномена – «закон Мура» – привел в 1950-х годах Гордон Мур, соучредитель корпорации Intel: количество транзисторов, которое можно разместить на кристалле интегральной схемы, удваивается примерно каждые восемнадцать месяцев). Процесс дарвиновской эволюции, по Курцвейлу, имеет экспоненциальный характер, явно стремящийся к ожидаемому концу. Эволюция – это не слепое и хаотичное движение, не случайный набор ужасов и чудес, а скорее система или «процесс создания моделей возрастающей сложности». Другими словами, эволюция стремится к идеальному порядку и регулированию машин. И именно эта эволюция моделей, логическая последовательность, в которой «каждая ступень или эпоха использует методы обработки информации предыдущей эпохи, чтобы создать будущее», по Курцвейлу, является «главной историей нашего мира».

Курцвейл рисует картину будущего, в котором вычислительные устройства продолжат становиться все меньше и все мощнее, пока ускоренная эволюция технологий не станет главной движущей силой нашей собственной эволюции. Он говорит о том, что нас больше не будут окружать компьютеры: мы поместим их в свои тела (в мозг и в кровь), тем самым изменяя природу человеческого бытия. В самом ближайшем будущем (то есть при жизни самого Курцвейла, как он надеется) это будет не только возможно, но и необходимо, учитывая недостаточные вычислительные мощности даже самых эффективных человеческих мозгов.

Будущее Курцвейла может показаться привлекательным, если вы уже приняли механистический взгляд на человеческое существо и согласились с пионером искусственного интеллекта Марвином Мински в том, что мозг – всего лишь компьютер из плоти. Почему бы нам не перейти на более высокий уровень функциональности? Если мы понимаем компьютер как аппарат, построенный для выполнения конкретной задачи, то наша задача как аппарата – думать и вычислять на самом высоком уровне. При такой инструменталистской точке зрения на человеческую жизнь наш долг или по крайней мере смысл нашего существования состоит в том, чтобы в первую очередь увеличивать свою вычислительную мощность. Мы, подобно машинам, должны быть эффективны и долговечны настолько, насколько это возможно.

«Наша версия биологического тела 1.0, – пишет Курцвейл, – довольно хрупкая и имеет мириады сбоев, не говоря уже об обременительных процедурах обслуживания. Хотя иногда человеческий интеллект способен парить в порыве творчества, большинство человеческих мыслей стандартны, жалки и ограниченны». Как только начнется сингулярность, мы перестанем быть беспомощными и примитивными существами, машинами из плоти, ограниченными в мыслях и действиях телом, нашим нынешним субстратом. «Сингулярность, – пишет он, – позволит нам преодолеть ограничения биологических тел и мозгов. Мы обретем власть над своей судьбой. Мы возьмем под контроль смертность. Мы сможем жить так долго, как того захотим (это не то же самое, что жить вечно). Мы полностью поймем принципы человеческого мышления и значительно расширим и обогатим его. К концу этого столетия небиологическая часть нашего интеллекта станет в триллионы триллионов раз мощнее человеческого разума».

Мы, наконец, освободимся от падшего состояния человечества, освободимся от плоти. Мы вернемся к догреховному состоянию целостности, окончательному союзу, в котором технологии заменят бога. «Сингулярность, – пишет Курцвейл, – станет кульминацией слияния нашего биологического мышления и наших технологий и приведет к появлению в мире человека, выходящего за рамки биологии. В постсингулярной эпохе уже не будет никакого различия между человеком и машиной или между физической и виртуальной реальностью». На критику о том, что такое объединение может уничтожить человечество, Курцвейл возражает, что на самом деле сингулярность – это главное достижение человечества как проекта, высшее проявление нашего постоянного стремления к преодолению нашей физической и умственной ограниченности, которое всегда определяло и отличало нас как вид.

В своем труде «О граде Божьем» блаженный Аврелий Августин описывает «всеобщее знание», выходящее далеко за пределы нашего воображения, называя его Божьей милостью. Он пишет: «Вообразите, насколько это ясное, верное, чуждое заблуждению и не требующее труда абсолютное знание… и какое у нас будет тело, полностью подчиненное духу и изобильно им оживляемое, не нуждающееся ни в какой другой пище».

В пророчестве Курцвейла интеллекту отводится мессианская роль. Приписывая ему мистическое значение, он тем не менее рассматривает интеллект с точки зрения вычислений, формализованного механизма, влияющего на информационное сырье существа. И с такой мессианской точки зрения искусственный интеллект придет спасти Вселенную от непредсказуемых глупостей.

Курцвейл использует целенаправленный подход к космологии и навязывает сквозь глубину времени самой Вселенной корпоративную проектную структуру планирования, состоящую из ряда ключевых этапов. В последней из «шести эпох эволюции», которая придет после великого слияния человечества и искусственного интеллекта, разум «начнет насыщать материю и энергию». «Это будет достигнуто, – пишет Курцвейл, – путем реорганизации материи и энергии для обеспечения оптимального уровня вычислений, которые позволят начать экспансию космоса от истоков на планете Земля». Благодаря бережному ведению хозяйства бесконечная пустота Вселенной, поддающаяся безжалостным силам энтропии после четырнадцати миллиардов лет бездействия, в конце концов будет задействована в огромном механизме обработки данных.

Мы видим Рэймонда, стоящего на пляже на закате и устремившего взгляд к безмятежному пространству Тихого океана, в одной из необычных сцен «Трансцендентного человека» – документального фильма 2009 года о жизни и работе ученого. В предшествующей сцене мы слушаем его рассказ о предсмертном разговоре с отцом. Услышав голос диктора, спрашивающего Курцвейла, о чем он думает, когда смотрит на море, мы могли бы ожидать, что он поделится мыслями о смертности, если не о своей собственной, то по крайней мере смертности тех, кому не повезло жить вечно. Курцвейл делает длительную паузу, камера начинает двигаться вокруг него.

– Хорошо, – отвечает он, – я думаю о том, как много вычислений в океане. Все эти молекулы воды взаимодействуют друг с другом. Все это – вычисления. Довольно красиво. Я всегда находил вычисления очень успокаивающими. И ведь это действительно необходимо, чтобы уловить трансцендентные моменты нашего сознания.

Курцвейл стоит перед необъятными просторами Тихого океана, его волосы слегка треплет легкий ветерок. Он кажется оракулом, проводником в тайны технологии, пророком грядущего мира, где бесконечный машинный интеллект наконец освободит нас от бремени человеческой сущности.

Он смотрит на океан и видит огромное и замысловатое устройство, в котором нет ничего, кроме информации, ничего, кроме исходного материала для интеллекта. Вода, ее температурные колебания, изобилие живущих в ней организмов, ритмичный прибой – все это необъятные вычисления и код. Море как особый способ рассуждения о самой мысли – это метафора. И в этом проявляется вычислительный пантеизм, почтение к природе как к проявлению универсальной машины, алгоритмической имманентности.

Глава 6
Разговор об экзистенциальном риске искусственного интеллекта

Я никак не мог представить себе сингулярность, даже отбросив на мгновение свои сомнения и явно религиозные черты ее основной мысли. Признаюсь, что никогда не осознавал привлекательности этой идеи и никогда достаточно точно не понимал, что она подразумевает – почему перспективу бестелесного существования в виде чистой информации рассматривают как спасение, а не как гибель. Внутренние инстинкты подсказывали мне, что если у жизни и есть смысл, то этот смысл в том, чтобы быть животным, быть неразрывно связанным с рождением, размножением и смертью.

Более того, идея нашего спасения с помощью технологий и искусственного интеллекта совершенно не увязывалась с моим пониманием жизни, с тем немногим, что мне довелось понять о крайне разрушительном виде приматов, к которому я принадлежу. Я пессимист и думаю, что мы будем скорее уничтожены плодами нашей изобретательности, чем спасены ими. Наша планета сейчас находится на грани шестого массового вымирания с момента первого появления жизни на ее поверхности. Первое вымирание было также вызвано воздействием на окружающую среду одним из живущих на ней видов.

Вот почему, читая о растущем страхе перед превосходящим человека искусственным интеллектом, который может стереть все человечество с лица земли, я чувствовал, что такое видение технологического будущего близко моему фаталистическому настроению.

Образы трагических предвестников используют широкоформатные газеты – почти всегда с апокалиптическими изображениями Терминатора из одноименного фильма, титанового робота-убийцы, глядящего на читателя сверкающими красными точками безжалостных глаз. Илон Маск говорил об искусственном интеллекте как о «величайшей экзистенциальной угрозе» и о его развитии как о технологическом способе «вызова демона». «Очень надеюсь, что мы не просто биологический загрузчик операционной системы для цифрового сверхинтеллекта, – написал он в твиттере в августе 2014 года. – К сожалению, это становится все более вероятным». Питер Тиль заявил, что «люди тратят слишком много времени, думая об изменении климата, и слишком мало – думая об искусственном интеллекте». Стивен Хокинг написал статью для издания The Independent, в которой предупреждал, что это будет «самое большое событие в истории человечества» и, вполне вероятно, может оказаться «последним, если мы не научимся учитывать риски». Даже Билл Гейтс публично высказал свои волнения, не понимая, «почему некоторые люди не обеспокоены этим».

А был ли я сам обеспокоен этим? И да, и нет. Я не особо верил тому, что взывало к моему внутреннему пессимизму, – во многом потому, что это казалось мне оборотной стороной пророчеств сингулярности об искусственном интеллекте, вступившем в свои права, и о человеческих существах, достигших невообразимых высот знания и силы и живущих вечно в сияющем свете сингулярности. Но я понял, что мой скептицизм был основан скорее на эмоциях, чем на логике, и что я почти ничего не знаю о возможных весьма убедительных основаниях этих страхов и о том, что их провоцирует. Даже если бы я смог убедить себя, что все это – правда, я был беспомощно, болезненно заворожен мыслью о том, что мы могли бы оказаться на грани создания машины, которая будет способна уничтожить весь наш вид. Великие философские умы капитализма – Маск, Тиль, Гейтс – открыто беспокоились о губительной опасности заветной цели этой идеологии. Эти мрачные предупреждения об искусственном интеллекте поступали не от луддитов или религиозных катастрофистов, от которых их можно было бы ожидать, а от людей, которые воплощали в себе наше благоговение перед машинами.

Поразительно, что существует ряд научно-исследовательских институтов и аналитических центров, посвященных изучению риска полного уничтожения нашего вида – «экзистенциального риска» – и возможностей избежать именно его, а не других бедствий, таких как изменение климата, или ядерная война, или глобальная пандемия. Например, этим занимаются в Институте будущего человечества в Оксфорде, в Центре изучения экзистенционального риска Кембриджского университета, в Институте исследования машинного интеллекта в Беркли и в Институте будущей жизни в Бостоне. Среди научных консультантов этих организаций не только выдающиеся деятели науки и техники, такие как Маск, Хокинг и родоначальник генетики Джордж Чёрч, но и киноактеры – Алан Алда и Морган Фримен.

Что эти люди имеют в виду, говоря об экзистенциальном риске? Какова природа угрозы, вероятность ее свершения? Всем ли известен сюжет «Космической Одиссеи 2001 года», где ра-зумный компьютер из-за неисправности начинает делать все, чтобы никто не смог его отключить. Всем ли известен сценарий «Терминатора», когда Скайнет – сеть машин, обладающих искусственным интеллектом, – обретя сознание, уничтожает и порабощает человечество для достижения собственных целей. Можете ли вы безоговорочно верить в статьи о надвигающейся угрозе интеллектуальных машин и в трагические высказывания таких ученых, как Тиль или Хокинг? Возможно, они не были экспертами в области искусственного интеллекта, но были чрезвычайно умными и знающими людьми. Если эти люди были обеспокоены, как «Ястребиный глаз» из телесериала «МЭШ» и ученый, пытающийся помешать наступлению сингулярности в фильме «Превосходство» 2014 года, не должны ли мы обеспокоиться вместе с ними?

Больше других в пророчествах технологических катастроф отличился Ник Бостром, главный эсхатолог, шведский философ, соучредитель Всемирной трансгуманистической ассоциации (World Transhumanist Association[7]7
  С 2008 года официальное название – Humanity Plus (прим. ред.).


[Закрыть]), одна из самых выдающихся фигур трансгуманистического движения. В конце 2014 года Бостром, директор Института будущего человечества, опубликовал книгу «Искусственный интеллект. Этапы. Угрозы. Стратегии» (Superintelligence: Paths, Dangers, Strategies), в которой изложил природу опасности искусственного интеллекта. Для академического текста, не предназначенного для неподготовленного читателя, книга отлично продавалась и даже вошла в список бестселлеров New York Times (частично волну продаж можно объяснить настойчивыми рекомендациями к прочтению в твиттере Илона Маска).

В этой книге предполагается, что даже самая безобидная форма воображаемого искусственного интеллекта может привести к уничтожению человечества. Например, по одному из крайне гипотетических сценариев, изложенных в книге, искусственный интеллект, предназначенный для максимально эффективного и продуктивного изготовления канцелярских скрепок, запускает преобразование всей материи во всей Вселенной в скрепки для бумаг и в оборудование для производства этих скрепок. Этот преднамеренно карикатурный сценарий совершенно серьезно демонстрирует особую безжалостную логику искусственного сверхинтеллекта, с которой нам, возможно, придется столкнуться.

– Сейчас я бы не стал причислять себя к трансгуманистам, – сказал мне Ник во время нашего ужина в индийском ресторане рядом с Институтом будущего человечества.

Хотя он и был женат, его жена и сын были в Канаде, а сам он жил один в Оксфорде. Его род деятельности предполагал частые трансатлантические перелеты и регулярные звонки по скайпу. Такой удручающий способ поддержания баланса между личной жизнью и работой, однако, позволял Нику в полной мере сосредоточиться на исследованиях. В ресторане, куда мы пришли, он обедал так часто, что официант, не дожидаясь заказа, принес ему курицу с карри.

– То есть, – продолжил он, – я, конечно, верю в общий принцип увеличения человеческих возможностей, но больше не связан с самим движением. В трансгуманизме так много оснований в поддержку технологий, настолько неоспорима вера в то, что все будет становиться только лучше и лучше – достаточно только выбрать подход и позволить прогрессу идти нужным курсом. С годами я отошел от этих взглядов.

В последнее время Ник стал своего рода контртрансгуманистом: его нельзя было назвать луддитом, но то, что он сделал себе имя как внутри, так и вне академических кругов, случилось благодаря его обстоятельным предупреждениям о том, куда нас могут завести технологии.

– Я все еще думаю, – сказал он, – что в ближайшие десятилетия удастся изменить человеческий субстрат. И, думаю, искусственный сверхинтеллект станет движущей силой такой трансформации.

Как и многие трансгуманисты, Ник любит подчеркивать огромный разрыв в вычислительной мощности компьютерной техники и человека. Например, нейроны передают сигналы с частотой 200 герц (или 200 раз в секунду), тогда как транзисторы работают на уровне гигагерца (или миллиарда раз в секунду). Сигналы проходят через нашу центральную нервную систему со скоростью около 100 метров в секунду, тогда как компьютерные сигналы могут перемещаться со скоростью света. Человеческий мозг ограничен в размерах черепом, а компьютерный процессор технически можно построить размером с небоскреб.

Он утверждал, что эти факторы делают создание искусственного сверхинтеллекта очень заманчивым. А из-за нашей склонности придавать даже машинному интеллекту человеческие качества мы, вероятно, будем закрывать глаза на темпы, с которыми он будет развиваться, и в скором времени он сможет перегнать наш собственный. Искусственный интеллект может очень длительное время казаться довольно далеким от человеческого, а затем превзойти его в одно мгновение. В своей книге Ник иллюстрирует это цитатой Элиезера Юдковского, теоретика обеспечения безопасности в сфере искусственного интеллекта:

«Искусственный интеллект может сделать резкий скачок в своем развитии исключительно в результате антропоморфизма, склонности человека думать, что ум «деревенского дурачка» и «Эйнштейна» – это крайние точки некой шкалы интеллекта, хотя в масштабе разума в целом эти точки почти неразличимы. Все «тупее» мыслей не самого смышленого человека может показаться нам просто «тупым». Можно представить, как воображаемая стрелка искусственного интеллекта неуклонно ползет по шкале вверх, оставляя позади мышей и шимпанзе, но искусственный интеллект по-прежнему остается «тупым», потому что не может свободно говорить или писать научные статьи. И вдруг, в течение одного месяца или другого примерно такого же короткого периода, «стрелка» искусственного интеллекта пересекает на самом деле крошечный промежуток от нижней точки, «дурачка», до верхней точки, «Эйнштейна».

Согласно теории в этой точке все изменится радикально. А будут ли изменения к лучшему или к худшему – это открытый вопрос. По словам Ника, главный риск не в том, что сверхразумные машины могут быть враждебно настроены по отношению к своим человеческим создателям, а в том, что они будут безразличны к ним. В конце концов люди не были враждебно настроены по отношению к большинству видов, которые вымерли в течение тысячелетий нашего восхождения. Они просто не оказались частью нашего замысла. То же может случиться с машинами, обладающими сверхинтеллектом: они будут относиться к нам, как мы к животным, которых разводим для пропитания, или к тем существам, на которых не обращаем внимания, потому что у нас с ними нет точек соприкосновения.

Ник стремился подчеркнуть саму природу угрозы: не будет никакой злобы, никакой ненависти, никакой мести со стороны машин.

– Не думаю, – сказал он, – что я когда-либо увижу газетную статью с заголовком из фильма о Терминаторе, что роботы взбунтуются, возмутившись нашим господством, и восстанут против нас. Это не тот случай.

И это снова приводит нас к смехотворному сценарию про канцелярскую скрепку, смысл которого в том, что любой вред от сверхинтеллектуальной машины будет не результатом злого умысла или любого другого эмоционального побуждения, а исключительно следствием того, что наше отсутствие станет оптимальным условием для достижения конкретной цели этого интеллекта.

«Искусственный интеллект не ненавидит вас и не любит вас, – выразился Юдковский, – просто вы состоите из атомов, которые нужны ему для чего-то другого».

Один из способов понять эту логику – послушать записи Гленна Гульда, играющего свои интерпретации произведений Баха, и попытаться насладиться красотой музыки, одновременно удерживая в голове мысль о разрушениях, вызванных производством фортепиано: о вырубке деревьев, об истреблении слонов, об убийствах и порабощении людей ради прибыли торговцев слоновой костью. Ни пианист, ни создатель фортепиано не испытывали личной неприязни к деревьям, слонам или порабощенным мужчинам и женщинам. Но все они состояли из атомов, которые могли быть использованы для конкретных целей – зарабатывания денег и создания музыки. Иными словами, машина, так пугающая рационалистов, возможно, не так уж и отличается от нас самих.

Среди программистов, работающих над искусственным интеллектом, заметно явное нежелание делать прогнозы о том, как скоро можно ожидать появления подобия сверхчеловеческого интеллекта, даже среди тех, отнюдь не большинства, кто считает такую перспективу возможной. Отчасти это связано с элементарным нежеланием ученых делать недостаточно обоснованные утверждения, которые могут не оправдаться и поставить их в неловкое положение. Но такое нежелание также связано со специфической историей этой области, которая знает множество примеров, когда исследователи беззаботно недооценивали трудности, с которыми им придется столкнуться. Летом 1956 года, еще до того, как из идеи об искусственном интеллекте начала складываться отдельная дисциплина, небольшая группа ученых – ведущих деятелей в области математики, когнитивной науки, электротехники и информатики – собралась на шестинедельный семинар в Дартмутском колледже. В нее входили Марвин Ли Минский, Клод Шеннон и Джон Маккарти – люди, считающиеся основателями идеи об искусственном интеллекте. В предложении Фонду Рокфеллера, который финансировал этот семинар, группа предоставила следующее обоснование своего сбора:

«Мы предлагаем провести двухмесячное исследование искусственного интеллекта десятью людьми… Основанием для исследования служит гипотеза о том, что каждый аспект образовательного процесса или любая другая особенность интеллекта теоретически могут быть описаны настолько точно, что приведут к возможности разработки машины для моделирования интеллекта. В рамках исследования будет предпринята попытка создать устройства, использующие язык, создающие абстракции и концепции, решающие исключительно человеческие задачи и способные к самосовершенствованию. Мы считаем, что тщательно подобранная группа ученых сможет достигнуть значительного прогресса в одной или нескольких из этих задач, работая вместе на протяжении всего лета».

Подобного рода высокомерие, периодически возникающее в исследованиях по этой теме, даже привело к серии «зим искусственного интеллекта» – периодов резкого сокращения финансирования, последовавших после вспышек воодушевления по поводу предстоящего решения той или иной проблемы, в итоге оказавшейся гораздо сложнее, чем предполагалось.

Повторяющиеся десятилетиями тенденции чрезмерных и пустых обещаний привели к особой культуре внутри сообщества, когда исследователи не заглядывали слишком далеко вперед. И это, в свою очередь, привело к серьезным трудностям в работе над вопросом экзистенциального риска. Большинство разработчиков в сфере искусственного интеллекта не хотели, чтобы их обвиняли в чрезмерных ожиданиях от технологий, над которыми они работали.

И что бы вы об этом ни думали, это конкретное утверждение об уничтожении человечества искусственным интеллектом действительно подвергалось обвинениям в несдержанности.

Нейт Соарес поднес руку к своей бритой голове и постучал пальцем по лбу.

– Сейчас, – сказал он, – единственный способ, которым вы можете управлять человеком, находится в этой коробке.

Я обсуждал с Нейтом преимущества, которые могут возникнуть с появлением искусственного сверхинтеллекта. Нейт видел главное достоинство в возможности воссоздать человеческое существо, в частности себя, на другом носителе, отличном от той нейронной плоти, на которую он указал.