Текст книги "Конец света: прогнозы и сценарии"

О том, как именно наступит эта сингулярность, писал в 1960-х годах другой известный ученый, британский статистик Ирвинг Джон Гуд: «Определим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умен тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить еще более совершенные машины. За этим, несомненно, последует “интеллектуальный взрыв”, и разум человека намного отстанет от искусственного. <…> Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем… И вероятность того, что в XX веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится».

Еще в 1904 году, когда не было даже слова «компьютер», американский историк Генри Адамс (1838–1918) написал эссе «Закон ускорения», в котором вывел «квадратичный закон истории». В соответствии с ним, каждый новый период в истории человечества по продолжительности примерно равнялся корню квадратному из длительности периода предыдущего. Чуть позже, в 1909 году, он опубликовал другой труд на эту тему – «Закон фазового перехода применительно к истории». По Адамсу, вслед за длившимся 90 тысяч лет «религиозным периодом» следовал 300-летний «механический период». На смену ему пришел 17-летний «электрический период», который должен был перейти в «эфирный период» продолжительностью 4–5 лет. Окончание последнего периода обозначало достижение человечеством предела своих возможностей, после чего должен был произойти фазовый переход на некий новый уровень развития. Так как точно установить даты прошедших периодов было невозможно, Адамс определил «вилку» этого перехода в промежутке между 1921 и 2025 годами. А во второй половине XX века американский философ и историк техники Льюис Мамфорд составил график роста количества значимых изобретений. Получилась довольно четкая гипербола, уходящая в конце 2020-х годов в бесконечность, то есть – в сингулярность. Согласно Мамфорду, техника постепенно «перестает быть простым инструментом, но сама становится активным субъектом реальности, трансформирующим человека по своему образу и подобию».

Конечно, многие возразят, что никакой катастрофы в этом нет. Наоборот, ИИ сделает нашу жизнь максимально комфортной. Человечество всю жизнь стремилось создать мир, в котором вареники сами летели бы в рот, а проблемы решались бы еще до их возникновения. Что ж, возможно. Но это уже будет не человеческая цивилизация. Мы не будем работать в современном смысле этого понятия, поскольку нашему хозяину это просто не будет нужно. Все, что можем выполнить мы, машины будут делать значительно лучше. Наверное, у нас останется какая-то своя культура, которая будет гораздо беднее культуры компьютерной, а ее мы не сможем постигнуть. Мы будем рисовать картины, сочинять музыку, писать стихи, но компьютер будет творить лучше, чем мы. Слоны тоже, как уверяют зоопсихологи, любят рисовать.

Есть еще надежда, что искусственному разуму не удастся превзойти человеческий, поскольку «ученик не может быть умнее учителя». Некоторые футурологи надеются, что человек с помощью генной инженерии сможет поднять свой разум на новый, сопоставимый с компьютерным, уровень. Или что он объединится с машиной, в результате чего получится некий Homo supersapiens, существо с мозгами, напрямую подключенными к некой всемирной информационно-вычислительной сети. Однако это уже будет не человек.

Мнение эксперта

Олег Петрович Кузнецов – доктор технических наук, профессор, заведующий лабораторией Института проблем управления РАН, председатель научного совета Российской ассоциации искусственного интеллекта.

Может ли машинный разум превзойти человеческий? В принципе, может, но пока до этого далеко – лет тридцать-сорок, не меньше. Мне кажется, что дата, называемая многими учеными (вторая половина 2020-х годов), – это слишком оптимистично. С такой грандиозной задачей, как построение полноценного интеллекта, не уступающего человеческому, мы вряд ли сумеем справиться столь быстро. Ведь, кроме прочего, его создание должно сопровождаться разработкой систем контроля. Человек сможет контролировать интеллект, превосходящий его по уровню, есть возможность это делать. А сценарий захвата власти роботами пока представляется нереальным, хотя предоставление машине слишком большой самостоятельности может привести к тому, что она будет сама ставить перед собой задачи и сама решать их, не заботясь о том, насколько это нужно и нужно ли вообще человеку. Если вдруг искусственный интеллект выйдет из-под контроля, то потом сделать что-то будет очень трудно. Но если контролировать весь процесс постепенной эволюции, то, я думаю, есть способы обезопасить себя. Дело ведь не только в том, умнее ли нас машина. Контроль не требует превосходства интеллекта. Умные всегда были на службе у сильных, хотя и тяготились этим. Проблема контроля – это проблема допуска к возможностям: к ресурсам, принятию решений и т. д.

Еще многих беспокоит такой вопрос: насколько реально человечеству свалиться после появления искусственного сверхинтеллекта в технологическую сингулярность, когда мы перестанем понимать, что творится вокруг нас. Да мы и сейчас уже не все понимаем, что творится вокруг нас, и никогда этого не понимали. Суть – в объеме этого непонимания. Мы считаем себя очень умными, а все ли мы знаем даже о своем организме? Как он работает, что мы там можем выключить, а что нет, способны ли мы предусмотреть все последствия своих действий. Точно так будет и с искусственным интеллектом. Рядовой человек даже и не заметит этого «сваливания». Если мы будем держать искусственный интеллект под контролем, ничего страшного не произойдет. И потом, у человечества нет другого пути. Мы в любом случае будем стараться делать все более мощные и умные машины. Сценарий с луддитами, ломавшими на английских фабриках станки, на которых вязали дешевые чулки, не пройдет сейчас так же, как он не прошел в XIX веке. Уж слишком прочно наша жизнь связана с машинами. Говорят, что искусственный интеллект будет следующей за нами ступенью эволюции, займет оставленный нами трон «царя природы», опустив человечество до уровня наших домашних собачек и кошечек. Думаю, такой сценарий в далекой перспективе возможен, только если, повторю, человечество будет недооценивать проблемы контроля. Это касается не только искусственного интеллекта, но и генной инженерии, и биотехнологий, и прочего. Надо вести себя разумно и почаще перечитывать «Войну с саламандрами» Карела Чапека.

Нереальная реальность

Наверное, каждый после просмотра фильма «Матрица» задал себе вопросы: «А не живу ли и я в такой или подобной матрице? И насколько реально то, что меня окружает?» Зададимся другим простым вопросом: возможна ли вообще такая «матрица».

А, собственно, почему она может быть невозможна? Технология виртуальной реальности уже давно (лет десять) опробована и не представляет ни для кого великой тайны. Желающие и обладающие достаточными, уже не такими большими, средствами вполне могут купить шлем виртуальной реальности, перчатки виртуальной реальности и прочее оборудование. Если заплатить чуть подороже, то получишь оборудование с обратной связью, и камень, подобранный в виртуале, будет ощущаться в руке, как некий тяжелый и твердый предмет. Информационные технологии развиваются такими темпами, что дела минувшего десятилетия уже воспринимаются как седая древность.

Игровые отрасли – это лишь верхушка айсберга ценой 15 миллиардов долларов в год. Именно такой суммой определяется рынок технологий ВР (так для краткости называют виртуальную реальность; не путать с другим, английским ВР – British Petroleum!). В основном эта сумма состоит из затрат на военные тренажеры. Согласитесь, что, к примеру, начинающим пилотам разумнее начинать свои тренировки на виртуальных самолетах над виртуальными полями сражений, чем сразу на машинах, стоимость которых может «зашкаливать».

Термин виртуальная реальность родился в прошлом веке. В 1970-х годах американский компьютерный художник Майрон Крюгер придумал для своих творений словосочетание «искусственная реальность», которое в начале 1980-х годов американский компьютерщик, писатель и художник Жарон Ланье изменил, сделав реальность «виртуальной», то есть «представляемой», «возможной в принципе». Изменение существенное, ибо «искусственной реальностью» можно назвать и выстроенный для съемок кинофильма старинный городок, и музейную панораму, и много еще чего. Виртуальная же реальность почти не существует. Это игра воображения, сон. Но как только Ланье заявил о своих правах приоритета, дотошные исследователи тут же откопали изданную в 1938 году книгу известного французского режиссера, драматурга и театрального новатора Антуана Мари Жозефа Арто «Театр и его двойник», в которой он, в частности, мечтал и о театре la réalité virtuelle. Конечно, ни о каких компьютерах или информационных сетях там речи не шло. Арто хотел создать театр без декораций, где обстановка, в которой происходит действие, передавалась бы повышенной энергетикой игры актера и даже расширяющими сознание средствами. В его представлении, глубина погружения в действие зрителя и актера в таком театре должна была бы быть значительно выше, чем в театре классическом. В сущности, требовалось создать «вторую реальность». В 1982 году в похожем значении, только по отношению уже к реальной жизни, в своем романе «Иудейская мандола» термин «виртуальная реальность» использовал еще один его независимый автор, австралийский писатель-фантаст Деймьян Бродерик. Про такие ситуации обычно говорят: идея носилась в воздухе.

В 1987 году термин появился в Оксфордском словаре и, таким образом, получил официальное признание. Но еще в начале 1980-х годов ВР стала неотъемлемой чертой возникшего направления в искусстве, получившего название «киберпанк». Девиз направления, рассказывающего о жизни человека в постиндустриальном компьютерном мире, был такой: высокий уровень технологий – низкий уровень жизни. В киберпанковских произведениях герои из грязного окружающего их реального мира переселялись в мир компьютерный, где жить гораздо легче и приятнее. В 1982 году был снят первый фильм, связанный с ВР, – «Мозговой штурм». В нем описывалась технология «вшивания» в мозг чужих воспоминаний. Примерно о том же был и фильм «Вспомнить все», снятый позже со Шварценеггером в главной роли. В чистом виде ВР была показана в вышедшем в 1992 году «Газонокосильщике», ставшем культовым фильмом. Там присутствовал даже виртуальный секс в виртуальном пространстве, который был гораздо глубже и интереснее секса настоящего.

Первое подобие машины, реализующей технологию ВР, создал в середине прошлого века кинодеятель и изобретатель Мортон Хейлинг. Еще в 1955 году он в книжке «Театр опыта» говорил о том, что в кинопроцесс надо вовлечь не только зрение и слух, но и все остальные органы чувств. В 1960 году он запатентовал, а в 1962-м – сделал «машину реальности», которую назвал «Сенсорама». На зрителя машина воздействовала панорамной стереокартинкой, объемным звуком, ветром, вибрацией и даже запахом. Специально под нее Мортон снял пять двухминутных стереофильмов. В одном из них зритель погружался в реально-виртуальный Бруклин, ходить по которому в реальности небезопасно. «Сенсорама» была создана не на пустом месте. Еще в начале 1930-х годов мастер по изготовлению органов Эдвин Линк создал для военного ведомства летный тренажер «Link trainer», в котором картинка воспроизводилась синхронно с движением обучающегося летчика в трех плоскостях. Во время Второй мировой войны американский изобретатель Фред Уоллер создал более продвинутый обучающий симулятор – «Waller gunnery trainer» («стрелковый тренажер Уоллера»). В нем использовалась панорамная картинка, снятая одиннадцатью камерами.

В 1968 году адъюнкт-профессор из Гарварда Айвен Сазерленд и его ученик Роберт Споул разработали первый шлем ВР – «головной дисплей» HMD («head mounted display»). А спустя 9 лет в Массачусетском технологическом институте была создана первая более-менее полноценная виртуальная компьютерная среда. Называлась она «Aspen movie map» («кинокарта Аспена») и представляла собой, как несложно догадаться по названию, компьютерную модель города Аспен (США, штат Колорадо), основанную на реальных фотографиях.

Сейчас в огромном количестве игр геймерам предлагаются виртуальные путешествия, битвы и т. п., стоит только надеть подключенные к компьютеру, оборудованному специальной видеокартой, аксессуары. Пока еще они взаимодействуют с человеком через органы чувств – глаза, уши, кожу, нос. Однако уже создаются так называемые «нейрокомпьютерные интерфейсы», способные поставлять информацию и снимать ее непосредственно с человеческого мозга.

В подстройке под «виртуал» человеку помогает сама его природа, его мозг. Он сам «перелезает» в виртуальное тело. В конце 2008 года нейробиологи Валерия Петкова и Хенрик Эрссон из Каролинского института (Швеция) выяснили, что создать иллюзию существования в чужом теле гораздо проще, чем мы думали. Они надевали на голову манекена стереокамеру, а изображение выводили на подобие шлема ВР, который водружали на голову испытуемого добровольца. Когда доброволец смотрел вниз, вниз опускались и камеры, так что человек видел внизу вместо своего тела тело пластикового собрата. После этого исследователи одновременно прикасались указкой к животу человека и к животу манекена. И происходило удивительное: испытуемый клялся, что в этот момент сознание переносилось в тело неодушевленного партнера, которое он начинал воспринимать как свое собственное. На следующем этапе камера надевалась на голову ассистента. Ассистент пожимал руку испытуемому, тем самым инициируя процесс «перехода» сознания в чужое тело. Далее к руке ассистента подносился нож, на что организм добровольца реагировал, как на сильный стресс. А вот когда нож прикасался к руке добровольца (которую он уже не воспринимал, как свою), никакого стресса не было: дыхание оставалось ровным, сердцебиение спокойным, да и повышенного потоотделения также не наблюдалось. Причем происходило это даже в ситуациях, когда испытуемым и ассистентом выступали люди противоположного пола. Единственное, чего не удалось достичь, так это перенести сознание в неодушевленный предмет, не похожий на человека. Экспериментаторы обстругали перочинным ножом все ножки лабораторного стула, в который хотели «загнать» бедного добровольца, – никакого стрессового состояния он (не стул, конечно, а доброволец) от этого не испытал. Мне не удалось выяснить, пробовали ли они поселить человека в тело животного вроде собаки, кошки или попугайчика. Было бы интересно.

Так что ничего принципиально невозможного в идее матрицы, воспроизводящей в реальности виртуальный мир, нет. Впрочем, матрица может обойтись вообще без человека внутри.

Если добавить к виртуальной среде искусственный интеллект, можно получить настоящий виртуальный мир, населенный виртуальными существами. Уже сейчас существуют игры, в которых персонажи живут в трехмерном мире и обладают искусственным интеллектом. С ростом компьютерных мощностей и с появлением новых программ интеллект растет, а персонажи становятся все более похожими на реальных людей. И такие «виртуальные миры» нужны не только для беспечных геймеров.

Игроманы знают: если в пылу виртуального сражения ты вдруг ударишь друга, то он может так рассердиться, что сделается врагом, и наоборот, бывшему врагу можно что-то подарить или рассказать, и его отношение к тебе изменится. В начале многих игр для героев задаются такие параметры, как интеллект, хитрость, доброта, агрессивность и т. д. Населяющие сеть вирусы умеют размножаться, изменяться и совершенствоваться в процессе борьбы за существование. В игре «Sims» люди женятся, разводятся, рожают и растят детей, занимаются карьерой… Если бы они жили в нашем мире, мы бы, возможно, не смогли отличить их от людей настоящих.

В большой степени искусственные миры необходимы военным. Представьте себе, какое военное преимущество получает страна, генералитет которой может «прокручивать» различные варианты боевых действий не на реальных, а на виртуальных полях боя. Когда-то создание компьютерных моделей автомобильных и самолетных корпусов позволило значительно удешевить производство новой техники. Кстати, военные не отрицают, что используют при разработке планов сражений компьютерные модели. В них определяются действия местного населения, поведение вероятного противника, погодные явления (ураганы, штормы, землетрясения) и техногенные беды.

Прогноз – вообще дело великое. В сущности, мы только и делаем, что прогнозируем, постоянно пытаясь просчитать, что произойдет через минуту, через сутки, через год, через десяток лет. Государства и корпорации остро нуждаются в прогнозах экономической, политической ситуации, медики мечтают за месяц предвидеть наступление эпидемий, правоохранительные органы хотели бы знать, в каких местах и с какой вероятностью могут начаться беспорядки… Короче, все заинтересованы в том, чтобы в компьютере была создана максимально полная картина нашего мира.

Максимально полная – значит, не просто планета, но планета с лесами, полями, реками, равнинами, городами, улицами, домами, людьми. В идеале – с нашими копиями… Копиями, которые думают как мы, делают как мы, работают как мы, дружат, любят, создают семьи, рожают детей, увлекаются туризмом, собирают марки, совершают преступления, только делают все это в компьютере, хотя думают, что находятся в реальном мире.

Конечно, до такой модели мы пока еще не доросли. Но это не значит, что мы сами не можем быть такой моделью. Более того, если такую или подобную модель создать вообще возможно, то вероятность того, что наш мир как раз и является моделью, просто огромна. Это доказал в 2003 году знаменитый футуролог, философ, профессор Оксфордского университета Ник Бостром в статье «А не живем ли мы в матрице».

Предположим, что некая цивилизация (такая же, как мы, только лет на 20–30 постарше) решила заглянуть в свое будущее. Скажем даже несколько иначе: пусть человечество к концу 2020-х годов построит такие суперкомпьютеры и компьютерные сети, что создание такой модели будет вполне возможно. И вот ученые создают довольно точную копию нашего мира в машине. Для того чтобы точность была максимальной, модель запускается не с текущего момента, а с небольшим отступлением в прошлое, например, с 2001 года. Если при просчете первых десятилетий модель не сильно удалится от реальности, ей можно доверять; если удалится сильно – подкорректировать и начать заново. Мы вполне можем быть жителями такой модели.

Создание встроенного мира второго порядка потребует значительно меньше вычислительных мощностей, ибо все уже просчитано, машине стоит лишь «вспомнить» прошедшие и закэшированные расчеты. Это третье человечество, второе в условиях одной модели, меньше чем через 12 дней (по реальному времяисчислению) построит новую модель, в которой люди будут работать над новой моделью уже примерно 10 часов, дальше – примерно 20 минут, 40 секунд, полторы секунды и т. д. Получится, как система из двух зеркал, поставленных одно напротив другого, в которых отражается бесконечно много миров, при том что реальный – всего один. И в каждом из них живут такие же, как мы, люди. Если не такие же, то ощущающие себя такими же. Соответственно, шанс того, что мы живем в настоящем, а не в смоделированном мире, – ничтожно мал.

В фильме «13 этаж» рассказывается о мире-аттракционе, в котором современными учеными смоделирован американский город 1930-х годов. Туда жители нашего мира залезают, как в машину времени, поразвлекаться. Смоделированы несколько человек, которые никогда этот город не покидают, потому что за пределами города ничего нет, а у этих людей нет потребности город покидать. Ближе к концу фильма ученые узнают, что они сами живут в таком же мире-аттракционе для жителей недалекого будущего, и нет никакой уверенности, что этот их мир реален.

Если что-то пойдет не так, то, выключив один из миров, его создатели выключат сразу миллионы миров вложенных, один из которых будет нашим.

Мнение эксперта

Данила Андреевич Медведев – кандидат экономических наук, член Координационного совета Российского трансгуманистического движения, сотрудник Центра цивилизационных и региональных исследований при Институте Африки РАН, эксперт Российского фонда развития высоких технологий.

Есть идея, что мы живем не в реальном мире, а в виртуальном, созданном фантазией неизвестного программиста из чисел и компьютерных кодов. Тут есть три задачи – смоделировать мир, и, смоделировав нас самих, вложить эту иллюзию нам в голову. Рост мощности компьютеров и развитие виртуальной реальности демонстрируют это весьма убедительно. Сейчас, к концу первого десятилетия XXI века, моделировать можно практически что угодно и с огромной точностью и реалистичностью. Что касается задачи заложить картинку нам в голову, чтобы мы не заметили подмены, то тут потребуется с десяток лет. Уже есть возможность стимулировать отдельные части мозга с помощью сверхтонких электродов – работают искусственные глаза и уши. Короче, это дело буквально десятка лет. А смоделировать нас самих… Даже если мир – иллюзия, приятно думать, что ты сам – нет. Но такие проекты, как «Blue brain», направлены на моделирование целого мозга человека, причем чтобы он работал, как настоящий, то есть со всеми ощущениями и мыслями. Это лет на 15–20, но тоже реально и неизбежно.

Еще в 2003 году в своей статье «Живем ли мы в спекуляции Ника Бострома» я привел серьезные аргументы, показывающие логические ошибки Бострома. Хотя создание виртуальных миров в будущем не просто возможно, но и весьма вероятно, невозможно путем логических умозаключений показать, что мы сейчас находимся в симуляции. На основании проделанного анализа, я склонен считать наш мир реальным. Если говорить о постчеловеческих цивилизациях, то для них не будет разницы между реальным и виртуальным. Уже сейчас мы видим появление 3D-сканеров, 3D-принтеров, дополненной реальности и т. п.

Задача прогнозирования не может быть решена с помощью симуляций. Дело в том, что если в мире будет существовать более одного серьезного игрока, то ход событий станет зависеть не от поведения «овец» (масс), а от желаний и интересов «волков». У «волков» есть свои прогнозисты и свои симуляции (которые невозможно просимулировать – это как игра в шахматы).

Что касается примерного прогноза отдельных аспектов поведения людей или общества, то тут не нужно самосознание. Достаточно правильных алгоритмов. Псевдоразумный человек без личности (в философии их называют «философские зомби») может вести себя так же, как и обычный человек. Вот почему даже слабых этических запретов на виртуальные мучения разумных существ будет достаточно, чтобы использовать только зомби.

Разумеется, это не отменяет создания мыслящих и создающих существ внутри компьютера, но это показывает, что для массовки они вряд ли потребуются. С теми случаями, когда создается настоящая личность, можно разобраться отдельно. Проще всего дать личности право выхода на уровень выше.

Если мы даже на секунду предполагаем, что наш мир – не реален, то мы полностью лишаемся возможности судить о том, каков настоящий реальный мир. А раз так, то и судить о том, какие миры нормальные, а какие – нет, не стоит. Физики сейчас занимаются тем, чтобы вывести все богатство нашего мира из очень простых правил. Есть компьютерные модели образования вселенной, галактик, звезд, планет, жизни и т. д. Пока образование нашего мира выглядит вполне логично.

Можно ли по каким-то приметам определить, насколько реален наш мир? Для нас он единственно реален. Есть более глубокие проблемы, например, как быть с тем, что даже реальные личности виртуальны, потому что их жизнь может быть с исчерпывающей точностью описана очень большим, но конечным натуральным числом. Об этом очень хорошо написал Грег Эган в книге «Permutation city», показав, как живется математическим конструкциям.

Понимание своей виртуальности не отменяет причинно-следственных связей, присущих нашему миру. За действием следует воздаяние, в том числе и для виртуальных личностей: хорошо работаете – хорошо кушаете, даже если еда виртуальная. Симуляция предполагает определенные правила, поэтому вы можете их использовать для достижения собственных целей. Другое дело, что понимание виртуального характера всего и осознание возможности моделирования и модификации личности заставляет задуматься о произвольности любых целевых установок. Это гораздо более серьезная проблема. Ведь любые цели и ценности, которые могут быть у человека, одинаково хороши просто потому, что они одинаково реальны и возможны. Поэтому как объяснить лентяю, что лениться плохо, если у него в голове другая целевая функция? Для него лениться – хорошо, даже если он и голодает.

Весьма вероятно, что когда мы будем (или когда наши создатели начали, сколь бы маловероятно это ни было) создавать виртуальные миры, мы станем уважать достоинство каждой личности. Это значит, что такая личность будет в какой-то момент информирована о том, что она живет в симуляции, и ей будет предложен выбор (при жизни или после смерти) – оставаться в ней или подняться в реальный мир. Но в любом случае возможность такого перехода будет зависеть от воли создателей симуляции. Мы не можем знать, какие действия обрадуют всемогущих наблюдателей: перевести старушку через дорогу или толкнуть ее под машину, помочь однокласснику сделать уроки или подсадить его на героин; все зависит от того, кто нас создал и запустил – хороший мальчик или безумный социопат.