Текст книги "Искусственный интеллект. Этапы. Угрозы. Стратегии"

Прямая и опосредованная досягаемость

Сверхразум, возникший по какому-то одному из описанных выше типов, со временем мог бы развить технологии, необходимые для создания сверхразума и по остальным типам. Таким образом, опосредованно все три типа сверхразума одинаково достижимы. В этом смысле опосредованная досягаемость интеллекта человеческого уровня попадает в тот же класс эквивалентности, если исходить из допущения, что мы вообще способны прийти хотя бы к какому-то сверхразуму. Однако в чем-то эти три типа гораздо ближе друг к другу, поскольку любой из них способен создать два других гораздо быстрее, чем мы – один из них, если брать за точку отсчета сегодняшнее развитие технологий.

Прямую досягаемость трех разных типов сверхразума сравнивать сложнее. Скорее всего, ранжировать их не получится. Возможности каждого из них зависят от того, в какой степени они демонстрируют свои преимущества, то есть насколько быстро работает скоростной сверхразум, насколько качественнее качественный сверхразум и так далее. Максимум мы можем сказать, что при прочих равных скоростной сверхразум отлично справляется с задачами, требующими быстрого выполнения длинной последовательности шагов, которые должны быть сделаны один за другим, в то время как коллективный сверхразум лучше показывает себя в задачах, допускающих аналитическую декомпозицию на параллельные подзадачи, а также в таких, когда требуется комбинация множества различных точек зрения и наборов навыков. Качественный сверхразум в некотором смысле должен быть самым универсальным типом, поскольку способен справиться с задачами, находящимися вне пределов прямой досягаемости скоростного и коллективного сверхразумов{183}183
  В соответствии с тезисом Чёрча – Тьюринга все вычислимые функции вычислимы машиной Тьюринга. Поскольку любой из трех типов сверхразума можно симулировать на машине Тьюринга (при наличии доступа к неограниченному объему памяти и возможности работать независимо), по этому формальному критерию они эквивалентны с вычислительной точки зрения. На самом деле среднестатистический человек тоже мог бы повторить машину Тьюринга (при наличии неограниченного запаса бумаги и времени) и поэтому эквивиалентен ей по тому же критерию. Но для наших целей важно, чего эти различные системы могут достичь на практике, в условиях ограниченной памяти и за разумное время. И разница в эффективности настолько велика, что ее нельзя не заметить. Например, среднестатистического человека с коэффициентом интеллекта, равным 85 пунктам, вполне можно научить моделировать машину Тьюринга. (Скорее всего, этому можно научить даже какую-нибудь особенно одаренную и послушную шимпанзе.) Но в практическом смысле такой человек вряд ли способен самостоятельно разработать общую теорию относительности или получить Филдсовскую премию.


[Закрыть].

Не все в нашей жизни определяется этими категориями, и не всегда количество способно заменить качество. Один гениальный отшельник[15]15
  Речь идет о Марселе Прусте.


[Закрыть], запершись в спальне, обитой пробковым дубом, способен написать «В поисках утраченного времени». Можно ли создать подобный шедевр, собрав в одном помещении множество поденщиков от литературы?{184}184
  И коллективное народное творчество способно рождать великую литературу (взять, например, эпические поэмы Гомера) в фольклоре тоже встречались гениальные исполнители.


[Закрыть] При всем существующем многообразии человеческих характеров и дарований мы видим, что в некоторых случаях работа только выигрывает, когда ее выполняют не мириады посредственностей, а берется за нее всего лишь один специалист, но блестящий мастер своего дела. Если посмотреть на это шире, то придется признать вероятность существования таких интеллектуальных задач, с которыми сможет справиться только сверхразум – они окажутся не по плечу даже огромному коллективу обычных людей без усовершенствованных когнитивных способностей.

Таким образом, могут быть задачи, которые способен решить качественный сверхразум и, возможно, скоростной сверхразум, но не слабоинтегрированный коллективный сверхразум{185}185
  Если только коллективный сверхразум не содержит элементы, характерные для двух остальных типов сверхразума: скоростного, или качественного, или обоих вместе.


[Закрыть] (если, конечно, он не займется в первую очередь развитием собственных возможностей). Мы не сможем определить точно характер этих задач, но попробуем описать их в общем виде{186}186
  Наша неспособность определить все подобные задачи отчасти связана с тем, что мы и не пробуем это сделать, поскольку нет смысла тратить время на детализацию интеллектуальных заданий, которые не смогут выполнить ни люди, ни все известные на сегодняшний день организации. Но возможно, что даже их концептуальное описание является одной из таких задач, которые мы сейчас не можем выполнить в силу ограниченности своего ума.


[Закрыть]. Скорее всего, такая задача должна состоять из мультикомплексных взаимозависимостей, не позволяющих разбить ее на автономные подструктуры, следовательно, ее решение может потребовать качественно нового понимания или нового подхода, которые слишком сложны для восприятия нынешнего поколения смертных. В категорию подобных задач могут попадать отдельные виды художественного творчества, стратегических моделей и даже некоторых научных открытий. Кто-то скажет, что медлительность и крайняя неуверенность в себе в деле решения так называемых вечных вопросов философии связаны с неприспособленностью коры головного мозга человека к умозрительным размышлениям. Поэтому деятельность наших известных философов напоминает походку собаки, которую хозяин заставляет ходить на задних лапах: они насилу достигают «уровня исполнения», который хоть каким-то образом позволяет заниматься этой деятельностью{187}187
  См.: [Boswell 1917]; см. также: [Walker 2002].


[Закрыть].

Источники преимущества цифрового интеллекта

Серьезные последствия могут иметь даже незначительные изменения в объеме и устройстве мозга, что видно, если сравнить интеллектуальные и технологические достижения людей и человекообразных обезьян. Те сверхмасштабные изменения в вычислительной мощности и архитектуре, которые позволяет осуществить использование искусственного интеллекта, могут иметь гораздо более глубокие последствия. Нам очень трудно – если вообще возможно – интуитивно понять, на что способен сверхразум, можно попытаться лишь приблизиться к этому пониманию, взглянув на преимущества, которыми обладает цифровой интеллект. Легче всего оценить плюсы аппаратного обеспечения.

• Скорость вычислительных элементов. Пиковая скорость работы биологических нейронов – около 200 Гц, что на семь порядков медленнее современных микропроцессоров (примерно 2 ГГц){188}188
  Эта мощность достижима в моменты резкого всплеска активности отдельных групп нейронов, обычная скорость их работы гораздо ниже; см.: [Gray, McCormick 1996; Steriade et al. 1998]. Есть также быстро возбуждающие нейроны (chattering neurons), которые достигают частоты в 750 Гц, но, похоже, они представляют редкое исключение.


[Закрыть]. Как следствие, человеческий мозг вынужден полагаться на масштабное распараллеливание задач и неспособен быстро выполнять вычисления, требующие большого количества последовательных операций{189}189
  См.: [Feldman, Ballard 1982].


[Закрыть]. (Мозгу под силу лишь несколько десятков таких операций, максимум – чуть больше сотни.) При этом многие из наиболее важных алгоритмов в программировании и кибернетике не так-то легко поддаются распараллеливанию. Многие когнитивные задачи можно было бы решать гораздо эффективнее, если бы естественная склонность мозга к параллельным алгоритмам распознавания образов дополнялась бы возможностью – и интегрировалась с возможностью – быстрых последовательных вычислений.

• Скорость внутренних коммуникаций. Аксоны передают потенциал действия со скоростью 120 м/с или даже меньше, в то время как электронные центры обработки информации используют оптику, в которой информация передается со скоростью света (300 000 000 м/с){190}190
  Скорость передачи информации зависит от диаметра аксона (чем аксон толще, тем она выше) и наличия у него миелиновой оболочки. В пределах центральной нервной системы задержки лежат в диапазоне меньше чем от миллисекунды до 100 мс [Kandel et al. 2000]. Скорость передачи информации в оптоволокне равна примерно 68 % скорости света (зависит от коэффициента преломления материала). В электрических кабелях скорость передачи примерно такая же, 59–77 % скорости света.


[Закрыть]. Медлительность нейронных сигналов ограничивает размеры биологического мозга, который может функционировать как единый вычислительный блок. Например, чтобы задержка в передаче сигналов от одного элемента к другому и обратно между двумя произвольными элементами системы не превышала 10 мс, объем биологического мозга не должен быть больше 0,11 м3. А размер аналогичной электронной системы может равняться 6,1 × 1017 м3 (это размер карликовой звезды), то есть на восемнадцать порядков больше{191}191
  Это при скорости передачи сигнала, равной 70 % скорости света. При 100 % оценка вырастает до 1,8 × 1018 м3.


[Закрыть].

• Количество вычислительных элементов. В человеческом мозгу чуть меньше 100 миллиардов нейронов{192}192
  Количество нейронов в мозгу взрослого мужчины примерно равно 86,1 ± 8,1 млрд, эти данные получены в результате подсчета клеточных ядер в ткани мозга, помеченных специальным маркером. В прошлом оценки обычно попадали в диапазон 75–125 млрд нейронов. Они были основаны на ручном подсчете количества клеток в сравнительно небольших областях мозга, см.: [Azevedo et al. 2009].


[Закрыть]. Он примерно в три с половиной раза больше мозга шимпанзе (правда, при этом в пять раз меньше мозга кашалота){193}193
  См.: [Whitehead 2003].


[Закрыть]. Очевидно, что количество нейронов в биологическом существе ограничено объемом черепа и особенностями метаболизма, но в случае крупного мозга вступают в действие и другие ограничения (охлаждение, время созревания, задержки в передаче сигнала – см. предыдущий пункт). В отличие от биологического мозга, компьютерное оборудование масштабируется до гигантских физических размеров{194}194
  Вполне возможно, что в системах обработки информации могут использоваться процессы вычисления и хранения данных молекулярного масштаба, а сами такие системы способны достигать как минимум планетарных масштабов. Однако предельные физические размеры вычислительной системы, ограниченные законами квантовой механики, общей теории относительности и термодинамики, гораздо меньше этого «юпитероподобного» уровня [Sandberg 1999; Lloyd 2000].


[Закрыть]. Суперкомпьютеры могут быть размером со склад или даже больше, причем с помощью высокоскоростных кабелей к ним можно подключать дополнительные удаленные вычислительные мощности{195}195
  См.: [Stansberry, Kudritzki 2012]. На долю центров хранения и обработки данных приходится примерно 1,1–1,5 % общего объема потребления электроэнергии в мире, см.: [Koomey 2011]; см. также: [Muehlhauser, Salamon 2012].


[Закрыть].

• Емкость памяти. Человек способен удерживать в кратковременной памяти не более четырех-пяти блоков информации одновременно{196}196
  Это упрощение. Количество блоков информации, которые могут храниться в рабочей памяти, зависит от характера как самой информации, так и задачи; тем не менее понятно, что их не может быть очень много; см.: [Miller 1956; Cowan 2001].


[Закрыть]. Хотя сравнивать напрямую кратковременную память с оперативной памятью компьютера не совсем корректно, ясно, что конструктивные преимущества цифрового интеллекта позволяют ему иметь рабочую память гораздо большего размера. Это значит, что такой интеллект способен интуитивно схватывать суть сложных взаимоотношений, которые люди могут нащупать лишь при помощи кропотливого труда{197}197
  Пример: трудность изучения логических концепций (категорий, определенных правилами логики) пропорциональна длине наиболее коротких логически эквивалентных им пропозициональных формул. Обычно довольно трудно запоминаются даже формулы, состоящие всего из 3–4 букв; см.: [Feldman 2000].


[Закрыть]. Долгосрочная человеческая память также ограниченна, хотя пока и не ясно, способны ли мы исчерпать ее возможности по хранению информации в течение обычной человеческой жизни, ведь скорость накопления нами информации так мала. (По одной из оценок, мозг взрослого человека может хранить примерно миллиард бит, что на пару порядков величины меньше, чем самый простой смартфон{198}198
  См.: [Landauer 1986]. Это исследование основано на экспериментальных оценках скорости запоминания и забывания информации людьми. Если учесть еще и неявное обучение, оценка может чуть улучшиться. Исходя из допущения, что емкость хранения равна примерно 1 биту на синапс, верхнюю границу емкости человеческой памяти можно оценить в 1015 бит. Обзор других оценок см.: [Sandberg, Bostrom 2008, Appendix A].


[Закрыть].) В случае машинного мозга больше и объем хранимой информации, и скорость доступа к ней.

• Надежность, продолжительность жизни, сенсоры и другое. Машинный интеллект может иметь и другие преимущества на уровне оборудования. Например, биологические нейроны менее надежны, чем транзисторы{199}199
  Шум в канале передачи информации может привести к ложным срабатываниям, поэтому из-за синаптического шума сила передаваемых сигналов меняется довольно сильно. Похоже, нервной системе пришлось найти множество компромиссов между терпимостью к шуму и издержками (масса, размер, длительность задержки); см.: [Faisal et al. 2008]. Например, аксоны не могут быть тоньше 0,1 мкм, в противном случае возможна генерация спонтанных потенциалов действия, вызванная случайным открытием ионных каналов [Faisal et al. 2005].


[Закрыть]. Поскольку зашумленные вычисления требуют дополнительных схем декодирования, в которых для обработки единственного бита информации требуется множество элементов, цифровой интеллект получает некоторое преимущество благодаря использованию надежных высокоточных вычислительных элементов. Мозг устает уже после нескольких часов работы и начинает сдавать через несколько десятков лет субъективного времени, у микропроцессоров таких ограничений нет. Поток данных в машинном мозгу можно увеличить за счет добавления миллионов сенсоров. В зависимости от используемой технологии машина может иметь изменчивую архитектуру, способную к оптимизации при изменении требований к выполняемым задачам, в то время как большая часть архитектуры мозга человека фиксирована с рождения, если она и меняется, то незначительно (хотя связи между синапсами могут меняться в течение таких коротких промежутков времени, как несколько дней){200}200
  См.: [Trachtenberg et al. 2002].


[Закрыть].

В настоящее время вычислительная мощность биологического мозга все еще превосходит мощность компьютеров, хотя самые современные сверхмощные компьютеры уже достигают уровня производительности, соответствующей оценкам производительности человеческого мозга{201}201
  С точки зрения объема памяти и вычислительной мощности, но не энергоэффективности. Самый быстрый на момент написания этой книги китайский суперкомпьютер Tianhe-2, который в июне 2013 года обошел Titan, созданный Cray Inc., имеет быстродействие в 33,86 Пфлопс. Он использует 17,6 МВт электроэнергии, что почти на шесть порядков больше, чем нужные мозгу 20 Вт.


[Закрыть]. Но компьютерное оборудование очень быстро совершенствуется, и предельные возможности его вычислительной мощности намного превышают возможности вычислительных систем биологических компьютеров.

Цифровой мозг имеет крупные преимущества также с точки зрения программного обеспечения.

• Редактируемость. С параметрами ПО можно экспериментировать, что практически нельзя делать с нейронной системой биологического головного мозга. Например, в компьютерной модели мозга можно легко посмотреть, что будет, если добавить больше нейронов в ту или иную область коры головного мозга, если повысить или понизить их возбудимость. Проведение таких экспериментов на живом биологическом мозгу было бы гораздо более трудным делом.

• Дублируемость. Можно быстро сделать сколько угодно точных копий ПО для установки на имеющееся оборудование. Напротив, чтобы воспроизвести биологический мозг, потребуется очень много времени, поскольку каждый «новорожденный» совершенно беспомощен и не помнит ничего, чему научились его «родители» в течение своей жизни.

• Координация целей. Коллективы людей страдают от неэффективности, связанной с тем, что практически невозможно достичь полного единства целей их членов, – и так будет по крайней мере до тех пор, пока не получится добиться покорности при помощи лекарственных препаратов или генетической селекции. У клана копий (группы идентичных или почти идентичных программ, разделяющих общие цели) таких проблем с координацией нет.

• Использование общей памяти. Биологический мозг нуждается в длительном обучении и наставничестве, в то время как цифровой может получать воспоминания и навыки, обмениваясь файлами с другими программами. Популяция из миллиарда копий программ искусственного интеллекта могла бы периодически синхронизировать свои базы данных, чтобы каждая из них знала все, чему остальные научились за прошедший час. (Прямая передача данных требует стандартизированных форматов представления информации. Поэтому простой обмен когнитивным контентом высокого уровня между любой парой программ искусственного интеллекта невозможен. В частности, это не получится сделать для компьютерных моделей мозга первого поколения.)

• Новые модули, модели поведения и алгоритмы. Восприятие зрительных образов кажется нам простым и не требующим усилий делом, в отличие от решения геометрических задач из школьного учебника, несмотря на то что для этого требуется огромный объем вычислений, чтобы создать реконструкцию трехмерного мира, населенного знакомыми нам объектами, из возникающих на нашей сетчатке двумерных моделей. А простым нам это кажется потому, что в нашем мозгу имеется специальный низкоуровневый нейронный механизм для обработки визуальной информации. Эта низкоуровневая обработка происходит неосознанно и автоматически, без расходования психической энергии и без отвлечения внимания. Восприятие музыки, использование языка, социальное познание и другие формы обработки информации, «естественной» для нас, людей, похоже, также поддерживается специализированными нейровычислительными модулями. Искусственный интеллект, в котором имелись бы такие же модули поддержки в важных для современного мира предметных областях, таких как, например, программирование и разработка проектов и бизнес-стратегий, имел бы большое преимущество перед нами, поскольку человеку, чтобы думать о таких вещах, приходится полагаться на неуклюжий универсальный механизм познания. Кроме того, для использования преимуществ, специфических для компьютеров, – скажем, быстрых последовательных вычислений – могут быть созданы специальные новые алгоритмы.

Предельные преимущества машинного интеллекта, представляющего синтез аппаратного и программного обеспечений, просто громадны{202}202
  Обратите внимание, что этот список имеет альтернативный характер: цифровой мозг существенно превзойдет человеческий даже в том случае, если некоторые из перечисленных преимуществ окажутся иллюзорными, поскольку для этого достаточно, чтобы имело место хотя бы одно из них.


[Закрыть]. Но насколько быстро можно реализовать этот потенциал? Ответом на этот вопрос мы займемся в следующей главе.

Глава четвертая
Динамика взрывного развития интеллекта

Итак, наступит момент, когда машины практически сравняются с человеком в общей способности осмысливания, – сколько времени им потребуется, чтобы обрести сверхразум? Будет ли этот переход неторопливым, постепенным, продолжительным? Произойдет ли он внезапно – во взрывном темпе? В главе анализируется динамика перехода к сверхразуму с точки зрения функциональности самой системы: силы оптимизации и сопротивляемости. Как поведут себя эти два фактора вблизи универсального интеллекта человеческого уровня? Будем исходить из того, что или якобы понимаем это, или по крайней мере сможем выстроить приемлемое предположение.

Время и скорость взлета

Допустим, что рано или поздно машинный интеллект значительно превзойдет общий интеллектуальный уровень человека, при этом мы не должны забывать, что на сегодняшний день познавательные способности человека в огромной степени превосходят возможности машинного познания. Нас не может не волновать, когда свершится самоуправство машин и насколько быстро утвердится их монополия на познание. Причем этот вопрос нужно четко отличать от поставленного нами в первой главе, а именно: насколько мы далеки от создания универсального искусственного интеллекта человеческого уровня. Сейчас речь идет о другом: если машина, наделенная универсальным интеллектом человеческого уровня, будет когда-то и где-то создана, сколько ей понадобится времени, чтобы полностью превратиться в сверхразумную? Заметьте, в отношении создания УИИЧУ можно занимать разные позиции: считать, что для этого потребуется очень длительное время; отрицать саму возможность хоть в малейшей степени оценить этот срок, – но в любом случае быть абсолютно уверенным, что как только человечество этого достигнет, дальнейшее развитие, то есть подъем на высочайший сверхразумный уровень, произойдет очень быстро.

Может быть, целесообразнее представить процесс развития схематично, даже если придется временно не принимать во внимание некоторые условия и подробности, усложняющие суть дела. Посмотрим на диаграмму, отражающую интеллектуальные способности наиболее совершенных систем искусственного интеллекта как функцию времени (см. рис. 7).

Рис. 7. Схема взлета. Важно разделять такие вопросы, как: состоится ли взлет? если взлет состоится, то когда? если когда-нибудь взлет произойдет, насколько резким он будет? Например, можно считать, что до взлета еще очень много времени, но когда момент наступит, все произойдет очень быстро. Есть еще один важный вопрос (на диаграмме не показан): какова будет роль мировой экономики в процессе взлета сверхразумной системы? Все вопросы связаны между собой.

Горизонтальная линия с надписью «человеческий уровень» представляет характерные для современных развитых стран интеллектуальные возможности среднестатистического взрослого человека, имеющего доступ к источникам информации и технологическим средствам. В настоящее время даже самая передовая интеллектуальная система в значительной степени – по любым разумным показателям – отстает от основных человеческих характеристик. В будущем, в какое-то неопределенное для нас время, интеллектуальная система сможет достичь приблизительного равенства с человеком (за основу нами принят зафиксированный в 2014 году общий уровень интеллекта человека, даже если в последующие годы он предположительно будет расти) этот момент будет свидетельствовать о начале взлета. Возможности интеллектуальной системы продолжат увеличиваться и спустя некоторое время достигнут паритета с объединенными интеллектуальными способностями всего человечества (уровень фиксации тот же 2014 год) это мы обозначим как «цивилизационный уровень». Если интеллектуальная система пойдет по пути дальнейшего развития, она наконец превратится в сильный сверхразум, то есть с точки зрения интеллектуальных возможностей выйдет на уровень, значительно превосходящий уровень человечества в целом, – когда это будет достигнуто, можно говорить о завершении взлета, хотя сама сверхразумная система в состоянии самосовершенствоваться и дальше. В какой-то момент в течение процесса взлета система может пройти отметку «критический рубеж», то есть точку, за которой совершенствование будет зависеть не от деятельности людей, а в основном от ее собственных усилий{203}203
  Может получиться, что система не пройдет какой-то из этих уровней. Вместо этого она постепенно, в течение какого-то времени, начнет опережать исследователей в выполнении все более сложных заданий на разработку самосовершенствования.


[Закрыть]. (Возможность существования критического рубежа, или точки перехода, важна для обсуждения тем, рассматриваемых в последнем разделе главы, – сила оптимизации и взрывоопасность.)

На диаграмме представлен обобщенный сценарий перехода интеллектуальной системы с человеческого на сверхразумный уровень, но в зависимости от крутизны кривой можно выделить три типа сценариев взлета – медленный, быстрый, умеренный.

1. Медленный взлет. Будет происходить на долгих временных интервалах – от десятилетий до столетий. Такие сценарии представляют собой отличные возможности, чтобы человечество смогло обдумать свои дальнейшие политические ходы, адаптировать их к ситуации и правильно реагировать на происходящее. Можно будет последовательно тестировать разные подходы, обучить и подготовить новых специалистов. Предвыборные кампании будут ориентированы на сторонников и противников происходящих процессов. Если выяснится, что нужны новые системы безопасности и общественного контроля над исследованиями в области ИИ, будет достаточно времени, чтобы их разработать и развернуть. Страны и ученые, опасающиеся гонки вооружений в области военного применения ИИ, смогут провести необходимые переговоры и разработать защитные механизмы. Большинство подготовительных мер, предпринятых накануне процесса медленного взлета, окажутся морально устаревшими, но постепенно начнут появляться новые решения, актуальные для наступающей эпохи.

2. Быстрый взлет. Произойдет в течение очень короткого промежутка времени – минуты, часы, дни. В сценариях быстрого взлета у людей почти не остается возможности реагировать на него. Никто не успеет ничего заметить, а игра уже окажется проигранной. В любом сценарии быстрого взлета судьба человечества в основном зависит от подготовительной работы, уже проведенной к этому моменту. В самом медленном из быстрых сценариев со стороны людей еще могут быть произведены какие-то элементарные телодвижения вроде потянуться открыть «ядерный чемоданчик», но тогда алгоритмы этих действий должны быть или действительно элементарны, или запланированы, запрограммированы и отрепетированы заранее.

3. Умеренный взлет. Произойдет в течение относительно короткого временного интервала – от нескольких месяцев до нескольких лет. В этом случае у человечества остается некоторая возможность отреагировать на происходящее, но не будет времени проанализировать его, протестировать разные подходы и решить сложные задачи координации действий. На создание и развертывание новых систем, таких как политические меры, механизмы контроля, протоколы безопасности компьютерных сетей, времени тоже не останется, но, возможно, получится приспособить к новым обстоятельствам уже существующие нормы.

В случае медленного взлета будет достаточно времени для распространения новостей. При умеренном взлете разработки могут остаться засекреченными. Знанием о них будут располагать лишь очень ограниченные группы людей, как это бывает при разработке секретных государственных программ военных исследований. Так же тайно, силами небольших научных коллективов или хакеров в каком-нибудь подвале, могут вестись работы в рамках коммерческих проектов – впрочем, если перспективы взрывного развития сверхразума попадут на радары государственных спецслужб и станут одним из приоритетов национальной безопасности, у наиболее многообещающих частных проектов появятся большие шансы оказаться под наблюдением. В таком случае у государства (или доминирующего международного игрока) будет возможность национализировать или закрыть любой проект, демонстрирующий признаки скорого взлета.

Быстрый взлет произойдет за столь короткое время, что никто не успеет не то что отреагировать на него, но даже рот открыть. Вмешаться будет возможно до начала взлета – правда, лишь при условии, что наготове имеется механизм по защите.

Сценарии умеренного взлета могут привести к геополитическим, социальным и экономическим потрясениям, поскольку отдельные люди и сообщества постараются обеспечить себе выигрышные позиции в ходе разворачивающихся преобразований. Возможные беспорядки начнут тормозить усилия по координации ответных мер и спровоцировать принятие решений более радикальных, чем те, которые были бы приняты в спокойной ситуации. Например, по одному из сценариев умеренного взлета в течение нескольких лет рынок труда постепенно заполняют дешевые и сверхпроизводительные имитационные модели, полученные вследствие полной эмуляции мозга, или иные системы искусственного интеллекта. При таком развитии событий можно допустить, когда начнутся массовые увольнения работников-людей, не менее массовые протесты, которые вынудят правительства увеличить пособия по безработице, ввести гарантии пожизненной занятости для всех граждан, а также специальные налоги или обязательные социальные отчисления для работодателей, использующих труд работников-роботов. Чтобы принятые в результате такой политики меры не оказались пустыми, они должны быть поддержаны новыми политическими и социальными структурами, действующими на постоянной основе. Аналогичные проблемы не исключены при сценариях медленного взлета, но в сценариях умеренного взлета диспропорции и скорость изменений способны привести к тому, что небольшие группы активистов получат непропорционально большое влияние.

Некоторым читателям может показаться, что из перечисленных сценариев взлета наиболее вероятен – медленный, менее вероятен – умеренный, практически невозможен – быстрый. Возможно ли предположить, что всего за пару часов мир в состоянии радикально измениться, а венец творения – быть сброшенным с вершины разума? С подобными громадными переменами история человечества еще не сталкивалась, а ближайшие параллели – неолитическая (сельскохозяйственная) и промышленная революции – потребовали гораздо больше времени (от нескольких веков до тысячелетия в первом случае, от нескольких десятилетий до веков – во втором). То есть база для трансформации такого рода, какая предполагается в случае сценариев быстрого или умеренного взлета, с точки зрения величины и скорости происходящих изменений, равна нулю, поскольку прецедентов – если не брать в расчет мифологии и религии – в человеческой истории не было{204}204
  За последние пятьдесят лет широко признан вполне реальным как минимум один сценарий, по которому предполагается исчезновение существующего мирового порядка в течение если не минут, то часов, – мировая ядерная война.


[Закрыть].

Однако медленный сценарий представляется как раз самым маловероятным – в пользу этого положения я приведу далее соответствующие аргументы. Скорее всего, события начнут развиваться по быстрому сценарию – если когда-нибудь взлет произойдет, он будет иметь взрывной характер.

Чтобы получить ответ на вопрос, насколько быстрым будет взлет, можно считать скорость роста интеллектуальных способностей системы монотонно возрастающей функцией двух переменных: величины «силы оптимизации», или взвешенных на качество усилий по разработке, прилагаемых с целью сделать систему более интеллектуальной, и «отзывчивости» системы к приложению оптимизирующей силы. Можно также ввести термин «сопротивляемость», обратный отзывчивости, и записать следующее:

В отсутствие количественного определения уровня интеллекта, усилий по его повышению и сопротивляемости это выражение остается по большей части качественным. Но по крайней мере можно будет наблюдать, что интеллектуальные способности системы быстро растут, когда или прилагаются большие усилия для их развития, притом что развить ее способности не очень трудно, или нужны нетривиальные усилия по разработке правильного дизайна системы, притом что сопротивляемость ее низка (или справедливо и то и другое). Если мы знаем, сколько усилий прилагается для улучшения той или иной системы, и скорость улучшений, которую они обеспечивают, то можем рассчитать сопротивляемость этой системы.

Далее, мы можем наблюдать, что сила оптимизации, направленная на улучшение эффективности той или иной системы, с течением времени сильно изменяется от системы к системе. Сопротивляемость системы также может сильно зависеть от того, насколько система уже оптимизирована. Часто первыми делаются простейшие улучшения, в результате чего – по мере срывания самых низко висящих плодов – результаты появляются все медленнее (растет сопротивляемость системы). Однако могут быть улучшения, облегчающие последующие улучшения, и тогда возникает каскад улучшений. Процесс складывания пазла поначалу кажется простым, ведь сложить углы и края картины довольно легко. Затем сопротивляемость растет – подбирать последующие части становится труднее. В конце, когда сборка пазла почти завершена, свободных мест практически не остается, и процесс вновь идет легко.

Таким образом, чтобы найти ответ на наш вопрос, следует проанализировать, как меняются в критические моменты взлета степень сопротивляемости и сила оптимизации. Этим мы и займемся далее.