Текст книги "Искусственный интеллект. Этапы. Угрозы. Стратегии"

Сила оптимизации и взрывное развитие интеллекта

Изучив вопрос сопротивляемости, обратимся ко второй части нашего уравнения – силе оптимизации. Напомним:

Как видно из этой формулы, быстрый взлет не требует, чтобы сопротивляемость на фазе перехода была низкой. Быстрый взлет также может произойти на фоне неизменной или даже медленно растущей сопротивляемости, при условии, что сила оптимизации, приложенная к системе и повышающая ее производительность, растет довольно быстро. Мы увидим, что есть все основания считать: прилагаемая к системе сила оптимизации действительно будет расти на этапе перехода, по крайней мере в отсутствие явных мер, направленных против этого.

Здесь можно выделить две фазы. Первая фаза начинается с точки отрыва системы от уровня человеческого интеллекта. Поскольку ее возможности продолжают расти, она может использовать их часть или даже все возможности для самосовершенствования (или для создания системы-потомка, что неважно). Однако большая часть оптимизирующей силы будет приложена извне системы благодаря работе программистов и инженеров, как занятых в проекте, так и не имеющих к нему прямого отношения{218}218
  Если развитие идет довольно медленно, разработчики проекта могут воспользоваться достижениями в других областях, например успехами или университетских исследователей в области кибернетики, или производителей микропроцессоров.


[Закрыть]. Если эта фаза растянется на долгое время, можно ожидать, что сила оптимизации, приложенная к системе, будет увеличиваться. Вклад в проект и команды, и участников извне станет расти, если выбранный подход покажет свою перспективность. Исследователи начнут работать усерднее, их количество вырастет, чтобы ускорить прогресс, начнут покупать больше компьютеров. Рост будет особенно быстрым, если создание ИИЧУ окажется для мира неожиданностью – в этом случае на изначально небольшом проекте будут сосредоточены усилия исследователей и разработчиков всего мира (хотя какая-то часть мировых усилий может быть направлена на реализацию конкурирующих проектов).

Вторая фаза роста начнется в тот момент, когда система аккумулирует такую мощность, что превратится в основной источник оптимизирующей силы по отношению к самой себе (на рис. 7 это отмечено как «критический рубеж, или точка перехода»). Это резко изменит динамику процесса, поскольку любые изменения возможностей системы теперь приводят к пропорциональному росту оптимизирующей силы, приложенной с целью ее дальнейшего совершенствования. Если сопротивляемость остается постоянной, начинается рост в геометрической прогрессии (см. врезку 4). Удвоение эффективности может происходить очень быстро – есть сценарии, где на это требуется всего нескольких секунд – если рост идет с электронными скоростями за счет использования алгоритмических усовершенствований или эксплуатации контентного или аппаратного навеса{219}219
  Вероятность возникновения алгоритмического навеса невысока, разве что появится такое экзотическое аппаратное обеспечение, как квантовые компьютеры, которые позволят запускать невозможные прежде алгоритмы. Кто-то может возразить, что примерами алгоритмического навеса являются нейронные сети и глубокое машинное обучение. В момент изобретения они были слишком затратными с точки зрения вычислительной мощности, на некоторое время оказались отложенными в сторону, а затем вновь стали востребованными – когда быстрые графические процессоры снизили затраты на их работу. И теперь они на коне.


[Закрыть]. Для роста, базой которого является физическая инфраструктура, скажем, создание новых компьютеров или производственных мощностей, потребуется несколько больше времени (и все-таки оно будет совсем незначительным, если брать во внимание текущие темпы роста мировой экономики).

Таким образом, вполне вероятно, что в процессе перехода сила оптимизации будет расти – вначале потому, что люди будут стараться быстрее улучшить показатели искусственного интеллекта, демонстрирующего выдающиеся успехи, а позднее из-за того, что он и сам окажется в состоянии обеспечивать прогресс уже на цифровых скоростях. Это создаст реальные предпосылки для быстрого или умеренного взлета, даже если сопротивляемость будет постоянна или немного вырастет в зоне человеческого интеллектуального уровня{220}220
  Даже если продвижение к человеческому интеллектуальному уровню окажется медленным.


[Закрыть].

Врезка 4. О динамике взрывного развития интеллекта

Скорость изменения уровня интеллекта можно выразить в виде соотношения силы оптимизации, прикладываемой к системе, и ее сопротивляемости:

Совокупная сила оптимизации, действующая на систему, складывается из силы оптимизации, которую производит сама система, и приложенной извне. Например, развивать зародыш ИИ можно за счет комбинации его собственных усилий и усилий команды программистов-людей, возможно, с привлечением широкого глобального сообщества исследователей, постоянно работающих над прогрессом в отрасли производства полупроводников, компьютерных науках и связанных с ними областях{221}221
  мир – это часть оптимизирующей силы, приложенной для совершенствования рассматриваемой системы. Для проекта, который реализуется в условиях относительной изоляции и не получает заметной поддержки извне, мир ≈ 0, даже если изначальные ресурсы (компьютеры, научные концепции, обученный персонал и т. д.) представляют собой часть мировой экономики и стали результатом многих веков развития человечества.


[Закрыть]:

= система + проект + мир

Изначально зародыш ИИ обладает очень ограниченными когнитивными способностями. То есть в начальной точке величина система мала{222}222
  Наиболее важной среди всех когнитивных способностей зародыша ИИ является его способность выполнять интеллектуальную работу по саморазвитию, то есть способность повышать уровень своего интеллекта. (Если зародыш ИИ специализируется на улучшении другой системы, которая, в свою очередь, улучшает его, их можно рассматривать как подсистемы более крупной системы и анализировать в совокупности.)


[Закрыть]. А как насчет проект и мир? Бывают случаи, когда возможности проекта превышают возможности всего остального мира, как было, например, с Манхэттенским проектом, когда большинство лучших физиков мира оказались в Лос-Аламосе и приняли участие в создании атомной бомбы. Но чаще на любой отдельно взятый проект приходится лишь очень небольшая доля общемировых исследовательских возможностей. Однако даже когда возможности мира намного превышают возможности проекта, проект может все-таки превышать мир, поскольку большинство исследователей за пределами проекта сосредоточены на других направлениях работы. Если проект начинает выглядеть многообещающим – что происходит, когда система достигает человеческого интеллектуального уровня или даже раньше, – он привлекает дополнительные инвестиции, что повышает проект. Если достижения проекта становятся достоянием широкой общественности, величина мир также повышается, поскольку растет интерес к искусственному интеллекту в целом и в игру включаются другие участники. Таким образом, на переходном этапе совокупная сила оптимизации, действующая на когнитивную систему, скорее всего, будет расти по мере роста возможностей системы{223}223
  Когда сопротивляемость не настолько высока, что может привести к отказу от инвестирования или переключению на другой проект.


[Закрыть].

Рост возможностей системы может дойти до такой точки, где сила оптимизации, которую производит сама система, начинает доминировать над силой оптимизации, приложенной к системе извне (по всем существенным направлениям усовершенствования):

система > проект + мир

Этот рубеж очень важен, поскольку за ним дальнейшее совершенствование системы оказывает весьма сильное влияние на рост совокупной силы оптимизации, приложенной к системе с целью ее совершенствования. То есть включается режим мощного рекурсивного самосовершенствования. Это приводит к взрывному росту возможностей системы в широком диапазоне форм кривых сопротивляемости.

Чтобы проиллюстрировать это, рассмотрим первый сценарий, в котором сопротивляемость постоянна, вследствие чего возможности ИИ растут пропорционально приложенной к нему силе оптимизации. Предположим, что вся сила оптимизации генерируется самой системой и что все интеллектуальные возможности системы направлены на решение задачи совершенствования ее интеллекта, так что система = I{224}224
  Аналогичный пример обсуждается Юдковским [Yudkowsky 2008 b].


[Закрыть]. Тогда мы имеем:

Решая это простое дифференциальное уравнение, получаем экспоненциальную функцию:

I = Aet/k

Но постоянство сопротивляемости – особый случай. Сопротивляемость вполне может снизиться в зоне человеческого интеллектуального уровня в силу одного или нескольких факторов, рассмотренных в предыдущем разделе, и оставаться низкой в точке перехода и некоторое время после нее (возможно, до тех пор, пока система в конечном счете не упрется в фундаментальные физические ограничения). Предположим, что приложенная к системе сила оптимизации остается примерно постоянной (то есть проект + мир ≈ с), пока система не получает возможность сама существенно менять свой дизайн, что приводит к удвоению ее возможностей через каждые 18 месяцев. (Это примерно соответствует историческим темпам совершенствования систем, если объединить закон Мура и прогресс в области создания ПО{225}225
  Поскольку входные параметры тоже растут (скажем, инвестиции в строительство новых заводов и количество людей, занятых в отрасли производства полупроводников), закон Мура как таковой не обеспечивает требуемого роста при исключении влияния этих параметров. Однако в сочетании с успехами в создании ПО допущение об удвоении возможностей систем каждые 18 месяцев может оказаться правдоподобным.


[Закрыть].) Такие темпы совершенствования, достигнутые за счет действия примерно постоянной силы оптимизации, приводят к тому, что сопротивляемость снижается обратно пропорционально силе системы:

Если сопротивляемость продолжает снижаться по такой гиперболе, то когда ИИ достигнет точки перехода, совокупная сила оптимизации, действующая на систему, удвоится. То есть:

Следующее удвоение произойдет через 7,5 месяца. В течение 17,9 месяца возможности системы вырастут в тысячу раз, превратив ее в быстрый сверхразум (см. рис. 9).

Рис. 9. Одна из простых моделей взрывного развития интеллекта

Эта конкретная траектория роста имеет точку положительной сингулярности в момент t = 18 месяцев. В реальности предположение, что сопротивляемость является константой, перестанет выполняться по мере приближения системы к физическим границам обработки информации, если не раньше.

Эти два сценария приведены лишь в качестве иллюстрации: в зависимости от формы кривой сопротивляемости возможно множество других траекторий. Суть проста: мощная обратная связь, возникающая в районе точки перехода, должна привести к более быстрому взлету, чем в ее отсутствие.

В предыдущем разделе мы видели, что есть факторы, способные привести к резкому снижению сопротивляемости. К таким факторам относятся, например, возможность быстрого расширения аппаратной основы, как только будет создано работающее интеллектуальное ПО; возможность алгоритмических улучшений; возможность сканирования дополнительных экземпляров мозга (при полной эмуляции головного мозга); возможность быстрого усвоения огромного объема контента за счет тщательного обследования интернета (в случае искусственного интеллекта){226}226
  Было сделано несколько экспериментальных попыток развить идею о взрывном развитии интеллекта в рамках теории экономического роста; см., например: [Hanson 1998 b; Jones 2009; Salamon 2009]. В этих исследованиях указывается на возможность чрезвычайно быстрого экономического роста в случае создания цифрового разума, но поскольку теория эндогенного роста сравнительно плохо разработана даже в применении к историческим и современным условиям, ее применение к потенциально недолговечным будущим условиям лучше пока считать источником потенциально полезных концепций и мыслей, чем методом, способным обеспечить нас надежными прогнозами. Обзор попыток создать математическую модель технологической сингулярности см.: [Sandberg 2010].


[Закрыть].

Впрочем, нужно сказать, что форму кривой сопротивляемости в каждой конкретной области характеризовать довольно сложно. В частности, неясно, насколько трудно будет повысить качество ПО имитационной модели человеческого мозга или ИИ. Нет также ясности и со степенью сложности расширения аппаратной базы подобных систем.

Хотя сегодня сравнительно легко увеличить вычислительную мощность, доступную небольшому проекту, – просто потратив на компьютеры в тысячу раз больше или подождав несколько лет падения цен на них, – вполне вероятно, что первый машинный интеллект, достигший человеческого уровня, будет создан в рамках крупного проекта с применением дорогих сверхмощных компьютеров, которые не слишком просто масштабировать, и что к этому времени перестанет действовать закон Мура. По этим причинам не следует исключать возможность медленного взлета, хотя вероятность быстрого или умеренного взлета представляется все-таки более высокой{227}227
  Вполне возможно, что никакого взлета не будет. Но поскольку, как обсуждалось ранее, появление сверхразума представляется технически возможным, взлет может не начаться лишь в случае вмешательства какой-то внешней силы, скажем, экзистенциальной катастрофы, то есть окончательной глобальной катастрофы, которая приведет к вымиранию человечества. Если сильный сверхразум появится не в форме УИИ или имитационной модели мозга, а иными путями, тогда более вероятно развитие по сценарию медленного взлета.


[Закрыть].

Глава пятая
Решающее стратегическое преимущество

Помимо вопроса о динамике процесса появления сверхразума, есть еще один, с ним связанный: будет ли создан единственный сверхразум или множество? Наступит ли власть единственного сверхразума или власть многих? Взрывное развитие искусственного интеллекта приведет к тому, что лишь один проект вырвется далеко вперед и продиктует людям их будущее? Или прогресс пойдет более равномерным путем, разворачиваясь широким фронтом, коснется многих разработок, ни одна из которых не обеспечит себе безоговорочного верховенства?

В предыдущей главе был проанализирован один параметр, ключевой с точки зрения определения масштаба возможного разрыва между проектом-лидером и его ближайшими конкурентами, а именно: скорость перехода от интеллекта человеческого уровня к сверхразуму. Она определяет очень многое. Если взлет быстрый (происходит в течение часов, дней или недель), тогда маловероятно, что два независимых проекта осуществят его одновременно: почти наверняка один из проектов завершит свой взлет прежде, чем кто-то еще перейдет к этой стадии. Если взлет медленный (тянется на протяжении многих лет или десятилетий), тогда, вполне возможно, будет несколько проектов, перешедших к этой стадии одновременно, и несмотря на огромные возможности, которые появятся у проектов, завершивших переход, ни у одного из них не будет довольно времени на то, чтобы обойти остальные и получить безусловное преимущество. Умеренный взлет попадает в промежуточную категорию, где вероятны любые варианты: не исключено, что на стадии взлета окажется одновременно несколько проектов, но возможно – всего один{228}228
  Цифровой разум может быть запущен на единственной машине, а не с помощью глобальной компьютерной сети, но мы имеем в виду не такую концентрацию. Нас больше интересует степень концентрации власти – особенно такой, которую обеспечивает технологическое превосходство, – на последних стадиях революции машинного интеллекта или сразу после ее завершения.


[Закрыть].

Способен ли какой-то из проектов настолько сильно оторваться от конкурентов, что получит решающее стратегическое преимущество – преимущество технологического или любого иного рода, но достаточное для утверждения мирового господства? И далее: получив абсолютное стратегическое преимущество, станет ли этот проект игроком-одиночкой, то есть синглтоном, начнет ли подминать мир под себя, убирая с пути всех конкурентов и формируя новое мироустройство, при котором только он будет принимать решения? Если объявится такой проект-победитель, насколько «великим» он должен быть? Причем не с точки зрения физического размера или величины бюджета, а с точки зрения размаха человеческих желаний, предпочтений и замыслов. Рассмотрим эти вопросы по порядку.

Получит ли лидирующий проект абсолютное преимущество?

Одним из факторов, влияющих на величину разрыва между идущим впереди и следующими за ним, является степень расширения того (может быть все что угодно), что обеспечивает лидеру конкурентное преимущество. Лидеру иногда трудно оторваться от преследователей, если они могут легко копировать его идеи и новшества. Появление суррогатов порождает реальные препятствия, и этот встречный ветер бьет прямо в лицо вырвавшемуся вперед и играет на руку тем, кто находится сзади, особенно если речь идет об интеллектуальной деятельности, права на которую защищены слабо. Кроме того, лидер может быть особенно уязвим с точки зрения отчуждения собственности, повышенного налогообложения или разделения в рамках антимонопольного регулирования.

Было бы ошибкой считать, что сдерживающие факторы должны монотонно возрастать по мере увеличения разрыва между лидером и идущими следом. Разработчик, во всем уступающий технологическому лидеру, может столкнуться с трудностями при попытке воспользоваться его проектами, стоящими на передовом крае науки, – ситуация вполне сравнимая с велогонщиком, сильно отставшим от основной массы соперников и оказавшимся незащищенным от порывов встречного ветра{229}229
  Например, в развивающихся странах потребительские товары, как правило, выводятся на рынок медленнее, см.: [Talukdar et al. 2002]; см. также: [Keller 2004; World Bank, 2008].


[Закрыть]. Бывает, что разрыв между интеллектуальными и материальными возможностями оказывается слишком большим. Лидер, например, может себе позволить перейти на новейшую технологическую платформу, после чего уже никто из отстающих не будет в состоянии воплотить на своих примитивных платформах его дальнейшие инновации. Когда какой-либо проект вырывается далеко вперед, следует исключить информационные утечки, обеспечить секретность наиболее важных разработок и препятствовать усилиям конкурентов развить собственные материальные возможности.

Если проектом-лидером является ИИ, он может обладать такими атрибутами, которые позволят ему легче развивать свои возможности и при этом снизить риск распространения информации. В организациях, которыми управляют люди, преимущества от экономии на масштабе уравновешиваются бюрократической неэффективностью и агентскими проблемами, в том числе трудностью сохранения коммерческих секретов{230}230
  Для настоящего обсуждения этой проблемы следовало бы привлечь серьезную экономическую литературу, посвященную теории организаций. Бесспорно, классическим источником до сих пор служит фундаментальный труд Рональда Коуза «Природа фирмы» [Coase 1937]; см. также: [Canbäck et al. 2006; Milgrom, Roberts 1990; Hart 2008; Simester, Knez 2002].


[Закрыть]. Скорее всего, эти проблемы будут тормозить развитие проектов искусственного интеллекта до тех пор, пока разработками управляют люди. Однако системы ИИ могут избежать некоторых недостатков, связанных с увеличением масштаба проекта, поскольку работники-эмуляции (в отличие от работников-людей) не имеют интересов, отличных от интересов системы в целом. Следовательно, системы ИИ смогут избежать заметного снижения эффективности, характерного для проектов, в которых заняты люди. Благодаря тому же преимуществу – наличию абсолютно лояльных компонентов – системам ИИ гораздо легче обеспечивать секретность. В их случае невозможно появление обиженных сотрудников, готовых перейти к конкуренту или продать коммерческую информацию{231}231
  Тем не менее зародыш ИИ легко выкрасть – передать по сети или унести на флешке.


[Закрыть].

О том, каким может быть отрыв при разработке различных систем, можно получить представление, обратившись к историческим примерам (см. врезку 5). Похоже, для стратегически важных технологических проектов типичным является диапазон от нескольких месяцев до нескольких лет.

Врезка 5. Технологическая гонка – несколько исторических примеров

На длинной исторической временной шкале хорошо заметно, как увеличивалась скорость распространения знаний и технологий по всему миру. В результате разрыв между технологическими лидерами и их ближайшими преследователями постоянно сужался.

Свыше двух тысячелетий Китай смог удерживать монополию на производство шелка. Археологические находки говорят о том, что он мог возникнуть около 3000 года до н. э. или даже раньше{232}232
  Согласно некоторым исследователям, шелк мог использоваться уже в культуре Яншао (5000–3000 гг. до н. э.), см.: [Barber 1991]. В относительно недавней работе приведено приблизительное время одомашнивания тутового шелкопряда (на основании генетических исследований) около 4100 лет назад [Sun et al. 2012].


[Закрыть]. Шелководство было тщательно охраняемым секретом. Разглашение его каралось смертной казнью, как и вывоз шелковичных червей и их яиц за пределы страны. Римляне, несмотря на высокую цену импортного шелка на просторах их империи, так и не овладели искусством шелководства. Только около 300 года н. э. одна японская экспедиция смогла захватить несколько яиц шелкопряда и четырех китайских девушек, которых похитители заставили раскрыть секреты мастерства{233}233
  См.: [Cook 1984, p. 144] – эта легенда слишком красива, чтобы быть исторически правдоподобной, как и история, рассказанная Прокопием Кесарийским в его «Войнах» (VIII, 1–7), что тутовые шелкопряды были доставлены в Византию странствующими монахами в их бамбуковых посохах, см.: [Hunt 2011].


[Закрыть]. Византия присоединилась к клубу производителей шелка только в 522 году. Для истории с производством фарфора тоже характерны длинные временные лаги. Это искусство практиковалось в Китае уже во времена династии Тан, то есть минимум с 600 года (а могло быть известно и раньше, с 200 года), но стало доступно европейцам только в XVII веке{234}234
  См.: [Wood 2007; Temple 1986].


[Закрыть]. Колесные повозки появились в нескольких местах Европы и Месопотамии около 3500 года до н. э., но достигли Америки только после ее открытия Колумбом{235}235
  В доколумбийских культурах колесо было известно, но использовалось только для игр (возможно, из-за отсутствия подходящих тягловых животных).


[Закрыть]. Если говорить о более важных событиях, то людям потребовались десятки тысяч лет, чтобы расселиться на большей части земного шара; неолитическая революция шла несколько тысяч лет; промышленная революция – всего сотни лет; информационная революция – десятилетия, хотя, конечно, эти изменения не обязательно были одинаково глубокими. (Видеоигра Dance Dance Revolution появилась в Японии и распространилась в Европе и Северной Америке всего за год!)

Технологическая конкуренция изучается очень интенсивно, особенно в контексте патентной гонки и гонки вооружений{236}236
  См.: [Koubi 1999; Lerner 1997; Koubi, Lalman 2007; Zeira 2011; Judd et al. 2012].


[Закрыть]. Обзор соответствующей литературы выходит за рамки темы этой книги. Однако будет полезно взглянуть на некоторые примеры стратегически важных технологических схваток XX века (см. табл. 7).

Таблица 7. Стратегически важные гонки технологий{239}239
  ¹² Испытанная в 1953 году РДС-6 стала первой бомбой с использованием термоядерной реакции, но первую «настоящую» термоядерную бомбу РДС-37, у которой на долю реакции синтеза приходилась большая часть мощности взрыва, испытали только в 1955 году.
  ¹³ Подтверждений нет.
  ¹⁴ Испытания прошли в 1989 году, в 1994-м проект был закрыт.
  ¹⁵ Развернутая система, радиус действия превышает 5000 км.
  ¹⁶ Ракеты Polaris, приобретенные у США.
  ¹⁷ Ведутся работы над ракетой Taimur, видимо, на базе китайской технологии.
  ¹⁸ Испытанный в 1989–1990 гг. ракетоноситель RSA-3 предполагалось использовать как для запусков спутников, так и в качестве МБР.
  ¹⁹ Многозарядные боеголовки индивидуального наведения позволяют использовать одну баллистическую ракету для поражения множества целей.
  ²⁰ Система Agni V пока не принята на вооружение.


[Закрыть]

В случае шести главных технологий, считавшимися сверхдержавами стратегически важными из-за их военного или символического потенциала, разрыв между лидером и его ближайшим преследователем составлял (очень приблизительно) 49 месяцев, 36 месяцев, 4 месяца, 1 месяц, 4 месяца и 60 месяцев соответственно – это больше, чем длительность быстрого взлета, но меньше, чем медленного{237}237
  Оценка дана на основании множества источников. Скорее всего, показатель разрыва подсчитывался очень приблизительно и зависел от того, какие возможности считались сопоставимыми. Через пару лет после изобретения радара он использовался как минимум двумя странами, но точное время в месяцах рассчитать довольно трудно.


[Закрыть]. Во многих случаях проекты-преследователи получили преимущество за счет шпионажа и использования информации, оказавшейся в открытом доступе. Сама демонстрация возможности изобретения часто служила стимулом остальным для продолжения работ по его независимой разработке, а страх отстать оказывался дополнительным мощным стимулом.

Возможно, ближе всего к ситуации с ИИ находятся математические открытия, не требующие создания новой материальной инфраструктуры. Часто для признания их общедоступными довольно публикации в научной литературе, но в некоторых случаях, когда открытие дает какое-то стратегическое преимущество, сроки публикации переносятся. Скажем, в криптографии с открытым ключом есть две наиболее важные концепции: протокол Диффи – Хеллмана, позволяющий двум и более сторонам получать общий секретный ключ, и схема шифрования RSA. Они были представлены научному сообществу в 1976 и 1978 гг. соответственно, но позднее оказалось, что криптографы в группе секретной связи Великобритании знали о них с начала 1970-х гг.{238}238
  См.: [Ellis 1999].


[Закрыть] Крупные проекты по созданию ПО могут быть близким аналогом проектов в области ИИ, но привести убедительные примеры типичного лага нелегко, поскольку ПО обычно много раз обновляется и дополняется, а функциональность конкурирующих систем часто невозможно сравнить напрямую.

Возможно, что глобализация и политика сдерживания сократят типичные отставания между реализацией конкурирующих технологических проектов. Хотя, когда нет сознательного сотрудничества, нижняя граница у средней задержки все-таки существует{240}240
  Если мы считаем, что время отставания реализации проектов подчиняется нормальному закону распределения, тогда, скорее всего, расстояние между проектом-лидером и его ближайшим преследователем также должно зависеть от общего количества разработок. Когда проектов много, отрыв первого от второго будет относительно небольшим даже тогда, когда дисперсия довольно велика (и будет медленно сокращаться с ростом количества конкурентов). Однако маловероятно, что будет слишком много проектов, обладающих достаточными ресурсами, чтобы всерьез претендовать на успех. (Обилие проектов возможно лишь при обилии различных подходов и методик – большинство которых, скорее всего, окажутся тупиковыми.) Современный опыт говорит, что серьезных претендентов на достижение любой заметной с технологической точки зрения цели обычно можно пересчитать по пальцам. Несколько отличная ситуация на потребительском рынке, поскольку там существует множество ниш для лишь слегка отличающихся продуктов, а входные барьеры слишком низки. Есть тьма проектов по дизайну футболок, когда в каждой разработке принимает участие один человек, но всего несколько компаний в мире участвуют в разработке следующего поколения графических карт. (В настоящий момент фактической дуополией обладают AMD и NVIDIA, а в сегменте карт с низкой производительностью с ними конкурирует Intel.)


[Закрыть]. Даже при отсутствии заметной динамики, способной привести к эффекту снежного кома, у каких-то проектов всегда будет более сильная команда исследователей, более талантливые лидеры, более мощная инфраструктура или просто блестящие идеи. Если два проекта разрабатывают разные подходы к решению одной задачи и один из них оказывается более удачным, проекту-конкуренту для переключения на него может понадобиться много месяцев – даже при возможности слежки за действиями соперника.

На основании наших предыдущих наблюдений относительно природы скорости взлета можно сделать соответствующие выводы: вероятность одновременного осуществления быстрого взлета сразу силами двух проектов крайне мала; в случае умеренного взлета это вполне возможно; в случае медленного взлета почти наверняка в процессе будут участвовать параллельно несколько проектов. Но анализ на этом не заканчивается. Вопрос не в том, сколько проектов отправится в путь одновременно. Главный вопрос: сколько из них, обладая приблизительно одинаковыми возможностями, окажется на другом берегу, причем так, чтобы ни один из них не смог получить решающего конкурентного преимущества. Если процесс взлета начнется относительно медленно, а потом ускорится, дистанция между проектами-конкурентами начнет расти. Возвращаясь к нашей аналогии с велосипедной гонкой, представим, что два гонщика взбираются вверх по склону холма, и если один едет чуть позади, то разрыв между ними увеличится, как только лидер перевалит через вершину и покатится вниз.

Рассмотрим следующий сценарий умеренного взлета. Предположим, ИИ нужен год, чтобы поднять свои возможности с человеческого уровня до сверхразумного, причем второй проект вошел в стадию взлета спустя шесть месяцев после первого. Может показаться, что ни один из них не имеет решающего конкурентного преимущества. Но это не обязательно так. Допустим, потребуется девять месяцев, чтобы пройти путь от уровня человека до точки перехода, и еще три месяца – чтобы достигнуть уровня сверхразума. Тогда система-лидер превратится в сверхразум за три месяца до того, как ее соперник достигнет хотя бы точки перехода. Это обеспечит идущему впереди решающее конкурентное преимущество и даст возможность, умело использовав свое лидерство, установить неусыпный и повсеместный контроль. В итоге проекты-конкуренты погублены и установлен режим проекта-одиночки, или синглтона. (Заметим, что синглтон является чистой абстракцией. Режим при нем может быть самым разным: демократия; тирания; единодержавие, то есть абсолютизм ИИ; набор жестких общемировых законов, подлежащих безотказному исполнению. Иначе говоря, синглтон – это некий орган, способный в одиночку решать все крупные проблемы общемирового масштаба. Он может нести в себе – но совсем не обязательно – характеристики знакомых нам форм человеческого управления{241}241
  См.: [Bostrom 2006 c]. При желании можно вообразить разные варианты, например: синглтон, чье существование вообще невидимо (когда сверхразум обладает настолько развитыми технологиями и проницательностью, что может незаметно для людей управлять всем миром); синглтон, добровольно установивший жесткие самоограничения своей власти (пунктуально соблюдает международные нормы и договоры); синглтон-либертарианец. Какова вероятность возникновения синглтона того или иного типа – вопрос скорее умозрительный, пока не будет проверено на опыте. Однако почему бы не дать волю фантазии хотя бы на концептуальном уровне: хороший синглтон, плохой синглтон, дерзкий синглтон, вздорный синглтон, приторно-любезный синглтон, деспотичный синглтон с признаками паранойи, вопящий самодур синглтон, порою напоминающий разбушевавшуюся природную стихию.


[Закрыть].)

Поскольку имеются серьезные перспективы взрывного роста сразу после точки перехода, когда сила оптимизации включит мощную обратную связь, описанный выше сценарий имеет большую вероятность реализации, увеличивая шансы того, что лидирующий проект получит абсолютное конкурентное преимущество даже в случае не самого быстрого взлета.