Текст книги "2062: время машин"

Стоит ли нам волноваться?

Все эти экзистенциальные риски основываются отчасти на том, что сверхинтеллект будет очень быстро развиваться. В этом случае у нас останется мало шансов распознать угрозу заранее и предотвратить ее. Однако, как мы убедились, есть множество причин верить, что технологическая сингулярность никогда не случится. Если всё действительно так, то ИИ будет развиваться медленно. Мы начнем постепенно создавать все более продвинутые системы. Большинство моих коллег уверены, что до появления сверхинтеллекта у нас еще есть десятки лет, если не века; если они правы, то нам хватит времени подготовиться.

Кроме того, вас может успокоить тот факт, что за последнее десятилетие был создан исследовательский комитет, посвященный проблеме безопасности в сфере ИИ. Частично основанные благодаря гранту Илона Маска размером в десять миллионов долларов, в США, Великобритании и других странах работают группы специалистов, которые ищут технические способы избежать тех рисков, о которых я рассказал выше. В свете этих исследований я убежден, в ближайшее время нам не грозит уничтожение от рук ИИ.

Тем не менее мы не можем полностью исключать экзистенциальной угрозы, которую несет появление сверхинтеллекта. Однако разумнее было бы, вероятно, сосредоточиться на тех угрозах нашему виду, которые имеют более реальный характер, а также на более насущных (но менее опасных) проблемах, связанных с искусственным интеллектом. Вам необязательно верить мне на слово, когда я утверждаю, что ИИ – не самая страшная экзистенциальная угроза человечеству. Опрос пятидесяти нобелевских лауреатов, проведенный журналом Times Higher Education в 2017 году, показал, что искусственный интеллект проигрывает в этой борьбе климату, росту населения, атомной войне, болезням, эгоизму, невежеству, терроризму, фундаментализму и Дональду Трампу.

«Пари Паскаля»

Представим ненадолго, что сверхинтеллект все же появится. Даже если это произойдет спустя столетие или больше, люди вроде Илона Маска и Ника Бострома утверждают, что нам стоит об этом беспокоиться. Они боятся, что ИИ станет еще большей угрозой для человечества, чем ядерная война, глобальное потепление и другие актуальные проблемы планеты. Их страх – потерять контроль над машинами, что приведет к намеренному или ненамеренному уничтожению нашего вида.

Мне кажется, что их мнение в некотором смысле подчинено философскому аргументу, придуманному Блезом Паскалем. Паскаль, который родился в 1623 году, а умер в 1662-м, был французским философом, математиком и физиком. В своих посмертно опубликованных «Мыслях»[39]39
  «Мысли о религии и других предметах» (фр. Pensées sur la religion et sur quelques autres sujets) – собрание идей Блеза Паскаля, записанных им в 1657–1658 гг. Опубликованы в 1670 г. Позже название сократилось до одного слова – «Мысли» (фр. Pensées).


[Закрыть] он выдвинул аргумент о необходимости веры в Бога, получивший известность как «пари Паскаля».

Условия выглядят следующим образом. Бог либо существует, либо нет, а вам нужно решить, что из этого верно. Так или иначе вам приходится выбирать, ведь от этого зависит ваша судьба. Даже если вы не будете делать ничего, вы окажетесь на одной из двух сторон.

Если Бог существует и вы в него верите, то вам обеспечена прекрасная вечная жизнь. Если Бога нет, а вы в него верите, то ваша потеря конечна: ваши действия в этой жизни будут продиктованы верой в Бога, которого не существует. Если же Бог существует, но вы в него не верите, то ваши потери не закончатся со смертью: вы упускаете счастье вечной жизни. Наконец, если вы не верите в Бога и его не существует, то вы просто сэкономите усилия, которые потратили бы на религиозные практики.

Рассуждения Паскаля были одним из первых примеров «теории принятия решений», области логики, которая занимается поиском наилучших решений. (В наши дни ИИ находится на передовой процесса интеграции теории принятия решений в компьютеры. Факт, что те же теоретические идеи вводят людей в заблуждение относительно реальных экзистенциальных угроз для нашей планеты, кажется несколько ироничным.)

Теория принятия решений говорит нам о том, что верить в Бога выгоднее, чем не верить. Мы рискуем конечной суммой для того, чтобы потенциально приобрести бесконечную. Такого рода возможностью любой банкир или игрок должен пользоваться без лишних размышлений. «Пари Паскаля» логически убеждает поверить в Бога, так как это может принести вам максимум отдачи.

Однако исключительно логика и теория вероятности не могут определять, верить ли нам в Бога. Люди, которые переживают по поводу сверхинтеллекта, попадаются в похожую ловушку. В нашей ситуации этот аргумент выглядит следующим образом. Исчезновение человечества может быть концом всей жизни во Вселенной, которая превратится в пустое и безжизненное место. Это лишит миллиарды или даже триллионы людей, которые могли бы быть после нас, возможности быть счастливыми. Кроме того, многие поборники теории технологической сингулярности – трансгуманисты, верящие в то, что однажды мы победим смерть. В таком случае уничтожение человеческой расы лишит их возможных потомков еще большего счастья.

Исчезновение нашего вида – настолько серьезная угроза, что она перевешивает все остальные, даже учитывая тот факт, что риск ее реального появления совсем невелик. Она оказывается важнее мирового финансового кризиса. Важнее климатических изменений. Важнее коллапса нашей политической или экономической системы. Важнее даже Трампа. Раз это такая страшная угроза, мы просто обязаны поставить ее выше всего остального – прямо как в «пари Паскаля», где вечное счастье и его потеря ставят риск неверия в Бога выше всего остального. В обоих случаях мы должны игнорировать все остальные проблемы.

Не принимать в расчет будущее

Вообще говоря, современная теория принятия решений нашла контраргумент к «пари Паскаля». Решение в том, чтобы учитывать настоящее и не учитывать будущее. Награда, полученная сегодня, важнее, чем та, которую можно получить завтра. Мы живем в настоящем, а не в будущем. Это заставляет нас смотреть на проблему несколько хладнокровно и утилитарно. Однако эта точка зрения, вероятно, соотносится с нашей биологией. Моментальный результат для нас важнее долгосрочных перспектив.

Один из способов не принимать в расчет будущее – с помощью коэффициента дисконтирования[40]40
  Менее изящный способ сделать это – установить определенное временное окно. Вся прибыль, которая может быть получена по истечении этого времени, просто игнорируется.


[Закрыть]. Предположим, мы обесцениваем будущее счастье на два процента в год по нынешнему курсу инфляции во многих развитых экономиках. Из этого следует, что быть счастливым через год – это всего 98 % от цены сегодняшнего счастья. Нам придется еще раз воспользоваться утилитарной точкой зрения и подсчитать сумму счастья всего населения. Подарить двум людям одинаковую радость в два раза ценнее, чем подарить эту радость одному человеку.

Ради аргумента предположим, что население планеты продолжит расти в том же темпе, что и сейчас. В следующем году оно будет на 1,1 % больше, чем сегодня. Так как коэффициент дисконтирования больше, чем темпы роста населения, будущие поколения (даже бесконечные) не будут так же счастливы.

Через шестьдесят три года нынешнее население планеты удвоится. Однако коэффициент дисконтирования счастья таков, что люди, которые будут жить в это время, получат лишь его четверть. Счастье всего мира через шестьдесят три года будет лишь половиной сегодняшнего счастья. Поэтому важнее обрести его сейчас, а не через столько времени.

Через сто двадцать шесть лет население увеличится в четыре раза. По коэффициенту дисконтирования их радость будет составлять всего одну шестнадцатую от сегодняшней. Всеобщее счастье, в свою очередь, составит лишь четверть от сегодняшнего показателя. И снова представляется очевидным тот факт, что сегодняшнее счастье гораздо весомее будущего.

Даже небольшой коэффициент дисконтирования заставляет нас сосредоточиться на настоящем. Более актуальных проблем, по поводу которых имеет смысл волноваться, в мире предостаточно. Эти проблемы нанесут нам вред гораздо быстрее, чем сверхинтеллект. Несомненно, эта книга – предостережение по поводу некоторых реальных угроз, исходящих от ИИ и возникающих уже сейчас. Однако большинство из них касается исключительно того примитивного искусственного интеллекта, который мы имеем на сегодняшний день, а не того, который появится через пятьдесят или сто лет.

Никогда не говори «никогда»

Разумеется, нельзя уверенно говорить о том, что сверхинтеллект не представляет никакой опасности для человечества. История уже много раз учила нас никогда не говорить «никогда».

Мой коллега Стюарт Рассел любит вспоминать, что один из самых авторитетных физиков своего времени, Эрнест Резерфорд, утверждал, что извлечение энергии из атома невозможно. Эта его цитата была опубликована в статье в газете The Times 12 сентября 1933 года. На следующий день Лео Силарду пришла в голову идея ядерной цепной реакции, которая породила ядерную бомбу и атомную энергию[41]41
  По словам историка Ричарда Роудса, идея цепной реакции атомов пришла к Лео Силарду, когда он переходил улицу в лондонском районе Блумсбери на следующий день после того, как Резерфорд заявил о невозможности извлечения энергии из атома: «На светофоре загорелся зеленый свет. Силард сошел с тротуара. В тот момент, когда он пересек улицу, время вдруг раскрылось перед ним и он узрел путь в будущее, смерть в мире, все наши беды и очертания грядущих событий» (См. Richard Rhodes [1986] The Making of the Atomic Bomb, New York, Simon & Schuster). Цепная ядерная реакция – один из самых драматичных примеров силы экспоненциального роста. Один нейтрон расщепляет атом, высвобождая два нейтрона. Эти два нейтрона расщепляют два новых атома, высвобождая четыре нейтрона. Из этих четырех получается восемь, из восьми – шестнадцать, из шестнадцати – тридцать два и т. д. Спустя десять шагов мы получаем тысячу нейтронов, спустя двадцать – миллион, спустя тридцать – миллиард, спустя сорок – триллион. ИИ сейчас представляет собой пример подобного экспоненциального роста вычислительной способности, объема данных, выполнения алгоритмов и финансирования, инвестируемого в эту область. Так же, как и все экспоненты, этот рост не может продолжаться вечно, но пока это происходит и прогресс впечатляет. 3. Конец совести


[Закрыть]. Меньше чем за день человечество преодолело расстояние от «никогда» до «пугающе близко».

Стоит с осторожностью относиться к слову «никогда». Артур Ч. Кларк предложил три закона, которые предупреждают об опасности прислушиваться к тем экспертам, которые утверждают, будто что-либо никогда не произойдет. Их стоит держать в уме, когда речь идет о будущем.

• Первый закон. В случае, когда пожилой, но выдающийся ученый говорит о возможности чего-то, он почти наверняка прав. Если он утверждает, будто что-то невозможно, он, вероятно, ошибается.

• Второй закон. Единственный способ обнаружить границы возможного – рискнуть и попытаться выйти за них.

• Третий закон. Любая прорывная технология неотличима от волшебства.

В свете этого позвольте мне отметить, что технологическая сингулярность возможна, а вы уж сами решайте, что делать с этим прогнозом.

За рамками природы

Вообще говоря, идея технологической сингулярности несколько отвлекает от основной сути сверхинтеллекта. Он может появиться и без этого. Например, машины могут стать сверхразумными просто потому, что не связаны, в отличие от нас, биологическими рамками. У них есть масса преимуществ по сравнению с людьми, многие из которых я перечисляю в последней главе.

В ходе эволюции появление определенных природных ограничений было неизбежным. К примеру, наш мозг ограничен в размерах примерно до ста миллиардов нейронов. Человеческий мозг, потребляя энергии больше любого другого органа в нашем теле, ограничен всего двадцатью ваттами энергии. У компьютеров нет подобных проблем. Нужна дополнительная память? Поставьте лишний чип памяти. Нужно больше? Храните данные в облаке. Нужно больше мощности? Просто проведите больше напряжения от розетки в стене. К тому же, в отличие от нас компьютеры могут работать 24/7. Им не нужно спать или отдыхать.

Люди ограничены также в чувственном восприятии мира. Наше обоняние хуже, чем у собак, а зрение хуже, чем у орла. Компьютеры могут нас превзойти, если преодолеют эти ограничения. Они могут пользоваться совершенно иными, новыми сенсорами.

Инфракрасное зрение, как у москитов. Ультразвуковые сонары, как у летучих мышей. Сенсоры, которых не существует в природе, как, например, GPS, радары или лидары. Для машин не составит труда обрести суперспособности.

Именно поэтому автономные автомобили будут водить куда лучше людей к 2062 году. И так случится не только потому, что они лучше подкованы технически, хотя и это правда. Они смогут, ко всему прочему, гораздо точнее нас высчитывать тормозной путь. Они никогда не перепутают передачу. Они никогда не нарушат правила дорожного движения. Их радар и лидар будут видеть дорогу гораздо лучше наших глаз, особенно в плохую погоду. Их GPS никогда не заблудится. Через тридцать лет машины станут водить настолько лучше нас, что людям, возможно, позволят водить машину только на гонках или в других контролируемых условиях.

Кроме того, автономные машины будут водить лучше нас еще и благодаря своей сверхчеловеческой концентрации. Они никогда не устанут и не отвлекутся. Они будут сосредоточены на ведении машины на все сто процентов времени и сил. Для езды на автомобиле мне не нужен сверхинтеллект, который параллельно думает о том, как предотвратить изменения климата или установить мир на Ближнем Востоке. Мне нужен компьютер, созданный для ведения машины.

Интерфейс мозга

Илон Маск предположил, что наша единственная надежда не отстать от машин – это создать быстрый и удобный интерфейс для нашего мозга. Он организовал стартап, который занимается разработкой «нейронного шнурка», который соединил бы наш мозг напрямую с компьютером. Однако я нахожу этот аргумент Маска не очень убедительным по нескольким причинам.

Во-первых, мы уже имеем достаточно быстрый интерфейс в голове – глаза. Установлено, что наши глаза обрабатывают около десяти миллионов байт данных в секунду. Эта скорость сравнима со скоростью вашего интернет-подключения.

Во-вторых, скорость передачи данных, судя по всему, не является ограничивающим фактором для нашего сознания. Скорее всего, вы выучите больше за два часа чтения учебника, чем за два часа просмотра фильма. Однако двухчасовое чтение обеспечивает объем входных данных в размере около десяти мегабайт, тогда как просмотр фильма – в районе двух гигабайт. Скорость передачи данных нас не очень сдерживает. Однако обучение требует использования абстрактного мышления, и поэтому учебник даст вам в этом случае больше.

В-третьих, внушительная часть вашего мозга уже занята обработкой входных данных. Установлено, что около трети мозга задействовано в процессе обработки зрительных данных. Идея того, что у нас есть большие незадействованные части мозга, которые можно включить в работу «нейронных шнурков», – это миф.

В-четвертых, подключение мозга к компьютеру, вероятно, только замедлит его работу. Трудно вспомнить примеры эффективной совместной работы человека и машины. Недолго человек и компьютер вместе играли в шахматы лучше, чем по отдельности. Однако теперь компьютеры намного лучше нас, мы им только мешаем. Более быстрый интерфейс способен лишь еще раз подчеркнуть наши ограничения. Если вы беспокоитесь по поводу того, что машины могут нас поработить, то это не такая уж и плохая идея!

Мы действительно не можем быстро выводить информацию, только обрабатывать входные данные. Устная речь или печать на компьютере позволяют нам выводить всего лишь килобайты информации в минуту. Однако нет причин думать, будто этот факт тормозит работу нашего мозга. Не знаю, как вы, но я могу печатать и говорить примерно так же быстро, как и думать.

Опережая машины

Если быстрый интерфейс не сможет помочь нам опередить машины, то что же тогда сможет? Ставку нужно делать на наши сильные стороны – креативность, умение приспосабливаться, эмоциональный и социальный интеллект. Однако, помимо всего прочего, нам нужно помнить о вещах, которые делают нас особенными. Наше искусство. Наша любовь. Наш смех. Наше чувство справедливости. Наша смелость и стойкость. Наш оптимизм. Наша выдержка. Наш дух. Наше чувство общности.

Не имеет значения, насколько машины умны, они навсегда останутся машинами. Человеческий опыт навсегда останется только человеческим. Надеюсь, что homo digitalis воспользуются этим, поручат машинам то, что у них выходит лучше, и сосредоточатся на человеческих вещах.

3. Конец сознания

Одна из самых важных наших черт – это самосознание. С первой минуты нашего пробуждения и до того, как мы вновь погружаемся в сон, самосознание играет ведущую роль в человеческой жизни. Оно составляет нашу суть. Мы не просто разумны, мы это еще и осознаем. Мы рефлексируем себя самих. Мы переживаем. Мы помним прошлое. Мы планируем будущее.

Иногда эта постоянная осознанность становится настолько невыносимой, что мы ищем что-нибудь, что может нас от этого отвлечь и дать нам просто почувствовать настоящее. Мы медитируем. Мы слушаем музыку. Мы бегаем марафоны. Мы пьем алкоголь. Мы занимаемся бейсджампингом.

Что такое сознание? Как оно связано с интеллектом? Будут ли машины им обладать? Позволит ли нам ИИ к 2062 году загрузить собственное сознание в облако? Будет ли сознание homo digitalis наполовину биологическим, наполовину цифровым?

Трудная проблема

Австралийский философ Дэвид Чалмерс назвал сознание трудной проблемой. Некоторые даже поспорили, что проблема чересчур тяжелая для наших ограниченных умов или что она располагается за границей научного знания. Чалмерс считает, что сознание будет в конце концов описано наукой, но в 1995 году он утверждал, что мы упускаем что-то важное: «Для учета сознательного опыта нам необходим дополнительный ингредиент в объяснении. Это ставит непростую задачу перед теми, кто всерьез намерен изучить этот вопрос. Что составляет этот дополнительный ингредиент и почему именно он должен считаться сознательным опытом?»[42]42
  David Chalmers (1995) ‘Facing Up to the Problem of Consciousness’, Journal of Consciousness Studies, vol. 2 no. 3, pp. 200–219.


[Закрыть].

Некоторое время спустя он отметил следующее: «Сознание – самая сложная проблема во всем изучении разума. Нет ничего, что мы понимаем лучше, чем сознательный опыт, но нет также ничего, что нам было бы труднее объяснить. Все виды ментальных феноменов были покорены наукой в последние годы, однако сознание все еще упрямо сопротивляется. Многие пытались его объяснить, но эти объяснения никогда не попадали в яблочко»[43]43
  David Chalmers (2010) ‘The Singularity: A Philosophical Analysis’, Journal of Consciousness Studies, vol. 17, no. 9–10, pp. 7–65.


[Закрыть].

У нас нет инструментов, с помощью которых можно было бы измерить сознание. Насколько мы можем судить, ни одна часть нашего мозга не отвечает за него. Каждый из нас понимает, что он сознателен, и, учитывая наше биологическое родство, предполагает, что другие так же сознательны.

Ограниченным уровнем сознания в нашем понимании обладают даже некоторые животные. Собаки отчасти сознательны, кошки тоже. Однако немногие из нас полагают, что муравьи тоже входят в эту группу. Если посмотреть на те машины, которые мы создаем сегодня, то станет очевидно, что у них нет никакого сознания.

AlphaGo не проснется однажды утром и не подумает: «Знаете что? Вы, люди, совсем не умеете играть в го. Заработаю-ка я немного денег на онлайн-покере вместо этого». Вообще говоря, AlphaGo даже не знает о том, что играет в го. Она вечно будет делать только одно – максимизировать вероятность собственной победы в данной конкретной игре. И уж точно она не проснется и не подумает: «Вообще-то я устала играть в игры. Пора бы мне захватить планету». У AlphaGo нет других задач, кроме как стремиться к максимальной вероятности собственного выигрыша. У нее нет желаний. Она навсегда останется программой для игры в го. Она не будет расстраиваться из-за поражения или радоваться победе.

Однако быть уверенным в том, что ситуация не изменится, нельзя. Возможно, в будущем мы создадим машины, которые будут обладать сознанием. Для того чтобы компьютеры соблюдали определенную этику, важно, чтобы они рефлексировали над собственными решениями. Чтобы функционировать в таком быстроменяющемся и непостоянном мире необходимо создавать машины с ясной целью и способностью размышлять над тем, как ее добиться или адаптировать. Таков путь к появлению сознательной машины.

Сознание – настолько важная часть нашего существования, что следует задуматься, не она ли дала нам такое серьезное эволюционное преимущество. Наши сложные общественные системы работают отчасти потому, что мы понимаем, как думают другие. Если для нас сознание стало таким преимуществом, то машинам оно, вероятно, тоже пригодится.

Сознательные машины

Есть три сценария обретения, по которым машины могут обрести сознание: оно может быть запрограммировано, может появиться само в результате усовершенствования компьютеров или может быть ими усвоено.

Первый путь выглядит менее вероятным. Как запрограммировать нечто, что мы сами едва понимаем? Возможно, достаточно будет добавить исполнительный слой, который станет отслеживать действия и размышления компьютера. Однако, вероятно, нам придется подождать, пока мы сами не начнем понимать этот феномен лучше, прежде чем его программировать.

С другой стороны, необходимости в том, чтобы закладывать в компьютер сознание снаружи, может и не быть. Есть вероятность, что оно появится само собой. У нас есть множество примеров таких самозарождающихся феноменов в сложных системах. Жизнь, например, возникла сама в условиях сложной Вселенной. Точно так же сознание может возникнуть внутри сложной машины. В природе сознание совершенно точно возникает именно в сложно устроенных мозгах. Однако мы знаем о нем так мало, что всерьез обсуждать подобную возможность не имеет смысла.

Третий вариант – что машины научатся быть сознательными, – тоже имеет под собой основания. Часть нашего, вероятно, тоже была усвоена в процессе. Сразу после рождения наше сознание ограничено. Например, нам доставляет удовольствие изучать собственные пальцы на ногах. Проходят месяцы, прежде чем мы понимаем, что наше отражение в зеркале – это мы. Если мы научились осознавать себя, то почему машина не сможет этого сделать?

Однако сознание – это то, что нельзя смоделировать. Это может быть свойством некоторого особого типа материи. В качестве аналогии можно привести погоду. Можно смоделировать на компьютере шторм, но это не значит, что внутри машины станет мокро. Точно так же сознание, вероятно, может зарождаться лишь при определенном состоянии материи. И совсем не факт, что кремний подойдет на эту роль.