Текст книги "Что мы думаем о машинах, которые думают: Ведущие мировые ученые об искусственном интеллекте"

Добро пожаловать в ваше новое сверхчеловеческое «я»

Марсело Глейзер

Профессор натурфилософии, преподаватель физики и астрономии, Дартмутский колледж; автор книги «Остров знаний» (The Island of Knowledge)[13]13
  Глейзер М. Остров знаний. Пределы досягаемости большой науки. – СПб.: Питер, 2017.


[Закрыть]

Давайте рассмотрим ситуацию: вы опаздываете на работу и в спешке забываете дома мобильный телефон. Обнаруживаете вы это, только застряв в пробке или спустившись в метро. Возвращаться слишком поздно. Вы смотрите вокруг и видите, что все разговаривают, переписываются, что-то смотрят в интернете, даже если это запрещено. Вы ощущаете незнакомое чувство потери, оторванности. Без мобильного телефона вы – уже не вы.

Люди любят порассуждать о том, как однажды сольются человек и машина, став своего рода новым существом – киборгом с живым сердцем. Ну ладно, это все интересно, но реальность состоит в том, что мы – уже киборги. Мы определяем себя через наши гаджеты, создаем в Сети вымышленных персонажей со странными именами, подправляем фотографии, чтобы лучше или просто иначе выглядеть на своих страницах в Facebook, создаем себе новое «я», чтобы взаимодействовать с другими людьми. Мы существуем в информационном облаке, цифровом, далеком и вездесущем. У нас есть титановые импланты для суставов, кардиостимуляторы и слуховые аппараты, устройства, которые переделывают и дополняют наши умы и тела. Если вы спортсмен-инвалид, то ноги из углеволокна с легкостью могут нести вас вперед. Если вы ученый, компьютеры усилят вашу интеллектуальную мощь, и вы создадите нечто такое, что считалось совершенно невозможным несколько десятилетий тому назад. Каждый день появляются новые научные проблемы, которые раньше нельзя было ни рассмотреть, ни даже сформулировать. Темп научного прогресса прямо коррелирует с тем, насколько мы сближаемся с компьютерами.

Прямо сейчас мы заново изобретаем человеческий вид.

Поиски искусственного интеллекта традиционно опираются исключительно на машины, которые воссоздают – по крайней мере, как принято считать – уникальную способность человека мыслить. Мы говорим об электронных мозгах, которые быстро превзойдут человеческий разум, сделав людей лишними. После этого мы переходим к размышлениям о том, что случится с нами – беспомощными перед хладнокровным «мозгом в колбе». Тут возникают опасения, что мы создаем машину, которая нас погубит.

А что, если сама эта посылка в корне ошибочна? Что, если будущее интеллекта – не вне, а внутри человеческого мозга? Мне представляется совсем другой набор проблем, вытекающих из той перспективы, что мы станем сверхразумными посредством увеличения силы интеллекта с помощью цифровых технологий. Мало того, искусственно улучшенный человеческий разум расширяет смысл словосочетания «быть человеком». У нас так же будет биться сердце, и кровь будет струиться по венам, но еще и электроны будут течь по цифровым схемам. Перспектива искусственного интеллекта – это расширение наших способностей в новых областях. Это использование технологий для того, чтобы расти как вид – становиться умнее и, как я надеюсь, мудрее.

Все мы мыслящие машины

Шон Кэрролл

Физик-теоретик, космолог, Калифорнийский технологический институт; автор книги «Частица на краю Вселенной» (The Particle at the End of the Universe)[14]14
  Кэрролл Ш. Частица на краю Вселенной. Как охота на бозон Хиггса ведет нас к границам нового мира. – М.: Бином, 2000.


[Закрыть]

Жюльена де Ламетри можно было бы назвать типичным новым атеистом[15]15
  Новый атеизм – термин, обобщающий взгляды ряда современных ученых и мыслителей, которые считают любую религию вредным явлением, активно проповедуют материалистичный взгляд на мир и опровергают основополагающие религиозные постулаты с позиции науки. – Прим. ред.


[Закрыть], если бы не тот факт, что нового в нем к настоящему времени осталось мало. Работая во Франции в XVIII веке, Ламетри делал дерзкие заявления, с открытым пренебрежением отзывался об оппонентах и во всеуслышание говорил о своих антиспиритуалистских убеждениях. В его наиболее значимой работе, L’Homme machine («Человек-машина»), высмеивается идея декартовской нематериальной души. Будучи врачом по профессии, он утверждал, что интеллектуальная деятельность и умственные расстройства объясняются особенностями тела и мозга.

Как всем нам известно, идеи Ламетри и по сей день не стали общепринятыми, но в целом он был на правильном пути. Современной физике известны все частицы и силы, из которых составлена любая наблюдаемая нами материя, как живая, так и неживая, так что места для внефизической жизненной силы не осталось. Нейробиология – область намного более сложная и далеко не так хорошо разработанная, как физика, – тем не менее добилась огромных успехов, связывая наше поведение и то, что происходит у нас в головах, с определенными действиями мозга. Когда меня спрашивают, что я думаю по поводу мыслящих машин, я не могу не ответить: «Эй, вы вообще-то говорите про моих друзей». Все мы – мыслящие машины, и граница между различными типами машин размывается.

Сейчас у всех на слуху, и не без причин, «искусственные» мыслящие машины, то есть созданные человеческим умом. Но никуда не делись и «естественные» машины, развившиеся в ходе естественного отбора, вроде меня или вас. И одна из наиболее интересных новых областей науки и техники – все менее различимая граница между этими двумя категориями.

Искусственный интеллект – и это кажется неудивительным, если смотреть в ретроспективе, – оказался намного более сложной областью, чем могли изначально предположить многие ее основоположники. Программисты мыслят в понятиях принципиального разделения аппаратного и программного обеспечения и полагают, что можно вызвать разумное поведение, просто написав подходящий алгоритм. Но эволюция не видит разницы между первым и вторым. Нейроны в наших мозгах и в телах, посредством которых они взаимодействуют с миром, функционируют одновременно как аппаратное и как программное обеспечение. Робототехники обнаружили, что поведение, схожее с человеческим, намного легче смоделировать у машин, когда в них воплощена способность познавать. Дайте этому компьютеру руки, ноги и лицо, и его действия станут куда более похожими на человеческие.

С другой стороны, специалисты по нейронаукам и инженеры добиваются все лучших результатов в плане улучшения человеческого познания, ломая тем самым барьер между разумом и искусственно созданной машиной. У нас есть примитивные интерфейсы «мозг-компьютер», которые дают надежду на то, что парализованные пациенты когда-нибудь смогут разговаривать посредством аппаратного обеспечения и напрямую управлять протезами.

Куда сложнее прогнозировать, как соединение человеческого мозга с машиной и компьютером в конечном счете изменит наш собственный образ мышления. Исследователи, работающие под эгидой DARPA[16]16
  Управление перспективных исследовательских проектов Министерства обороны США. – Прим. ред.


[Закрыть], обнаружили, что человек лучше, чем любой современный компьютер, справляется с быстрым анализом определенных видов визуальных данных, и разработали методы извлечения соответствующих подсознательных сигналов непосредственно из мозга без их опосредования ненадежным человеческим сознанием. В конечном счете нам предстоит проделать обратное, то есть научиться закладывать данные (и мысли) непосредственно в мозг. Люди, улучшенные соответствующим образом, будут в состоянии просеивать огромные объемы информации, выполнять математические вычисления со скоростью суперкомпьютера и визуализировать виртуальную реальность далеко за пределами привычных нам трех измерений пространства.

Куда приведет нас исчезновение границы между человеком и машиной? Жюльен де Ламетри, как считается, умер в возрасте 40 лет, решив похвастаться своим отменным здоровьем и съев гигантскую порцию паштета из фазана с трюфелями. Даже выдающиеся умы эпохи Просвещения иногда вели себя неразумно. Наш образ мысли и действий в корне меняется из-за компьютеров и способов взаимодействия с ними. Нам решать, станем ли мы использовать новые возможности мудро.

Кризис контроля

Николас Карр

Автор книги «Пустышка: Что Интернет делает с нашими мозгами» (The Shallows: What the Internet Is Doing to Our Brains)[17]17
  Карр Н. Пустышка. Что интернет делает с нашими мозгами. – СПб.: BestBusinessBooks, 2012.


[Закрыть]

Мыслящие машины думают, как машины. Этот факт может расстроить тех, кто со страхом или тоской ожидает восстания роботов, но для большинства из нас является обнадеживающим. Наши мыслящие машины не превзойдут нас в плане интеллекта и уж тем более не превратят нас в своих слуг или домашних животных. Они продолжат выполнять указания людей-программистов.

Мощь искусственного интеллекта обусловлена главным образом именно его бездумностью. Не склонные отвлекаться и поддаваться заблуждениям, в отличие от сознательно мыслящих людей, компьютеры способны молниеносно выполнять вычисления без усталости, эмоций и сомнений. Холодность их интеллекта дополняет горячность нашего.

Неприятности начинаются тогда, когда мы смотрим на компьютер не как на помощника, а как на замену человека. Именно это сейчас происходит, и происходит быстро. Благодаря достижениям в области применения искусственного интеллекта нынешние мыслящие машины могут ощущать свое окружение, учиться на собственном опыте и самостоятельно принимать решения – зачастую с недостижимой и непостижимой для нас скоростью и точностью. Действуя самостоятельно в сложном мире, бездумные машины не только проявляют отменную эффективность, но и представляют серьезную опасность, причем неважно, воплощены они в виде роботов или это просто компьютеры, выдающие некие алгоритмически полученные заключения. Они неспособны усомниться в своих действиях или оценить их последствия, неспособны понять контекст, в котором работают, и потому могут повести себя непредсказуемо либо в результате несовершенства алгоритмов, либо из-за преднамеренных действий программистов.

Нам уже довелось увидеть, насколько опасно может быть автономное программное обеспечение, когда утром 1 августа 2012 года крупнейшая торговая площадка Уолл-стрит, Knight Capital, включила новую автоматизированную программу для покупки и продажи акций. Код содержал ошибку, и программа немедленно наводнила рынок иррациональными операциями. Прошло 45 минут, прежде чем программисты Knight Capital сумели выявить и устранить проблему. Для человека это недолгий срок, но для компьютера это вечность. Не замечая собственных ошибок, программа заключила более 4 миллионов сделок, совершив операций на сумму в 7 миллиардов долларов, что чуть было не привело к банкротству компании. Да, мы знаем, как создавать мыслящие машины. А вот чего мы не знаем, так это того, как сделать их вдумчивыми.

Knight Capital ничего не потеряла, кроме денег. По мере того как программы принимают на себя управление большим числом экономических, социальных, военных и личных процессов, затраты, связанные с ошибками, авариями и непредвиденными эффектами, будут расти. Риски усиливаются из-за невидимости программного кода. И как отдельные личности, и как общество мы все больше зависим от алгоритмов искусственного интеллекта, которых мы не понимаем. Их действия, а также мотивация и намерения, которые формируют эти действия, скрыты от нас. Создается дисбаланс сил, и он оставляет нас открытыми для тайного наблюдения и манипуляций. В прошлом году нам были даны кое-какие намеки по поводу способов, с помощью которых социальные сети тайно проводят психологические тесты на своих участниках посредством манипуляций с новостной летной. Поскольку компьютеры учатся все искуснее наблюдать за нами, формировать наши взгляды и действия, растут возможности для злоупотреблений.

В XIX веке общество столкнулось с тем, что недавно почивший историк Джеймс Бениджер охарактеризовал как кризис контроля{3}3
  James R. Beniger, The Control Revolution: Technological and Economic Origins of the Information Society (Cambridge, MA: Harvard University Press, 1986). [Джеймс Р. Бениджер. Революция контроля: технологические и экономические истоки информационного общества]


[Закрыть]: технологии обработки материи опередили технологии обработки информации, а способность людей контролировать и регулировать производственные и другие связанные с ними процессы, в свою очередь, ослабела. Кризис контроля, который проявлялся во всем, от железнодорожных катастроф до дисбаланса спроса и предложения, а также недоступности государственных услуг, был в конечном счете разрешен благодаря изобретению систем автоматической обработки данных, таких как перфокарточный табулятор, который Герман Холлерит сконструировал для Бюро переписи населения США. Информационные технологии догнали производственные, позволив людям снова четко видеть мир, который начал было расплываться.

Сегодня мы сталкиваемся с еще одним кризисом контроля, хотя он – зеркальное отражение первого. Мы теперь изо всех сил стараемся совладать именно с тем, что помогло нам восстановить контроль в начале XX века, – с информационными технологиями. Наша способность собирать и обрабатывать данные во всех формах и управлять ими опередила нашу способность контролировать и регулировать этот процесс таким образом, который удовлетворяет нашим социальным и личным интересам. Разрешение нового кризиса контроля скоро станет одной из величайших проблем человечества. Чтобы справиться с нею, нужно прежде всего признать, что опасности, связанные с искусственным интеллектом, относятся не к какому-то отдаленному антиутопическому будущему. Они уже здесь.

Мы их построили, но мы их не понимаем

Джон Клейнберг

Преподаватель теории вычислительных машин в Корнеллском университете; автор, совместно с Дэвидом Изли, книги «Сети, толпы и рынки: Рассуждение о мире с сильными связями» (Networks, Crowds, and Markets: Reasoning About a Highly Connected World)

Сендил Муллайнатан

Преподаватель экономики, Гарвардский университет; автор, совместно с Эльдаром Шафиром, книги «Дефицит: Почему так плохо иметь слишком мало» (Scarcity: Why Having Too Little Means So Much)

По мере того как алгоритмы, поколение за поколением, становятся умнее, они также становятся более непонятными. Нам же, чтобы работать с умными машинами, должно быть ясно, как они думают. Нам, возможно, впервые удалось создать устройства, которых мы сами не понимаем.

Поскольку мы их программировали, мы сознаем, почему они делают каждый отдельный шаг. Но машины совершают миллиарды таких шагов – шахматных ходов, рекомендаций кинофильмов согласно предпочтениям пользователя, и они становятся неочевидны для нас, хоть мы и понимаем архитектуру созданной нами программы.

Мы сделали так, чтобы нам не нужно было задумываться об этих неочевидных действиях. Мы спроектировали машины таким образом, чтобы они действовали подобно людям. Они помогают нам водить автомобили, управлять самолетами, доставлять посылки, одобрять кредиты, просматривать сообщения, выбирать развлечения и партнеров для романтических отношений. Мыслящие машины даже способны диагностировать наши недуги. А поскольку они ведут себя так же, как мы, было бы разумно предположить, что они и думают похожим образом. Но реальность такова, что они вообще не думают в человеческом понимании этого слова; в действительности мы не знаем даже, почему они демонстрируют то поведение, которое мы наблюдаем. Вот в чем суть их непостижимости.

Важно ли это? Надо ли нам беспокоиться из-за того, что мы строим системы, чьи все более и более точные решения основываются на непонятных нам принципах?

Во-первых, это важно уже потому, что мы регулярно оказываемся в совершенно обыденных ситуациях, когда нам надо знать ответ на вопрос «Почему?». «Почему мне отказали в выдаче кредита? Почему мой счет заблокировали? Почему мое заболевание вдруг оказалось в категории тяжелых?» А иногда нам бывает нужно знать ответ на вопрос «Почему?» в случаях, когда машина совершила ошибку. «Почему самоуправляемый автомобиль резко сошел с дороги?» Трудно разобраться с чем-то, когда вы не понимаете причин.

Есть также и более глубокие проблемы, и, чтобы говорить о них, нам надо лучше разбираться в том, как работают алгоритмы. Они обучаются на больших объемах данных и очень хорошо справляются с обнаружением малозаметных паттернов, содержащихся в этой информации. Мы знаем, например, как построить систему, которая изучит несколько миллионов составленных в прошлом заявок на кредит, одинаково структурированных и закодированных, и найдет повторяющиеся паттерны в тех кредитах, которые – как уже известно в ретроспективе – заслуживали одобрения. Трудно заставить людей прочесть несколько миллионов кредитных заявок, и даже если бы такое получилось, результат оказался бы хуже, чем тот, который способен выдать алгоритм.

Достижение поистине впечатляющее, но довольно ненадежное. У алгоритма узкая «зона комфорта», внутри которой он эффективен; трудно определить эту зону, но легко из нее случайно выскочить. Например, вы можете захотеть перейти от успешно решенной машиной задачи по классификации нескольких миллионов малых потребительских кредитов к работе с базой данных кредитных историй нескольких тысяч крупных компаний. Но, сделав это, вы оставите машину без того, за счет чего она ранее демонстрировала эффективность. Она работала хорошо, потому что имела доступ к огромному числу измерительных точек, к отупляюще однообразной истории отдельных случаев из прошлого, в которых нужно было обнаружить паттерны и структуру. Если существенно уменьшить объем данных или сделать каждую измерительную точку значительно более сложной, то алгоритм быстро пойдет вразнос. Наблюдать за успешно работающей машиной – а при соответствующих условиях результаты могут быть феноменальными – это как смотреть на удивительные достижения и неумолимую целеустремленность вундеркинда, скрывающие его ограниченность в других областях.

Но даже в самом центре «зоны комфорта» непостижимость рассуждений машины нередко приводит к затруднениям. Давайте вернемся к примеру с миллионами заявлений на небольшие потребительские кредиты. Трудности могут начаться, когда кто-либо из потребителей, менеджеров или операционистов станет задаваться некоторыми простыми вопросами.

Человек, которому отказали в выдаче кредита, может потребовать не просто объяснений, а чего-то большего: «Как мне изменить свое заявление на следующий год, чтобы шансы на успешное рассмотрение были повыше?» Так как у нас нет простого объяснения принимаемых алгоритмом решений, мы не сможем дать и достойный ответ на этот вопрос. «Попытайтесь написать ее так, чтобы она больше походила на одну из успешных заявок», – вот все, что нам остается сказать.

Наш руководитель мог бы спросить: «Алгоритм справляется с заявками в Великобритании, но будет ли он так же хорошо работать, если мы задействуем его в Бразилии?» Удовлетворительного ответа опять нет, или же мы не в состоянии достоверно оценить, насколько успешен будет перевод высокооптимизированного правила в новую область.

Специалист по обработке данных мог бы заметить: «Нам известно, насколько хорошо алгоритм справляется с данными, которые у него есть. Но новая информация о потребителях нам точно не повредит. Какие еще сведения надо собрать?» Исходя из имеющихся у нас знаний о человеке, можно предложить множество вариантов, но с этим непостижимым алгоритмом мы не знаем, что именно окажется для него полезным. Вот в чем ирония: мы можем попробовать выбрать те переменные, которые сами сочтем важными, но машина-то думает не так, как мы, и потому уже нас обыгрывает. Как нам узнать, что она сочтет полезным?

Тут не обязательно ставить точку. У нас уже есть интерес к тому, чтобы разрабатывать алгоритмы, которые будут не только эффективными, но и постижимыми для своих создателей. Чтобы это сделать, нам, возможно, придется серьезно пересмотреть понятие постижимости. Мы, вероятно, так никогда и не сумеем постичь, что именно делают наши автоматизированные системы конкретно, шаг за шагом, но это нормально. Достаточно будет, если мы научимся взаимодействовать с ними, как одна разумная сущность взаимодействует с другой, развивая здоровое понимание того, когда стоит доверять рекомендациям, где можно наиболее эффективно их использовать и как помочь машине прийти к недоступному для нас самих уровню эффективности.

Однако пока мы этому не научимся, непостижимость искусственного интеллекта будет представлять определенную опасность. Как мы узнаем, что машина вышла из своей «зоны комфорта» и уже работает с той частью проблемы, с которой не очень хорошо справляется? Степень такого риска нелегко определить количественно, и с подобными проблемами мы будем сталкиваться по мере развития наших систем. Возможно, с какого-то момента нам придется беспокоиться по поводу всесильного искусственного интеллекта. Но сперва нам надо озаботиться тем, что машинам приходится отвечать за решения, для принятия которых у них недостаточно ума.

Нам надо делать домашние задания

Яан Таллинн

Соучредитель Центра исследований в области угроз существованию человечества, Институт будущего жизни; инженер-основатель Skype и Kazaa

За шесть месяцев до первого ядерного испытания ученые, работавшие над Манхэттенским проектом, подготовили отчет LA-602. В нем были приведены данные об исследованиях возможного выхода ядерного взрыва из под контроля, что грозило уничтожением Земли в результате сгорания атмосферы. Это было, вероятно, первым исследованием в области угроз существованию человечества.

Конечно, список опасных технологий, изобретенных людьми, не закончился на ядерной бомбе. С тех пор тема катастрофических побочных эффектов неоднократно всплывает в разных контекстах: рекомбинантной ДНК, синтетических вирусов, нанотехнологий и т. п. К счастью для людей, обычно в таких случаях верх берет трезвый расчет, что приводит к появлению различных соглашений и протоколов, регулирующих исследовательскую деятельность.

Я думаю о мыслящих машинах как о технологии, которую надо развивать с такой же (если не с большей!) осторожностью. К сожалению, идею безопасности искусственного интеллекта оказалось сложнее популяризировать, чем, скажем, идею биологической безопасности, потому что у людей довольно слабое представление о том, что такое нечеловеческий разум. Кроме того, если задуматься, то можно прийти к мысли, что ИИ в действительности является метатехнологией, то есть технологией, которая способна разрабатывать другие технологии либо совместно с людьми, либо даже автономно (что еще более усложняет анализ вероятных последствий).

Впрочем, в течение нескольких последних лет мы наблюдаем внушающие оптимизм подвижки, примерами которых являются инициативы новых организаций, таких как Институт будущего жизни, объединивший ведущих специалистов в области искусственного интеллекта для работы над постановкой задач, стандартами и этическими нормами исследований.

Поэтому путаные аргументы людей, которые пытаются показать, что разбираются в вопросах мышления, сознания или этики искусственного интеллекта, часто отвлекают от простой истины: единственный способ гарантировать, что мы случайно себя не взорвем с помощью собственной технологии (или метатехнологии), состоит в том, чтобы делать домашние задания и принимать соответствующие меры предосторожности, как поступили ученые из Манхэттенского проекта, когда подготовили LA-602. Нам надо перестать играть словами и взяться за исследования в области безопасности искусственного интеллекта.

Вот вам аналогия: со времени Манхэттенского проекта ученые-ядерщики переключились со стремления увеличить мощность реакции ядерного синтеза на решение вопроса, как наиболее эффективно ее можно сдерживать, – и мы даже не называем это ядерной этикой.

Мы называем это здравым смыслом.