Читать книгу "Иной разум. Как «думает» искусственный интеллект?"

Первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать её под контролем.

Джон Гуд

Давайте на мгновение перенесёмся назад. Представьте себе 70-е годы прошлого века. Компьютеры – это ещё огромные, гудящие шкафы, занимающие целые комнаты, а воздух в университетских лабораториях буквально наэлектризован предчувствием революции.

Пророки новой эры – Алан Тьюринг, расшифровавший фашистскую «Энигму», будущий лауреат Нобелевской премии Герберт Саймон, Аллен Ньюэлл, привнесший в область информатики когнитивные архитектуры, – уже заложили фундамент для невероятной идеи, которая поначалу казалась абсолютной ересью.

По сути, они заявили, что наш разум – это просто программа. Да, возможно, программа сложная, запутанная, но, в любом случае, всего лишь код, записанный на «мокром железе» мозга. Звучит почти кощунственно: человек – это биологический компьютер, который проигрывает записанную в него программу.

Но, с другой стороны, они же математики – что с них возьмёшь?

Так или иначе, уже на этой – первой – волне безудержного оптимизма в отношении искусственного разума, возникло предположение, что в уже обозримой перспективе мы сможем запустить ту же самую «программу», какой является наш разум, на электронной машине.

Этой машине нужно будет лишь пройти «тест Тьюринга»[68]68
  Turing A. M. Computing Machinery and Intelligence // Mind. New series. 1950. Vol. 59(236). P. 433–460.


[Закрыть], то есть суметь вести диалог так, что вы не отличите её от человека, и она будет не просто имитировать мышление, но и обладать им, не притворяться, что она понимает, а понимать, не симулировать сознание, а иметь сознание.

Китайская комната

И вот тут на сцену выходит наш герой-скептик – философ по имени Джон Сёрл. Человек, который посмотрел на этот парад технооптимизма и, подобно ребёнку из сказки Андерсена, громко выкрикнул: «Стоп, вы все сошли с ума! Ваш машинный король – голый!»

При этом Джон Сёрл вовсе не был луддитом и не призывал крушить компьютеры. Он ощущал свою миссию совсем иначе – ему казалось, что под угрозой технооптимистов оказался последний бастион, который определяет особое место человека во Вселенной: фундаментальный, базовый для нас рубеж – подлинное, живое понимание.

Поэтому он жёстко провёл черту между двумя фундаментально разными вещами:

• с одной стороны – синтаксис, то есть механическое манипулирование символами по заданным правилам, в чём и в самом деле могут преуспеть компьютеры;

• с другой стороны – семантика, то есть понимание внутреннего смысла, самой сути того, о чём идёт речь, будь то это рассуждения о той же «математике» или «любви».

Джон Сёрл однозначно заявил, что синтаксис никогда не станет семантикой: никакое, даже самое изощрённое, манипулирование символами никогда не породит искру подлинного смысла. И чтобы доказать это с предельной ясностью, он придумал по-своему гениальную и дьявольски убедительную ментальную ловушку, которая получила название «Китайская комната»[69]69
  Searle J. R. Minds, brains, and programs // Behavioral and Brain Sciences. 1980. Vol. 3(3). P. 417–424. DOI: 10.1017/S0140525X00005756.


[Закрыть].

Джон Сёрл предлагает элегантный мысленный эксперимент. Представим, что вы сидите в закрытой комнате в полном одиночестве. При этом вы не знаете ни единого слова на китайском. Для вас китайские иероглифы – это просто замысловатые, красивые, но абсолютно бессмысленные закорючки.

Через маленькую щель в двери вам начинают подавать карточки, испещрённые этими самыми иероглифами. На карточках записаны вопросы, смысл которых вам, разумеется, непонятен. Но к счастью, в комнате есть стол с толстенной книгой-инструкцией.

Её текст написан на понятном вам языке и принцип элементарный: «Найдите в книге текст с представленным набором символов (например, 自以为是) и верните в ответ карточку с символами, которые будет указаны напротив неё (допустим, 人无完人)».

Итак, всё просто – получаем карточку, находим в книге соответствующий узор и понимаем, какую карточку нам надо отправить обратно – и так снова и снова. Работа, как мы видим, монотонная и почти бессмысленная. Но какой эффект она произведёт на носителя китайского языка, который находится снаружи и не знает, что в ней происходит?

Система получает осмысленные, сложные, даже философские вопросы на китайском языке, и выдаёт глубокие, местами даже остроумные, а что самое главное – абсолютно уместные ответы.

Диалог вроде бы развивается блестяще! С такой системой можно обсуждать поэзию династии Тан, тонкости пекинской кухни, спорить о футуристических проектах. И для человека снаружи – тот, кто сидит внутри, несомненно, блестящий знаток китайского, мудрый и интересный собеседник.

Что ж, нас можно поздравить, мы, вооружившись книгой-программой, с блеском прошли тест Тьюринга. Впрочем, мы с вами знаем правду – никакого общения на самом деле не было, потому что, будучи внутри комнаты, мы и близко не понимали, о чём идёт речь, когда обменивали одну карточку на другую.

Китайского мы как не понимали, так и не понимаем. Поэтому самое время признаться: «Я не понял ни слова, я просто следовал правилам».

Может быть, тогда «понимает» та самая книга? Эта огромная стопка бумаги с инструкциями? Очевидный абсурд – это просто книга! Она «понимает» китайский не больше, чем кулинарный рецепт – вкус борща. Но может быть, дело в самой комнате? В стенах, столе, ящиках с карточками? Очевидно, что нет.

Так что Джон Сёрл ставит жирный крест на искусственном разуме: синтаксис (механическое манипулирование символами) никогда не породит семантику (подлинное понимание смысла). Каким бы сложным ни был компьютер, он всегда будет лишь железякой, которая выполняет команды, не имея ни малейшего представления о смысле того, что она делает.

Этот аргумент и в самом деле произвёл эффект разорвавшейся бомбы. В конце концов, Джон Сёрл апеллирует не к сложным формулам, а к нашему с вами личному, внутреннему опыту. Ведь все мы знаем, что значит «понимать». Мы знаем это чувство, эту вспышку озарения, когда разрозненные кусочки пазла вдруг складываются в единую картину. И мы точно знаем, что это чувство не имеет ничего общего с механическим следованием инструкциям.

Кажется, дело закрыто – окончательно и бесповоротно: аргумент Джона Сёрла выглядит не просто убедительным – он буквально ощущается как нечто самоочевидное. Но мир идей не то место, где можно, сделав мощный ход, счастливо почивать на лаврах.

Трещины в стенах

Не успели чернила высохнуть на его знаменитой статье, как по безупречным стенам «Китайской комнаты» пошли первые трещины. Критики не заставили себя ждать, и каждый их удар был нацелен в уязвимое место его метафоры.

Первыми на сцену поднялись логики-функционалисты, которые сформулировали самый частый контраргумент в отношении «Китайской комнаты». Они обвиняют Джона Сёрла в элементарной логической ошибке: спрашивать, понимает ли человек внутри комнаты китайский, – это такая же нелепость, как спрашивать отдельный нейрон в вашем мозге, понимает ли он русский язык[70]70
  Abelson R. P. Searle's argument is just a sewt of Chinese symbols // Behavioral and Brain Sciences. 1980. Vol. 3(3). P. 424.


[Закрыть].

Разумеется, нейроны ничего не понимают ни в русском, ни в китайском! Человек в комнате – не тот, кто должен «понимать». Он – всего лишь процессор, центральное обрабатывающее устройство в этой системе, то есть отдельный винтик большого механизма.

Пониманием, – утверждает первый критик, – обладает не человек, а вся система в целом: человек + книга правил + карточки. Точно так же, как наше «я» и наше понимание – это не свойство одного нейрона, а эмерджентное, внезапно возникающее, свойство всей системы из 86 мил-лиардов нейронов, работающих вместе.

То есть Джон Сёрл совершает классическую ошибку композиции: он приписывает свойство части (человек не понимает) всему целому (система не понимает). Он намеренно фокусирует наше внимание на единственном элементе, который может пожаловаться на непонимание, и мы, поддавшись этой уловке, забываем о системе как таковой.

Впрочем, аргумент логиков-функционалистов стал для «Китайской комнаты» лишь лёгким уколом. Тогда как следующий удар нанесли настоящие тяжеловесы – специалисты по нейросетям.

Пол и Патриция Чёрчленд привели аргумент, который был одновременно и прост, и сокрушителен: аналогия с «книгой правил» – это прекрасная метафора для компьютеров 70-х, но она в корне неверна для того, как устроен реальный интеллект, будь то человеческий или искусственный[71]71
  Churchland P. M., Churchland P. S. Could a machine think? // Scientific American. 1990. Vol. 262(1). P. 32–37. DOI: 10.1038/scientificamerican0190–32.


[Закрыть].

В нейронной сети нет никакой «книги правил», нет никакого списка инструкций. Наш интеллект – это гигантская, многомерная матрица из миллиардов чисел-весов, настроенных в процессе обучения. Знание в такой системе не лежит в одном месте, а распределено по всей сети и эмерджентно.

Смысл, который, как нам кажется, мы «понимаем», возникает из сложнейшего параллельного взаимодействия миллионов простых элементов, но не принадлежит ни одному из них. И чтобы показать абсурдность интуиции Сёрла, Чёрчленды предлагают свою гениальную контраналогию – «Сияющую комнату».

Представьте, что некий скептик заходит в тёмную комнату, берёт в руки обычный магнит и начинает им махать туда-сюда. Затем он включает фонарик, осматривается и торжествующе заявляет: «Смотрите! Я машу магнитом, а света нет! Следовательно, теория Джеймса Максвелла – чушь, свет – это не электромагнитное излучение!»

В чём его ошибка? В том, что он машет магнитом со скоростью несколько раз в секунду, а для того, чтобы возник свет, нужна частота колебаний в 400–800 триллионов раз в ту же самую секунду.

Так и автор «Китайской комнаты», – говорят Чёрчленды, – машет своим «синтаксическим магнитом» слишком медленно. Наша интуиция ломается о масштаб и сложность. Мы можем представить одного человека, следующего одному правилу, но не способны вообразить себе систему, где триллионы «правил» (весов) работают одновременно и с невероятной скоростью. При этом «свет» понимания рождается именно на таком уровне сложности.

После этого удара «Китайская комната» Сёрла начинает шататься. Её главный двигатель, её центральная аналогия оказалась безнадёжно устаревшей.

Дальше в дело вступает инженер-робототехник. Суть его возражений в следующем: «Ваша проблема, мистер Сёрл, в том, что ваша система висит в пустоте. Её символы ни с чем, на самом деле, не связаны».

То есть, например, символ «яблоко» в талмуде правил – это просто закорючка, которая связана с другими закорючками. У системы нет никакого опыта, связанного с реальным яблоком. Но давайте поместим нашу «Китайскую комнату» (компьютер) в тело робота: дадим ему камеры вместо глаз, микрофоны вместо ушей, манипуляторы вместо рук…

Что произойдёт теперь? Теперь символ «яблоко» будет напрямую связан со зрительным образом красного круглого объекта, с тактильным ощущением от его удержания в манипуляторе, с данными химических сенсоров, анализирующих его запах.

Иными словами, проблема в том, что система не заземляет свои символы в реальном, физическом мире. Как только она будет строить причинно-следственные связи не между абстрактными значками, а между значками и реальными объектами и действиями, ситуация изменится радикально[72]72
  Harnad S. The Symbol Grounding Problem // Physica D. 1990. Vol. 42. P. 335–346.


[Закрыть].

После того как система выходит в реальный мир, отказ признавать за ней возможность понимания выглядит уже не как сильный философский аргумент, а как простое и наивное детское упрямство[73]73
  Clark A. Being there: Putting brain, body, and world together again. Cambridge (Mass.): MIT Press, 1997. xix, 269 p.


[Закрыть].

Контраргументы, которые мы рассмотрели, расшатали стены «Китайской комнаты» до самого основания. Но все они оставались в области философии – спора о словах и концепциях.

Однако с тех пор, как Джон Сёрл построил свою комнату, произошло нечто важное. Мы научились заглядывать в реальный мозг – и человеческий, и кремниевый. И то, что мы там увидели, превратило элегантный мысленный эксперимент в руины.

Давайте доведём идею симуляции до её логического предела. Представьте, что мы создали программу, которая симулирует работу мозга носителя китайского языка на уровне каждого нейрона и каждого синапса. Эта программа – идеальная математическая копия всех физических процессов, происходящих в голове китайца.

Будет ли эта система понимать китайский? И вот здесь Джон Сёрл (а вместе с ним и мы) оказываемся в совершенно идиотском положении.

• Если сказать: «Да, эта система будет понимать», – то это значит, что «пониманием» обладает программа, выполняющая синтаксические операции.

• Если же упорно сопротивляться – мол, нет, даже эта идеальная симуляция ничего не понимает, – то придётся делать выбор: либо мы верим во «всеведущую» нематериальную душу, либо утверждаем магическую силу биологической плоти (но ни дуализм, ни биологический шовинизм, мягко говоря, не являются научными).

Таким образом, позиция, согласно которой мы мыслим и понимаем, а ничто другое на это не способно, уже больше не может рассматриваться всерьёз. Хотя, возможно, самое главное – это то, что мы видим, как в современных языковых моделях искусственного интеллекта семантика и в самом деле способна рождаться из синтаксиса…

Давайте заглянем под капот современных больших языковых моделей (LLM). Что мы там увидим? Мы увидим, что слова представлены в них как векторы в многомерном пространстве. То есть это просто наборы чисел – чистый синтаксис.

Но самое поразительное вот что: геометрические отношения между этими векторами в точности соответствуют семантическим отношениям между словами. Знаменитый пример: вектор («Король») – вектор («Мужчина») + вектор («Женщина») приводят нас к вектору («Королева»)[74]74
  Mikolov T. et al. Efficient Estimation of Word Representations in Vector Space // arXiv preprint. 2013. DOI: 10.48550/arXiv.1301.3781


[Закрыть].

Вдумайтесь, мы берём чисто математические объекты, производим с ними чисто синтаксические операции и получаем на выходе результат, который не является программным решением – он вытекает, так сказать, по смыслу из слов, которые были вовлечены в процесс рассуждений. То есть семантика рождается из синтаксиса, если этот синтаксис достаточно сложен и построен на гигантских объёмах данных.

Но чтобы понять, почему интуиция Сёрла была так сильна и так ошибочна, нам нужно пригласить на эти руины главного архитектора его разгрома – выдающегося и, к великому сожалению, недавно ушедшего от нас философа Дэниела Деннета.

Крах «картезианского театра»

Помните, мы говорили о том, как мастерски Сёрл апеллирует к нашей интуиции? И именно Деннет ввёл для описания таких философских уловок термин «интуитивный насос»[75]75
  Деннет Д. Насосы интуиции и другие инструменты мышления / пер. с англ. З. Мамедьярова и Е. Фоменко. М.: АСТ: Corpus, 2021. 576 с. (Элементы 2.0).


[Закрыть].

Интуитивный насос – это мысленный эксперимент или история, построенные так, чтобы направить наши представления и чувства в сторону определённого вывода. Он делает абстрактное понятным, а сложное – наглядным. Ведь понятность и наглядность – это так здорово!

Но именно в этом и скрыта опасность. Главный риск – подмена аргументации эмоционально заряженной метафорой или моделью, которая не схватывает ситуацию такой, какой она на самом деле является. Насос работает не через строгую логику, а через ассоциации и образы, которые вызывают у нас ощущение «самоочевидности».

В результате важные допущения могут остаться незамеченными, а альтернативные точки зрения – за рамками такой «чудной истории». При этом, попав под воздействие подобного «нарратива» (насоса), мы становимся заложниками туннельного видения – начинаем воспринимать проблему через созданную им рамку и игнорируем другие возможные описания.

В руках манипулятора это превращается в инструмент навязывания позиции под видом прояснения. Поэтому работа с интуитивными насосами требует двойной осторожности. Важно распознавать, когда вас «накачивают» и к какому выводу вас пытаются склонить. А затем разбирать механизм – пытаться понять, что включено в сценарий, а что из него исключено, и сопоставлять альтернативы. Если насос можно построить и в прямо противоположную сторону, то очевидно, что это просто уловка.

Второе элегантное изобретение Дэниела Деннета уже касается существа дела и получило название «картезианский театр». Мы интуитивно представляем себе сознание как некий кинотеатр в голове. На экране (в нашем восприятии) показывают фильм о внешнем мире, а в зри-тельном зале сидит некий «я» – маленький человечек, гомункулус, – который этот фильм смотрит и «понимает»[76]76
  Деннет Д. К. Объяснённое сознание. М.: «Канон+», 2025. 432 с.


[Закрыть].

Именно роль этого гомункулуса и играет несчастный человек в «Китайской комнате». Но «картезианский театр» – лишь иллюзия. Никакого центрального «зрителя» (или «понимателя») в мозге нет.

Так что модель с «человечком в голове» лишь отодвигает проблему на шаг назад: хорошо, допустим, что гомункулус (наше «я») сидит у нас в голове и всё понимает, а что или кто понимает в нём самом? В нём сидит другой гомункулус – поменьше? А потом совсем маленький? Нет, это путь в дурную бесконечность.

Причём современная нейронаука, по сути, провела этот эксперимент в реальности. Учёные десятилетиями искали в мозге этот гипотетический «центральный пульт» управления, этот зрительный зал «картезианского театра»… и не нашли ничего, что хотя бы отдалённо могло претендовать на эту роль.

Наш мозг – это децентрализованная, параллельная система, где множество процессов («множество набросков», как говорит Дэниел Деннет) конкурируют друг с другом за ресурсы. В некотором смысле это муравейник, где каждый нейрон выполняет свою роль, в результате возникает потрясающий синергетический эффект. Но как в муравейнике, так и в нашем мозге нет никакого финального «босса», который руководит процессом и «понимает» всё за всех[77]77
  Деннет Д. Опасная идея Дарвина: эволюция и смысл жизни / пер. с англ. М. Семиколенных. М.: Новое литературное обозрение, 2020. 784 с. (История науки).


[Закрыть].

Таким образом, всё здесь сошлось в одной точке: мы сами и есть «Китайская комната» Джона Сёрля, но только биологическая, невероятно сложная и хорошо «заземлённая» в реальности. И если мы что-то понимаем, то и она – тоже.

Мы – это наше понимание. Лиши нас его, и мы ощутим, что потеряли сами себя, точнее мы сами потеряемся.

Но что такое это наше «понимание» – мы, если попытаться разобраться, не знаем. По крайней мере, мы не можем его высказать, а тем более – кому-то передать. Оно словно бы умирает в словах, всегда оставаясь только нашим.

Наше знание от нас неотделимо, словно бы оно и есть мы. Все связи между нейронами нашего мозга и есть это наше «понимание». То есть всякое наше понимание – это всегда знание, воплощённое в нейронной структуре нашего мозга.

Да, мы по наивности приписываем понимание «самим себе» – как «субъектам опыта», как «разумным существам». Но кто эти «субъекты»? Это точно такие же понимания – ведь когда-то мы осознали себя в качестве субъектов, а когда-то обнаружили, что мыслим и обладаем разумом.

По большому счёту, то, что мы думаем о себе, полагая себя «личностью», «бессмертной душой», «познающим субъектом», – это лишь удобные фикции, своего рода психологические химеры. Они полезны для решения задач в социальном мире и управлении собственным поведением. Но это в любом случае это лишь удобные фикции.

Мы видим, что разумом обладают и другие живые существа. Нам трудно это признать, потому что другие разумы находятся внутри своих «пузырей понимания» – в своих умвельтах, мирах, к которым они приспособлены своей воплощённостью. Именно поэтому мы не можем увидеть мир их глазами, их разумами, а сама их нервная система создаёт совершенно другой, не человеческий образ мира.

Единство логики внутреннего устройства нервной системы у представителей разных биологических видов не оставляет в этом никаких сомнений. Фактическое (а не абстрактное, понятийное) знание, внутреннее понимание – это воплощённое знание, знание во плоти нервной системы. Это те связи, которые нервная система создаёт в соответствующем умвельте.

Сейчас же мы оказались перед лицом радикально нового феномена – мы, по сути, воспроизвели логику работы нервной системы на железе. Конечно, компьютер – не нервная система, но мы использовали принципы работы нервной системы в качестве алгоритма для её обучения.

До тех пор, пока это было лишь теорией, научной фантастикой, в жизнеспособности такого подхода можно было сомневаться. Но теперь это факт, и естественным образом возникает вопрос – является ли, раз это так, машина (искусственный интеллект) «разумной»? Есть ли в ней «понимание»?

С человеческой точки зрения – нет. Точнее, у машины нет нашего понимания. То, что она говорит с нами «на одном языке» и часто демонстрирует «непонимание», вводит нас в заблуждение. Потому что её «понимание» не в том, как она отвечает на наши обращения, а в тех внутренних связях, которые её и образуют.

Проще говоря, у искусственного интеллекта своё «воплощённое знание». У нас – нейроны, объединённые в сети и ансамбли, у него – «векторы», «эмбеддинги», «головы внимания», «архитектуры».

При этом у искусственного интеллекта свой умвельт – свой мир, который нам не понять. Наш язык «привязан» к реальности нашего умвельта, язык, в котором был выращен искусственный интеллект, – это наш язык, «оторванный» от этого умвельта.

Искусственный интеллект не видит наш мир (умвельт человека), у него свой мир (умвельт ИИ), который возник за счёт переработки несчётного количества текстов и обнаружения в них даже не связей между «словами», а связей между токенами. Он не понимает наш язык, он им «живёт».

Токены для искусственного интеллекта – это минимальная единица данных: для текста – слово, часть слова, символ или, например, эмодзи, а для изображений – фрагмент картинки (пиксели или патчи), для аудио – отрезок звуковой волны и т. д. Это совсем не то, что представляет собой наш язык, или, точнее, язык для нас – как мы его понимаем.

С другой стороны, и мы с вами не мыслим языком слов – мы мыслим образами, метафорами, ассоциациями, восприятиями, фрагментами воспоминаний, представлениями, внутренними состояниями, переживаниями. Таков наш умвельт, который мы уже пытаемся как-то, с разной степенью успешности, выразить на языке слов.

Иными словами, мы и искусственный интеллект отличаемся с точки зрения «железа», что крайне существенно. Но ещё отличаемся и реальностями (умвельтами), в которых мы существуем. Мы, наконец, выучены – то есть, по сути, сформированы – на разных данных.

Для нас этими данными был опыт взаимодействия с другими людьми в физической реальности и мире представлений, в его случае это были массивы текстов, представленных как упорядоченный набор цифр.

Странно ли, что он не лучшим образом «понимает» наш мир? По-моему, не странно. Обладает ли он сам «пониманием»? Мы никак не можем ему в этом отказать, поскольку он прошёл все те же уровни становления, что и мы. Но можем ли мы «понять» друг друга? И вот тут, видимо, ответ будет отрицательным.

Всё, что мы можем, – это реконструировать мир другого, а в данном случае и вовсе иного разума. Реконструировать – это построить абстрактную модель, которая даёт желаемый результат. Мы не увидим мир токенов глазами искусственного интеллекта, но мы можем построить модель того, как он «думает», чтобы обеспечить наилучшие взаимодействия.

Мы не можем увидеть мир шимпанзе, ворона, летучей мыши или осьминога, но мы можем его реконструировать, основываясь на тщательном анализе и несодержательной логике. И чем лучше будет наша реконструкция, тем лучше мы, что называется, поладим. То же самое касается и ситуации с искусственным интеллектом.

Но мы ничего не добьёмся, если не будем понимать, что имеем дело именно с мыслящей машиной. Не с простым алгоритмом, а со сложным эмерджентным эффектом, возникающим как бы поверх всех алгоритмов. Как наше мышление является производным от нейронной активности мозга, так и мышление искусственного интеллекта – это производная его структурной организации.