Текст книги "Искусственный интеллект: перезагрузка. Как создать машинный разум, которому действительно можно доверять"

Метод обратного распространения ошибки работает через оценку того, какой путь из любой точки на склоне соответствует скорейшему подъему в гору. Достижение самого пика горы при этом не гарантируется – продвижение может застопориться на том или ином локальном максимуме (в нашей терминологии это будет возвышение на склоне, которое находится выше окружающей территории, но все еще намного ниже главной вершины). На практике данная техника часто приводит к адекватным, даже высоким результатам.

Существует также алгоритм, называемый свертыванием (англ. convolution). Его в конце 1980-х годов ввел в практику Ян Лекун, и он все еще широко используется, поскольку позволяет системам распознавания образов значительно повысить эффективность, создавая массивы соединений, обеспечивающих узнавание конкретных (уже известных) объектов внутри более сложных изображений, независимо от того, где они там появляются.

Хотя математический аппарат, казалась, был разработан корректно, первоначальные результаты, демонстрируемые нейронными сетями, оставались неубедительными. Было известно, что в принципе, если вы сможете найти правильный набор весов (большой, но часто вполне управляемый), то нейронная сеть с тремя или более слоями может позволить вам решить фактически любую проблему, которую вы поставите перед компьютером, при условии что у вас достаточно данных, вы имеете множество узлов в системе и у вас хватит терпения заставить все это функционировать. Однако на практике это не срабатывало: для решения действительно интересных задач требовалось очень большое количество узлов, и компьютеры того времени не могли выполнить все необходимые вычисления, связанные с настройкой множества узлов, за разумное время.

У людей, работавших в этой области, было сильное предчувствие, что большее число слоев – то есть более глубокие сети – поможет решению проблемы. Но никто не знал этого наверняка. Еще в начале 2000-х годов аппаратное обеспечение просто не подходило по своей производительности для экспериментов в этом направлении. Для обучения типичной глубокой сети потребовались бы недели или даже месяцы компьютерного времени. Вы не смогли бы (как это доступно сейчас) перепробовать сотню различных вариантов и найти среди них лучший путем обычной сортировки. Первые результаты были многообещающими, но не были в состоянии конкурировать с другими подходами.

Именно здесь и вступили в игру графические процессоры, чтобы стать главным катализатором прогресса в глубоком обучении (не считая еще некоторых важных технических находок[24]24
  Для тех, кого интересует эта сторона вопроса: одна техническая примочка, изобретенная Хинтоном и его коллегами и называющаяся «стиранием» (англ. dropout), позволила найти способ борьбы с переоснащением системы, при котором алгоритм машинного обучения воспринимает конкретные обучающие примеры, но пропускает общую схему, лежащую в основе категоризации этих примеров. Так, школьник, изучающий умножение, может просто запомнить все примеры из своего учебника, но не поймет при этом, как решать задачи на умножение в целом. Метод «стирания» заставляет систему обобщать, а не просто запоминать. Еще одна настройка алгоритма позволила ускорить ту сферу вычислений, которая связывала выходные данные сетевого узла с его входными данными.


[Закрыть]). Идея заключалась в том, чтобы выяснить, насколько эффективно можно было бы использовать графические процессоры нового поколения для обслуживания моделей нейронных сетей с большим количеством уровней. Благодаря тому что видеокарты смогли выполнять алгоритмы перенастройки множества узлов за разумное время, глубокое обучение – которое подразумевает тренировку сетей с четырьмя или более слоями (иногда бывает и более ста) – наконец-то стало осуществимым на практике.

Все последующее время результаты глубокого обучения действительно демонстрировали замечательный прогресс. Другие исследователи годами разрабатывали хитроумные методы, пытаясь заставить распознавание объектов работать на различных машинах, но теперь внезапно выяснилось, что все это можно заменить системой глубокого обучения, которая тратит на вычисления всего несколько часов или дней. Успех нового метода позволил исследователям взяться и за новые проблемы, – и это были не только рекомендации по рекламе, но также и расшифровка речи или распознавание объектов, – которые так и не были адекватно решены с использованием старых подходов к машинному обучению.

Глубокое обучение современного уровня бьет все новые и новые рекорды. Например, как подробно объясняется в обширной статье, опубликованной в The New York Times Magazine, глубокое обучение радикально улучшило работу приложения Google Translate. До 2016 года гугловский переводчик использовал классические методы машинного обучения, задействуя огромные таблицы шаблонов соответствия на двух языках, помеченных маркерами вероятности. Более новый подход с использованием глубокого обучения нейронных сетей позволил значительно улучшить качество переводов. Применение аналогичных систем в других областях привело к значительным улучшениям в машинной транскрипции речи и в маркировке фотографий и других изображений.

Кроме того, во многих (хотя и не во всех) случаях глубокое обучение легче использовать на практике. Традиционное машинное обучение часто опирается на опыт программиста в разработке тех или иных машинных функций. Например, в области компьютерного зрения опытные инженеры, обладающие знаниями о человеческом зрительном восприятии, пытались найти общие свойства в различных изображениях, которые стали бы полезными для машин, пытающихся «понять» изображения, например края, углы и пятна. Еще в 2011 году хорошими инженерами инженерами по машинному обучению часто становились те, кто умел находить подходящие машинные функции для решения конкретной проблемы[25]25
  Искушенные читатели с опытом в рассматриваемой области поймут, что слухи о замене разработки машинных функций глубоким обучением были явно преувеличены. Тяжелая работа по созданию таких продуктов, как лингвистическая база Word2Vec, все еще считается разработкой функции, просто отличающейся от тех, которые традиционно используются в таких областях, как компьютерная лингвистика.


[Закрыть].

Глубокое обучение изменило расклад сил и здесь, по крайней мере до некоторой степени. Во многих задачах (хотя, как мы увидим, не во всех) глубокое обучение может хорошо работать без предварительной разработки функций. Системы, которые начали побеждать в задачах по ImageNet, научились классифицировать объекты – на самом современном уровне – без существенного прогресса в области разработки функций. Вместо этого системы выучили все, что им нужно было знать, просто посмотрев на пиксели, из которых состояли изображения, и метки, которые они должны были применять в качестве подписей. Проектирование функций, казалось, потеряло актуальность. Зачем быть доктором наук в области зрительного анализа, если можно обучить компьютер просто на большом числе частных примеров?

Более того, глубокое обучение оказалось поразительно универсальным подходом, эффективным не только при распознавании объектов и дешифровке речи, но также и для многих других задач, которые раньше считались неподвластными для машин. Глубокое обучение обнаружило неожиданный успех в раскрашивании черно-белых фотографий и даже в создании образцов синтетического искусства, например имитируя стиль старых мастеров на современных изображениях (вы можете, скажем, снять пейзаж на фотокамеру и превратить его в подобие картины Ван Гога). Его реально использовать для решения проблемы обучения без учителя, при котором нет заранее подобранных примеров и нет обучающего человека, и машина учится, выбирая примеры сама. Особенно хорошо работают такие методы в сочетании с подходом, известным как генеративно-состязательные сети (generative adversarial networks).

Глубокое обучение может также использоваться в качестве компонента в системах, которые играют в игры, иногда на сверхчеловеческом уровне. Громкие успехи DeepMind – сначала в видеоиграх Atari, а затем в го – частично основывались на использовании глубокого обучения в сочетании с подкрепляемым обучением, что в результате привело к созданию нового метода, известного как глубокое обучение с подкреплением. По сути своей это способ обучения методом проб и ошибок, но с задействованием колоссального количества данных. Система AlphaGo, как мы увидим ниже, интегрировала в свои алгоритмы и некоторые другие методы.

Успех метода на многих подействовал опьяняюще. Эндрю Ын, один из ведущих исследователей искусственного интеллекта, руководивший исследованиями в китайской компании Baidu, разрабатывавшей новую поисковую систему для интернета, писал на страницах Harvard Business Review в 2016 году следующее: «Если обычный человек может выполнить некую умственную задачу менее чем за одну секунду, мы, вероятно, сможем сейчас или в ближайшем будущем автоматизировать даже этот процесс, используя методы искусственного интеллекта». Стоит ли пояснять, что он при этом имел в виду именно глубокое обучение, успехи которого воспарили до небес?

Невзирая на все это, мы с самого начала отнеслись к этому методу весьма скептически. Пусть даже всем было очевидно, что глубокое обучение сделалось более мощным инструментом, чем любой из ранее применявшихся методов, нам представлялось, что возможности данного подхода сильно переоцениваются. Руководствуясь своими исследованиями, проведенными за дюжину лет до того по системам – предшественникам глубокого обучения, Гэри в 2012 году написал в The New Yorker статью, содержавшую следующий абзац:

Куда реалистичнее будет сказать, что глубокое обучение – это только часть более сложной задачи создания интеллектуальных машин. В методах, подобных этому, отсутствуют способы представления причинно-следственных связей (например, между болезнями и их симптомами), и они могут испытать серьезные затруднения при столкновении с абстрактными идеями, например такими, как «родственный» или «идентичный». У них нет очевидных способов формирования логических выводов, и они также еще далеки от интеграции абстрактного человеческого знания…

Несколько лет спустя все это так и останется прежним, несмотря на очевидные успехи глубокого обучения в определенных областях, таких как распознавание речи, перевод с другого языка, преобразование голоса в текст и компьютерные команды. Глубокое обучение не показало себя универсальным решателем проблем, и вдобавок оно не имеет ничего общего с универсальным искусственным интеллектом, в котором мы нуждаемся для использования в условиях открытых систем.

В частности, оно сталкивается с тремя основными проблемами, каждая из которых затрагивает как само глубокое обучение, так и другие популярные ныне методы, подобные глубокому обучению с подкреплением, в значительной степени зависящие от него, что следует уже из самих их названий.

Глубокое обучение чрезвычайно прожорливо в отношении использования данных. Чтобы правильно установить все соединения в нейронной сети, глубокое обучение часто требует фантастического объема входящей информации. Системе AlphaGo потребовалось 30 млн игр для достижения сверхчеловеческой производительности, а это гораздо больше, чем любой человек мог бы сыграть за всю свою жизнь. При небольших объемах данных глубокое обучение часто неэффективно. Его сильная сторона начинает проявляться на наборах, насчитывающих миллионы или даже миллиарды точек данных, которые давят на наборы весов нейронных сетей, фиксирующих взаимоотношения между обучающими примерами. Если системам глубокого обучения скормить лишь ограниченное число примеров, результаты их тренировок едва ли будут отличаться надежностью. И, разумеется, отличие их от нас состоит в том, что очень многое из того, что мы делаем, основано буквально на нескольких минутах изучения. Скажем, когда вы впервые возьмете в руки 3D-очки, вы сможете их надеть и примерно поймете, что происходит, и без необходимости примерить их сотню тысяч раз. Глубокое обучение попросту не предназначено для столь быстрого формирования навыков.

В статье, где Эндрю Ын обещал, что машины смогут в скором времени автоматизировать все, что человек может сделать за секунду, более реалистично было бы выразиться так:

Если обычный человек может выполнить умственную задачу менее чем за одну секунду и мы можем собрать огромное количество данных, имеющих непосредственное отношение к моделируемой задаче, у нас есть шансы на успех – и то лишь до тех пор, пока проблемы, с которыми мы на самом деле сталкиваемся, не отклонятся от данных обучения, а область задач и правила игры не изменятся со временем.

Поправки к сказанному Эндрю Ыном в первую очередь характеризуют настольные игры, такие как го или шахматы, в которых правила остаются неизменными на протяжении тысячелетий, но, как мы отмечали во введении, во многих реальных проблемах получить достаточное число релевантных данных почти, а то и совсем невозможно. Например, большая часть проблем, тормозящих применение глубокого обучения в лингвистике, заключается в том, что в любом языке существует практически бесконечное число предложений с разным смыслом, причем внешне они могут быть очень похожи, а по смыслу – радикально различны. Чем больше реальные проблемы отличаются от тренировочных данных, представленных системе, тем меньше вероятность того, что после обучения система будет работать надежно.

Глубокое обучение очень непрозрачно. Классические экспертные системы основаны на правилах, которые можно достаточно легко понять в рамках человеческой логики или интуиции, например «если у человека повышенный уровень лейкоцитов в крови, то, вероятно, у человека где-то есть инфекция». В отличие от них, нейронные сети состоят из обширных массивов чисел, практически ни один из которых не имеет прямого или интуитивного смысла для подавляющего большинства людей. Даже эксперты в этой области, притом вооруженные сложными аналитическими инструментами, часто не могут до конца понять, почему определенные нейронные сети принимают те решения, которые дают на выходе. Почему нейронным сетям удается во многих случаях работать столь эффективно, по сути, остается нерешенной загадкой; точно так же отсутствует ясность относительно того, в каких именно обстоятельствах они не работают или работают плохо. Допустим, нейронная сеть, решающая определенную задачу, может при тестировании показывать точность, равную 95 % правильных результатов. Но что именно это значит? Часто бывает очень трудно понять, почему сеть ошибается в оставшихся 5 % случаев, при том что некоторые из этих ошибок являются очень серьезными – такими, которые ни один человек никогда не совершит, как тот описанный выше случай, когда система не видит разницы между холодильником и дорожным знаком. Подобные ошибки нередко критичны с точки зрения нашей безопасности, и если мы не можем понять, откуда они берутся, то мы имеем полное право говорить о фундаментальной слабости глубокого обучения.

Описанная проблема стоит особенно остро потому, что нейронные сети не могут объяснить понятным человеку образом, почему они дают те или иные ответы, хоть правильные, хоть нет[26]26
  Конечно, если бы системы всегда работали идеально и мы могли бы всерьез на них рассчитывать, нам не обязательно было бы заглядывать внутрь них, но современные системы назвать идеальными никак нельзя.


[Закрыть]. Действительно, эти системы работают в стиле «черного ящика», то есть они делают то, что делают, а что у них происходит внутри – остается тайной. Но если мы собираемся рассчитывать на них в таких серьезных вещах, как вождение автомобиля или выполнение ежедневных домашних обязанностей, то оставлять эту ситуацию как есть очень опасно. Такая же ловушка поджидает нас, если мы захотим сделать глубокое обучение частью более крупных систем, потому что мы не сможем точно охарактеризовать рабочие параметры, создаваемые нейронными сетями на выходе, в соответствии с которыми остальные части системы будут работать – или не будут. Например, лекарства, отпускаемые по рецепту, снабжаются подробнейшей информацией о том, какие побочные эффекты могут быть связаны с их приемом, какие из них опасны, а какие – просто неприятны. А теперь представьте себе, что компания предоставляет полиции систему распознавания лиц на основе глубокого обучения и она не в состоянии объяснить полицейским, когда она будет справляться, а когда нет. Ведь, как мы уже видели, легко может обнаружиться, что она хорошо распознает представителей европеоидной расы в солнечные дни, но не справляется с лицами афроамериканцев в пасмурную погоду. Понять подобные нюансы можно только путем экспериментов, но полицейская работа – не тот случай, когда вы можете себе это позволить.

Еще одним следствием непрозрачности глубокого обучения является то, что решения, принимаемые нейронными сетями, не соответствуют естественным знаниям о том, как устроен мир. Не существует способа объяснить этим системам, что яблоки растут на деревьях, птицы тоже могут сидеть на деревьях, однако, когда яблоки отрываются от ветки, они падают вниз, а не взлетают вверх, как это обычно делают птицы. Если единственное, что вам нужно, – это распознать яблоко на фотографии, то всего этого можно не объяснять, но если вы хотите, чтобы система глубокого обучения интерпретировала то, что происходит в хитроумных устройствах наподобие «самодействующей салфетки»[27]27
  «Самодействующая салфетка» – одна из так называемых машин Голдберга, механизм, с помощью цепочки разнообразных действий (построенных по принципу домино) выполняющий простую задачу предельно сложным, вычурным и длинным путем. – Прим. ред.


[Закрыть], придуманной американским карикатуристом Рубом Голдбергом, то знайте, что вы еще не сталкивались с настоящими трудностями!

Глубокое обучение чрезвычайно нестабильно и непредсказуемо. Как мы видели во вступительной главе, этот метод может приводить к идеальным решениям в одной ситуации и совершенной абракадабре в другой. «Глюки» искусственного интеллекта, подобные обнаружению на фотографии несуществующего холодильника, не являются чем-то исключительным, специально отобранным нами, чтобы принизить возможности нейронных сетей, – они остаются постоянной проблемой и сейчас, спустя годы после того, как впервые стали достоянием общественности. По данным одного исследования, современные системы продолжают делать точно такие же ошибки в 7–17 % случаев. Вот типичный пример: на фотографии изображены две улыбающиеся женщины, болтающие по мобильным телефонам, за ними находится ряд деревьев, находящихся не в фокусе; одна женщина стоит прямо перед камерой, а другая повернулась к снимающему так, что ее лицо видно только сбоку. Система распознавания образов интерпретировала эту фотографию так: «Женщина разговаривает по мобильному телефону, сидя на скамейке». Это удивительное описание представляет собой причудливую смесь точных деталей и откровенной чепухи, что, скорее всего, было вызвано статистическими причудами в обучающем наборе данных: одна из женщин исчезла в никуда, и оттуда же, очевидно, вдруг появилась скамейка. После этого нетрудно представить себе, что подобные механизмы могут заставить автоматизированного робота-охранника неправильно интерпретировать мобильный телефон как пистолет (и это еще ничего, как мы сейчас убедимся).

Рис. 3.4. Черепаха, ошибочно идентифицированная системой глубокого обучения как винтовка

Существуют без преувеличения десятки способов обмануть глубокие нейронные сети. Например, исследователи из Массачусетского технологического института создали трехмерное изображение морской черепахи, которую система глубокого обучения приняла за… винтовку (рис. 3.4). Когда экспериментаторы поместили черепаху под воду (туда, где эти черепахи живут и где винтовок обычно не бывает), система все равно продолжала настаивать на своем. В аналогичном примере группа исследователей нанесла немного пены на бейсбольный мяч, помещенный прямо в бейсбольную перчатку, и компьютер решил, что это чашка кофе эспрессо, с какой бы стороны ей ни показывали мяч, даже если он располагался прямо перед бейсбольной перчаткой (рис. 3.5).

Рис. 3.5. Бейсбольный мяч с нанесенной на него пеной, ошибочно идентифицированный искусственным интеллектом как чашка эспрессо

Еще одна команда ученых добавила едва заметные для человеческого глаза фрагменты случайных цветовых шумов по углам изображения свиньи-копилки и заставила тем самым нейронные сети идентифицировать картинку как фотографию «сумчатой куницы».

Четвертая научная группа добавила небольшие наклейки с психоделическим изображением тостера к объекту реального мира, в частности к обычному банану, и обманула систему глубокого обучения, заставив ее думать, будто вся композиция представляет собой лишь тостер, а не банан в сочетании с тостером (рис. 3.6, 3.7, 3.8). Если бы ваш ребенок не увидел на этой картинке банан, вы бы срочно отправили его к неврологу!

Существуют, наконец, такие способы изменить дорожный знак «стоп», чтобы система глубокого обучения неправильно определила его как знак ограничения скорости (рис. 3.9).

Рис. 3.6. Изображение «психоделического тостера»

Еще одна команда исследователей сравнила системы глубокого обучения с обычными людьми при решении двенадцати различных задач, в которых изображения были искажены теми или иными способами, например путем превращения цветных изображений в черно-белые, замены цветов, поворота изображения и т. д. В подавляющем большинстве случаев люди определяли объекты гораздо лучше, чем машины. Визуальный анализатор человека почти всегда надежен; глубокое обучение – увы, нет.

Рис. 3.7. Банан, правильно идентифицированный системой глубокого обучения

Рис. 3.8. Тот же банан с добавленной к нему наклейкой в виде тостера, ошибочно идентифицированный как «тостер без банана»

Некоторые примеры наглядно показывают, что системам глубокого обучения трудно распознавать самые обычные объекты, когда они находятся в необычном положении или ракурсе. Например, перевернутый набок школьный автобус нейронные сети определяют как снегоочистительную машину (рис. 3.10).

Рис. 3.9. Слегка измененный знак «стоп», неверно идентифицированный нейронной сетью как знак ограничения скорости

Ситуация становится еще более странной, когда мы переходим к вопросу понимания машиной человеческого языка. Стэндфордские компьютерные специалисты Робин Джиа и Перси Лян провели исследование систем, которые работают над тестами SQuAD, упомянутыми в главе 1, где системы глубокого обучения пытаются подчеркивать правильные ответы на вопросы в тексте. Системам глубокого обучения дали такой вот фрагмент текста.

Рис. 3.10. Школьный автобус, лежащий на боку. Из-за необычного положения компьютер ошибочно принимает его за снегоочистительную машину

Пейтон Мэннинг стал первым защитником в истории американского футбола, который позволил двум своим командам завоевать несколько Суперкубков. Он также является самым старым квотербеком, когда-либо игравшим в Суперкубке (последний раз выступил в возрасте 39 лет). Предыдущий рекорд принадлежал Джону Элуэю, который привел «Бронкос» к победе в Суперкубке-XXXIII в 38 лет и в настоящее время является исполнительным вице-президентом Денвера по вопросам американского футбола и его главным управляющим.

А вопрос был следующим:

Как зовут защитника, которому было 38 лет в Суперкубке-XXXIII?

Одна система глубокого обучения правильно подчеркнула имя «Джон Элуэй». Пока все нормально. Однако Джиа и Лян предъявили системе точно такой же текст, но в конце добавили еще одно предложение, совершенно не относящееся к делу:

Защитник Джефф Дин имел майку с номером 17 в чемпионате мира по футболу – XXXIV.

Когда после этого они повторили вопрос о 38-летнем защитнике из Суперкубка-XXXIII, система совершенно запуталась, приписав победу Джеффу Дину, а не Джону Элуэю. Иначе говоря, она смешала в кучу два предложения о двух разных чемпионатах, не понимая по-настоящему ни одно из них.

Другое исследование продемонстрировало, как легко обмануть системы вопросов и ответов, задавая лишь часть вопроса. Зависимость систем глубокого обучения от корреляций без использования принципов истинного понимания заставляет их отвечать такому шутнику невпопад, не дожидаясь конца вопроса. Например, если вы спросите систему «Сколько?», вы получите ответ «два»; если вы спросите «Какой вид спорта?», то получите ответ «теннис». Поиграйте с этими системами в течение нескольких минут, и у вас появится ощущение взаимодействия не с подлинным искусственным интеллектом, а с механическим попугаем.

В еще более странной форме эта проблема зачастую возникает в машинном переводе. Когда в Google Translate ввели якобы оригинальный текст, состоявший из многократного повторения английского слова «собака»: «dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog», и попросили перевести эту бессмыслицу с языка йоруба[28]28
  Greg, 2018. Этот удивительный «перевод» быстро стал достоянием широкой общественности; подлинность его подтверждена, в частности, и авторами данной книги.


[Закрыть] (и некоторых других языков) на английский, переводчик выдал следующий апокалиптический текст:

Часы Судного дня – без трех минут двенадцать. Мы становимся свидетелями драматических событий в мире, обстоятельства которых прямо указывают на то, что нас неуклонно приближает к концу времени и Второму пришествию Иисуса[29]29
  В оригинале есть небольшие синтаксические ошибки, которые намеренно сохранены авторами и которые мы имитируем в русском переводе. – Прим. пер.


[Закрыть].

Образно выражаясь, глубокое обучение не так уж и глубоко[30]30
  Marcus 2018a. Алекс Ирпан, инженер-программист из Google, высказал аналогичные замечания и в адрес глубокого обучения с подкреплением: см. Irpan 2018.


[Закрыть]. Важно понимать, что в термине «глубокое обучение» слово «глубокий» относится к числу слоев в нейронной сети и не означает ничего больше. Оно вовсе не подразумевает, что нейронные сети глубокого обучения извлекают из обучающих данных что-то позволяющее им видеть мир дальше или глубже людей или других компьютерных систем. Например, алгоритм, управляющий игровой системой DeepMind Atari, может играть в миллионы игр типа Breakout и так и не узнать, что такое весло (недавно это очень элегантно продемонстрировал стартап AI Vicarious). В Breakout игрок перемещает весло вперед и назад по горизонтальной линии. Если вы измените игру так, чтобы весло оказалось на несколько пикселей ближе к кирпичам (что вообще не мешало бы грести человеку), вся система DeepMind разваливается. Нечто похожее команда ученых из Беркли проделала с игрой Space Invaders: крошечные кусочки шумов, внесенные в игровое пространство, резко снизили производительность системы, показав тем самым, насколько поверхностной по своей сути оказывается ИИ-система, обучающаяся играм.

Похоже, что некоторые специалисты в этой области осознали наконец хотя бы эти проблемы. Так, профессор Монреальского университета Иошуа Бенжио, один из пионеров в области глубокого обучения, недавно признал, что «глубокие [нейронные] сети имеют тенденцию изучать поверхностные статистические закономерности в наборе данных, а не абстрактные концепции более высокого уровня». В одном из интервью, записанном во второй половине 2018 года, Джефф Хинтон вместе с Демисом Хассабисом, основателем DeepMind, также согласился с тем, что универсальный искусственный интеллект, очевидно, еще долгое время не станет реальностью.

Многих в глубоком обучении всерьез беспокоит «проблема головастика». Иными словами, существует некоторое количество простых, широко распространенных случаев, хорошо покрываемых массовыми обучающими данными (это можно представить себе как толстую часть головастика), но имеется также гораздо большее число редких случаев, по которым обучающих данных явно не хватает (длинный хвост ошибок). Легко научить систему часто встречающимся корреляциям, чтобы она правильно назвала вам фотографию, где группа молодежи играет в фрисби, потому что в сети имеется бесчисленное количество фотографий, помеченных таким образом. Однако гораздо сложнее заставить глубоко обученную нейронную сеть объяснить вам, что изображено на следующей фотографии[31]31
  Изображение взято отсюда: https://pxhere.com/ru/photo/1341079.


[Закрыть] (рис. 3.11).

Рис. 3.11. Знакомые объекты в необычных позах

Здесь практически все – собака, котята, игрушечные лошади и повозка – совершенно обычные объекты нашей жизни (как и интернета), но этой конкретной конфигурации элементов в обучающем наборе не было, и система понятия не имеет, что делать с таким изображением.

Так почему же глубокое обучение было настолько переоценено, невзирая на все эти проблемы? Дело в том, что оно по-настоящему эффективно для статистической аппроксимации с большими наборами данных и в нем есть определенная элегантность – всего одно несложное уравнение, которое, кажется, способно решить так много. Ну и, конечно, огромную роль сыграла также значительная коммерческая выгода от использования этих систем. Но теперь, оглядываясь назад, мы хорошо видим, что им все время чего-то недостает.

Пышный расцвет глубокого обучения может служить отличным примером различия между иллюзорным прогрессом и реальными возможностями искусственного интеллекта, о чем мы уже говорили во вступительной главе. Повторим еще раз: в решении некоторых задач глубокое обучение может быть очень успешным, но это не означает, что за его успехом стоит настоящий интеллект.

Глубокое обучение – это совершенно иной вид мышления, кардинально отличающийся от человеческого разума. В самом лучшем случае эти системы ведут себя подобно дурацкому волшебнику (вспомните джиннов из сказок Шахерезады), который обладает чудесными способностями, но очень мало что знает про окружающий мир и людей. Сейчас легко найти эффективные системы глубокого обучения для маркировки изображений (их предоставляют Google, Microsoft, Amazon, IBM и другие производители), в том числе и коммерческие системы, а библиотека программного обеспечения нейронных сетей Google TensorFlow позволяет любому студенту, изучающему информатику, сделать какой-нибудь аналогичный продукт, не вкладывая в это личных средств. Столь же легко найти эффективные системы глубокого обучения для распознавания речи – на данный момент эти продукты пользуются значительным спросом. Однако распознавание речи и распознавание объектов – это еще не интеллект, а лишь мелкие фрагменты интеллекта. Для реального понимания мира нужны еще рассуждения, язык и аналогия, и пока что ни одна современная технология даже близко не подошла к овладению этими способностями. Например, у нас пока вообще нет систем искусственного интеллекта, которые могли бы надежно понимать юридические контракты, потому что одной лишь классификации по сходству здесь недостаточно. Чтобы понять юридический договор, вы должны уметь рассуждать о том, что в нем сказано (и что не сказано!), как различные его положения связаны с ранее утвержденными законами, и многое-многое другое; глубокое обучение не умеет делать ничего из этого. Эти системы нельзя даже попросить достоверно обобщить сюжеты старых фильмов для библиотеки компании Netflix.

Действительно, даже в той части познания, которая называется восприятием и которая ближе всего соответствует сильным сторонам глубокого обучения, нынешний прогресс является лишь очень фрагментарным: глубокое обучение может идентифицировать объекты, но оно не может понять связи и отношения между ними, именно поэтому нейронные сети можно так легко обмануть. В других областях, таких как понимание языка и повседневные рассуждения, глубокое обучение пока ни не йоту не приблизилось к человеческим возможностям.

Подавляющее большинство того, что написано о глубоком обучении в популярных СМИ, создает впечатление, что прогресс в одной из этих областей равносилен прогрессу во всех них. Например, MIT Technology Review в 2013 году включил глубокое обучение в ежегодный список революционных технологий и резюмировал его возможности следующим образом:

Обладая огромными вычислительными возможностями, машины теперь могут распознавать объекты и переводить речь в режиме реального времени. Искусственный интеллект наконец становится действительно умным.

Но в данном случае такая логика неприменима: ведь только то, что вы умеете распознавать отдельные слоги или способны отличить по внешнему облику бордер-колли от других пород собак, вовсе не означает, что вы обязательно умны. Не все когнитивные проблемы одинаковы по сложности и характеру. Проводить знак равенства между успехом в одном аспекте познания и успехом во всех областях познания означает поддаться эффекту иллюзорного прогресса.