Текст книги "Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир"

Глава 2
Обещание. «Старые идеи – это новые идеи»

Однажды в середине 1980-х группа из примерно двадцати ученых собралась в особняке, выстроенном в старофранцузском стиле на окраине Бостона, который служил местом отдыха для преподавателей и студентов Массачусетского технологического института, откуда Марвин Мински продолжал руководить международным сообществом разработчиков ИИ. Они сидели за большим деревянным столом в центре комнаты, и Джефф Хинтон вручил каждому экземпляр заполненной математическими выкладками научной статьи, описывающей то, что он назвал «машиной Больцмана». Названная в честь австрийского физика и философа, эта «машина» представляла собой нейронную сеть нового типа, призванную преодолеть те недостатки «Перцептрона», на которые указал Мински пятнадцатью годами ранее. Мински снял скрепку, соединявшую листы статьи, и разложил их перед собой на столе, в то время как Хинтон вернулся во главу стола и сделал короткий доклад, объясняющий свое новое математическое творение. Мински молчал и просто разглядывал разложенные перед ним листы. Когда доклад закончился, он встал и вышел из комнаты, оставив разложенные аккуратными рядами листы на столе.

Хотя нейронные сети выпали из фавора ученых, после выхода в свет книги Мински «Перцептроны», Хинтон, к этому времени занявший должность профессора информатики в Университете Карнеги – Меллона в Питтсбурге, сохранял им верность. «Машину Больцмана» он создал в сотрудничестве с Терри Сейновски, нейробиологом из Университета Джонса Хопкинса в Балтиморе. Они принадлежали к числу «нейросетевых подпольщиков», как назвал их один из современников. Остальные ученые, занимавшиеся искусственным интеллектом, сосредоточились на символьных методах, в том числе на проекте Сус. Хинтон же и Сейновски продолжали видеть будущее ИИ в самообучающихся системах. Бостонская конференция дала Хинтону возможность поделиться своими новыми результатами с широким научным сообществом.

Хинтона реакция Мински не удивила. Они познакомились пятью годами ранее, и Хинтон видел в Мински очень любознательного и творчески мыслящего ученого, но это сочеталось с удивительным ребячеством и безответственностью. Хинтон часто рассказывал историю о том, как Мински учил его, каким образом получить «идеальный черный цвет» – то есть цвет, полностью лишенный цвета. Достичь такого совершенства с помощью черных пигментов невозможно, объяснял Мински, потому что эти пигменты все равно будут отражать свет. Добиться этого можно с помощью нескольких бритвенных лезвий, установленных V-образно, так чтобы свет, попав в эту ловушку, бесконечно отражался от лезвий, не находя выхода наружу. Мински, правда, реально это фокус не продемонстрировал, а Хинтон так и не попробовал его осуществить. Это было типично для Мински – делать интересные и заставляющие задуматься заявления, но при этом случайные и непроверенные. И это свидетельствовало о том, что он не всегда говорил то, что думал. Во всяком случае, когда речь заходила о нейронных сетях, Мински на словах критиковал их и сетовал на их ограниченные возможности – да еще и книгу написал, которая широко цитировалась и как будто бы окончательно доказывала их бесперспективность, – но его истинное отношение к ним было не столь уж твердокаменным. Хинтон видел в нем «бывшего нейросетевика», то есть человека, который изначально принимал идею о машинах, ведущих себя подобно сети нейронов в мозге, потом разочаровался в этой идее, не оправдавшей его ожиданий, но все-таки продолжал таить в себе призрачную надежду на то, что эта идея еще проявит себя. После того как Мински покинул заседание в Бостоне, Хинтон собрал оставленные им листы и переслал их в офис Мински, сопроводив короткой запиской, в которой говорилось: «Возможно, вы оставили их случайно».

* * *

Джеффри Эверест Хинтон родился в английском городе Уимблдон сразу после Второй мировой войны. Он является одновременно прапраправнуком Джорджа Буля, математика и философа девятнадцатого столетия⁶⁷, чья «булева алгебра» является математическим фундаментом всех существующих компьютеров, и Джеймса Хинтона, хирурга⁶⁸, жившего в том же столетии, который написал историю Соединенных Штатов Америки. Его прадедом был Чарльз Говард Хинтон, математик и писатель-фантаст⁶⁹, чье представление о «четвертом измерении» – включая так называемый «тессеракт» – продолжает будоражить умы любителей научной фантастики вот уже сто тридцать лет. Своего пика в поп-культуре эта идея достигла в 2010-е годы в марвеловской серии фильмов о супергероях. Его двоюродный дедушка Себастьян Хинтон изобрел серию тренажерных снарядов для детей⁷⁰, а его кузина Джоан Хинтон, физик-ядерщик, была одной из немногих женщин, участвовавших в проекте «Манхэттен». Он рос в Лондоне, а потом в Бристоле в обществе брата и двух сестер, мангуста, дюжины дальневосточных черепах и двух гадюк, которые жили в яме в задней части гаража. Его отцом был энтомолог Говард Эверест Хинтон, член Лондонского королевского общества, чей круг интересов отнюдь не ограничивался насекомыми. Как и отец, своим вторым именем Джеффри был обязан еще одному своему родственнику, Джорджу Эвересту, главному геодезисту Индии⁷¹, в честь которого названа также высочайшая вершина мира. В том, что Джеффри пойдет по стопам отца и тоже станет ученым, в семье никто не сомневался. Вопрос был лишь в том, что именно он будет изучать.

Ему захотелось изучать человеческий мозг. Интерес к этой теме, по его собственным словам, пробудился в нем еще в подростковом возрасте, когда кто-то из друзей сказал ему, что мозг можно уподобить голограмме: в своей сети нейронов он хранит обрывки воспоминаний примерно так же, как голографическая пластина хранит элементы трехмерного изображения. Аналогия, конечно, упрощенная, но эта идея увлекла Хинтона. Став студентом Кингс-колледжа в Кембридже, он надеялся лучше изучить устройство и работу человеческого мозга. Проблема была в том, что мало кто разбирался в этом лучше, чем он сам. Ученым были известны функции отдельных участков мозга, но не было понимания того, как эти части взаимодействуют друг с другом и как они в конечном счете наделяют человека способностью видеть, слышать, запоминать, учиться и мыслить. В поисках ответа Хинтон пробовал обращаться к физиологии и химии, к физике и психологии, но ни одна из этих научных дисциплин не содержала в себе ответы, которые он искал. Он занялся было подготовкой диссертации по физике, но скоро понял, что для этого недостаточно силен в математике, и переключился на философию. Потом он и философию забросил, сменив ее на экспериментальную психологию. В конце концов, несмотря на давление со стороны отца, который хотел, чтобы сын продолжал учебу, – а может быть, благодаря этому давлению, – Хинтон вообще оставил научную стезю. Еще будучи ребенком, он видел в отце не только ученого-интеллектуала, но и физически очень сильного мужчину: этот член Лондонского королевского общества мог отжиматься на одной руке. «Упорно трудись и, быть может, когда станешь вдвое старше, чем я сейчас, достигнешь хотя бы половины того, чего достиг я», – говорил он сыну без тени иронии. Поэтому после окончания Кембриджа Хинтон, желая выйти из тени отца, перебрался в Лондон и стал плотником. «Я занимался этим не ради развлечения, – говорит он. – Я зарабатывал этим на жизнь».

В том же году он прочитал книгу канадского психолога Дональда Хебба «Организация поведения». В своей книге автор пытался объяснить базовые биологические процессы⁷², позволяющие мозгу учиться. Процесс учебы, полагал Хебб⁷³, происходит в форме цепочки крошечных электрических сигналов между нейронами мозга, в результате которых меняется физическая картина соответствующих нейронных связей. Между одновременно возбуждающимися нейронами формируются прочные связи. Эта теория, получившая название «закон Хебба», в 1950-е годы вдохновила таких ученых, как Фрэнк Розенблатт, на создание искусственных нейронных сетей⁷⁴. И для Джеффа Хинтона она тоже стала источником вдохновения. Каждую субботу он приходил с блокнотом в библиотеку – а жил он тогда в Ислингтоне, в северной части Лондона, – и до обеда строчил свои собственные теории, объясняющие – на основе идей Хебба, – как работает мозг. Эти субботние записи он делал исключительно для себя, но со временем они побудили его вернуться в науку. По времени это совпало с первой волной финансирования разработок искусственного интеллекта со стороны британского правительства и расширением приема в аспирантуру Эдинбургского университета.

В те годы печальная реальность была такова, что как нейробиологи и психологи плохо понимали, как работает мозг, так и разработчикам искусственного интеллекта было еще далеко до успешной имитации работы человеческого мозга. Но, во многом подобно Фрэнку Розенблатту, Хинтон был убежден в том, что только изучение обеих сторон этого уравнения – принципов работы как биологического мозга, так и искусственного интеллекта – поможет лучше разобраться в том и в другом. Он видел в разработках ИИ возможность проверить свои теории о мозге, что в конечном счете даст шанс раскрыть его тайны. И если он сможет проникнуть в тайны мозга, это, в свою очередь, поможет ему создать более эффективные формы ИИ. Поэтому, проработав год плотником в Лондоне, он на короткое время устроился психологом в Бристольский университет, где работал его отец, и это послужило трамплином для того, чтобы стать участником программы разработки ИИ, которая в то время как раз разворачивалась в Эдинбургском университете. Годы спустя один коллега, представляя его на одной из конференций, назвал Хинтона человеком, который потерпел неудачу в физике, ушел из психологии и в конце концов нашел себя в области исследований, где не было никаких стандартов: в разработке ИИ. Эту историю любил рассказывать сам Хинтон, но с одним уточнением: «Я не потерпел неудачу в физике и ушел из психологии; я потерпел неудачу в психологии и ушел из физики – это намного солиднее звучит».

В Эдинбурге он попал в лабораторию, которой руководил Кристофер Лонге-Хиггинс. Долгое время Лонге-Хиггинс занимался теоретической химией⁷⁵ в Кембридже и считался восходящей звездой в этой области, но в конце 1960-х его увлекла идея искусственного интеллекта. Поэтому он переехал из Кембриджа в Эдинбург и занялся изучением той разновидности ИИ, которая имела немало общего с методами, на которых был построен «Перцептрон». Его коннекционистский подход вполне согласовывался с теми теориями, которые разрабатывал по субботам в ислингтонской библиотеке Хинтон. Но эта интеллектуальная гармония оказалась скоротечной. За время, прошедшее между днем, когда Хинтон принял приглашение занять место аспиранта в лаборатории Лонге-Хиггинса, и днем, когда он туда прибыл, взгляды руководителя лаборатории успели кардинально измениться. Прочитав книгу Мински и Пейперта «Перцептроны» и статью о системах обработки текстов на естественных языках, написанную одним из студентов Мински в МТИ, он отказался от идеи искусственного интеллекта, моделирующего структуру мозга, и переключился на идею символического ИИ – что укладывалось в общий тренд того времени. Это привело к тому, что все годы, проведенные в аспирантуре, Хинтон занимался исследованиями в тех направлениях, которые отвергались не только его коллегами, но и непосредственным научным руководителем. «Мы встречались раз в неделю, – говорит Хинтон. – Иногда встречи заканчивались перепалками, но не каждый раз».

У Хинтона было очень мало опыта в области информатики, и он совершенно не интересовался математикой, включая линейную алгебру, на которую опирается теория нейронных сетей. Иногда он практиковал то, что сам называл «дифференцированием на доверии». Он придумывал идею, включая систему дифференциальных уравнений, на которые она опиралась, и просто предполагал, что математически там все безупречно, предоставляя другим трудиться над расчетами, необходимыми для того, чтобы удостовериться, что это действительно так, и лишь в крайних случаях снисходил до того, чтобы решать уравнения самостоятельно. Но он имел твердую уверенность в том, как работает мозг – и как машины могли бы имитировать работу мозга. Когда он сообщал кому-нибудь из научного сообщества, что занимается нейронными сетями, его собеседники неизменно ссылались на книгу Мински и Пейперта. «Нейронные сети опровергнуты, – говорили ему. – Лучше бы вам заняться чем-нибудь другим». Но если других ученых книга Мински и Пейперта все дальше отталкивала от нейронных сетей, то на Хинтона она оказала противоположное действие. Он прочитал эту книгу, уже будучи в Эдинбурге. Ему казалось, что «Перцептроны», описанные Мински и Пейпертом, были скорее карикатурой на работу Розенблатта. Они отказывались признать, что Розенблатт и сам видел в своей технологии те же самые недостатки и ограничения, которые видели они. Другое дело, что Розенблатту недоставало их мастерства в описании этих недостатков, и, возможно, именно по этой причине он не мог к ним подступиться. Он был не из тех, кого остановит неспособность доказать справедливость своих теорий. Хинтон полагал, что, четко и красноречиво указав на ограничения, присущие технологии Розенблатта, Мински и Пейперт облегчили будущим исследователям задачу преодоления описанных ими проблем.

Но для этого потребуется еще десять лет.

* * *

В 1971 году, в тот самый год, когда Хинтон поступил в аспирантуру Эдинбургского университета, британское правительство заинтересовалось прогрессом, достигнутым в разработках искусственного интеллекта, и заказало соответствующее исследование⁷⁶. Результат оказался неутешительный. «Большинство сотрудников, занимающихся искусственным интеллектом⁷⁷ или работающих в смежных областях, признаются, что разочарованы тем, чего им удалось достичь за последние двадцать пять лет, – говорится в отчете. – Ни в одном из направлений не были достигнуты сколько-нибудь существенные результаты, которые бы соответствовали ожиданиям». По этой причине правительство решило урезать финансирование, и наступила «зима искусственного интеллекта», как впоследствии назвали этот период. Оправдываясь тем, что, несмотря на ажиотаж, поднятый вокруг тематики ИИ, научно-технические достижения в этой области оставались более чем скромными, государственные чиновники отказывали ученым в дополнительных инвестициях, что ввергло большую часть таких исследований в «спячку» и в еще большей степени замедлило прогресс. Название этому периоду было дано по аналогии с «ядерной зимой» – последствием ядерной войны, когда небо затягивается дымом и пеплом и солнечные лучи на протяжении многих лет не могут пробиться к поверхности земли. К тому времени, когда Хинтон закончил работу над своей диссертацией, от той научной дисциплины, где он работал, осталось практически пепелище. Тогда же умер его отец. «Старый хрыч умер до того, как я добился успеха, – говорит Хинтон. – Да еще у него был рак с высоким уровнем риска передачи по наследству. Таким образом, он напоследок и меня решил поскорее уморить».

«Зима искусственного интеллекта» становилась все холоднее, и закончивший аспирантуру Хинтон принялся за поиски работы. Только один университет пригласил его на собеседование, и у него не осталось другого выбора, как обратить свой взор на заграничные вузы, включая американские. В США исследования ИИ тоже угасли, поскольку американские чиновники пришли к тем же неутешительным выводам, что и их британские коллеги, и сократили финансирование университетов. Но на самом юге Калифорнии, к своему изумлению, Хинтон нашел-таки небольшую группу людей, которые верили в ту же идею, что и он сам.

Они называли себя «группой PDP». Понятие PDP, что расшифровывалось как «параллельно распределенная обработка», служило фактически синонимом для таких понятий, как «перцептроны», «нейронные сети» или «коннекционизм». И здесь еще имелась игра слов. В те годы – в конце 1970-х – аббревиатурой PDP обозначался компьютерный чип, который использовался в самых мощных машинах того времени. Но люди, называвшие себя «группой PDP», компьютерщиками не были. Они даже разработчиками ИИ себя не считали. Группа включала в себя нескольких специалистов с кафедры психологии Калифорнийского университета в Сан-Диего и, как минимум, одного нейробиолога, Фрэнсиса Крика из Института биологических исследований имени Солка, расположенного буквально через дорогу от университетского городка. Прежде чем обратить свое внимание на исследования мозга, Крик удостоился Нобелевской премии за открытие структуры молекулы ДНК. Осенью 1979 года он опубликовал на страницах журнала Scientific American призыв к широкому научному сообществу⁷⁸ хотя бы попытаться понять, как работает человеческий мозг. Хинтон, занявший место постдока в Калифорнийском университете в Сан-Диего, испытал своего рода культурно-научный шок. Если в научном сообществе Великобритании царила интеллектуальная монокультура, то в США хватало место для приверженцев самых разных научных взглядов. «Здесь способны уживаться между собой самые разные точки зрения», – говорит он. Здесь, если он сообщал кому-то, что занимается нейронными сетями, его слушали.

Между Фрэнком Розенблаттом и тем, чем занимались в Сан-Диего, существовала прямая связь. В 1960-е годы Розенблатт и другие ученые рассчитывали создать искусственную нейронную сеть нового типа, которая бы состояла из нескольких «слоев» нейронов. В 1980-е годы на это же надеялись ученые, работавшие в Сан-Диего. «Перцептрон» был однослойной нейронной сетью, то есть был только один слой нейронов между входящей информацией (большая буква А, напечатанная на картоне) и выходящей (сообщение компьютера, что он видит букву А). Но Розенблатт полагал, что, если удастся построить многослойную сеть, где информация будет передаваться с одного слоя на другой, эта система сможет научиться распознавать гораздо более сложные паттерны, чем мог «Перцептрон». Иными словами, эта система будет в большей мере походить на человеческий мозг. Когда «Перцептрон» анализировал картонку с напечатанной на ней буквой А, каждый из нейронов изучал одну из точек на изображении, пытаясь понять, является ли данная точка частью трех линий, составляющих букву А. Но для многослойной сети это было бы только отправным моментом. Покажите этой системе, скажем, фотографию собаки, и за этим последует гораздо более сложный анализ. Первый слой нейронов сканирует каждый пиксель изображения. Он черный или белый, коричневый или желтый? Затем этот первый слой передает ту информацию, которую он идентифицировал, второму слою. Нейроны второго слоя высматривают в полученной информации определенные паттерны. Например, отрезок прямой линии или дугу. Третий слой выискивает паттерны в паттернах. Он уже может свести концы с концами и увидеть ухо или зуб. В конечном счете такая многослойная сеть может научиться идентифицировать собаку. По крайней мере, такая была идея. Никто в реальности не пытался ее осуществить и проверить. И вот в Сан-Диего решили попробовать.

Одним из ведущих деятелей в «группе PDP» был профессор из Сан-Диего Дэвид Румельхарт, имевший ученые степени в области психологии и математики. Когда его спрашивают о Румельхарте, Хинтон любит вспоминать случай, когда им пришлось сидеть на лекции, которая ни для кого из них не представляла никакого интереса. Когда лекция закончилась и Хинтон пожаловался, что зря потерял час жизни, Румельхарт возразил, что он так не считает. По его словам, если бы он просто проигнорировал эту лекцию, то эти шестьдесят минут ломал бы голову над своими собственными исследованиями. По мнению Хинтона, такое умение находить позитивную сторону во всем было характерно для Румельхарта.

Румельхарт поставил перед собой весьма конкретную, но при этом стержневую задачу. Одной из главных сложностей при построении многослойной нейронной сети было то, что очень трудно определить относительную значимость («весовой коэффициент») каждого нейрона в общей расчетной формуле. В однослойной сети типа «Перцептрона» эта задача была осуществима: система могла автоматически задавать вес нейронов в сети. Но в многослойной сети такой метод попросту не работал. Взаимосвязи между нейронами были слишком обширными и сложными. Если изменить весовой коэффициент одного нейрона, это неизбежно отразится на тех нейронах, которые зависят от его поведения. Здесь был необходим более эффективный математический метод, где вес каждого нейрона задавался бы в согласовании со всеми прочими нейронами. В качестве ответа на эту проблему Румельхарт предложил метод, получивший название «обратное распространение ошибки». Этот алгоритм состоял их нескольких итераций расчетов, где, двигаясь по иерархии нейронов в обратном направлении и анализируя за счет своего рода математической обратной связи все большее количество информации, можно достигнуть лучшего понимания того, каким должен быть оптимальный вес каждого нейрона.

Когда новоиспеченный доктор Хинтон прибыл в Сан-Диего и узнал от Румельхарта о его планах, он сразу сказал, что этот математический фокус не сработает. Ведь это доказал сам Фрэнк Розенблатт, человек, создавший «Перцептрон». Если построить нейронную сеть и установить все веса на ноль, система будет учиться сама регулировать себя, постепенно внося коррективы слой за слоем. Но в конечном счете каждый весовой коэффициент проявит себе в том же самом месте, что и все остальные. Однако сколько бы вы ни пытались заставить систему использовать относительные весовые коэффициенты, она будет стремиться к уравнительству – в силу самой своей природы. Как показал Фрэнк Розенблатт, это заложено в самом математическом алгоритме. Говоря математическим языком, система не может «нарушить симметрию». Один нейрон не может быть важнее других – вот в чем проблема. И это означает, что никакая нейронная сеть не может быть существенно лучше «Перцептрона».

Румельхарт выслушал возражение Хинтона – и внес новое предложение. «А что, если не устанавливать весовые коэффициенты на ноль? – сказал он. – Что, если взять случайные числа?» Если все веса изначально разные, тогда и математический процесс пойдет по-другому. Да и не нужно все веса рассчитывать. Рассчитываться будут только те весовые коэффициенты, которые позволяют системе распознавать сложные паттерны, например фотографию собаки.

Хинтон любит говорить, что «старые идеи – это новые идеи»: ученые не должны отказываться от своих идей, пока не будет доказано, что они не работают. Розенблатт еще двадцатью годами ранее доказал, что метод обратного распространения ошибки не работает, и поэтому Хинтон от него отказался. Но тут Румельхарт внес это, казалось бы, небольшое исправление, и двое ученых на нескольких недель занялись созданием системы, которая изначально имела случайные веса нейронов и потому могла нарушать симметрию. Она могла придавать каждому нейрону разные весовые коэффициенты. И при этом система действительно могла распознавать паттерны в изображениях. Это были, конечно, совсем простые изображения. Идентифицировать собаку, кошку или автомобиль система не могла, но благодаря методу обратного распространения ошибки теперь она уже могла справиться с проблемой «исключающего или», то есть преодолеть тот самый недостаток искусственных нейронных сетей, на который более чем за десять лет до этого указал Марвин Мински. Она теперь могла, изучив два пятна на листе картона, ответить на сакраментальный вопрос: «Эти два пятна разного цвета?» На что-то существенно большее система не была способна, и эта идея вновь отошла в тень, однако обойти проблему, связанную с доказательством Розенблатта, ученым все-таки удалось.

В последующие годы Хинтон начал активно сотрудничать с Терри Сейновски, в то время постдоком на кафедре биологии в Принстоне. Они познакомились через другую (не имевшую названия) группу коннекционистов, которые собирались раз в год в разных местах страны для обсуждения тех же самых идей, которые занимали умы их коллег в Сан-Диего. Метод обратного распространения ошибки был одной из тем для обсуждения – как и машина Больцмана. Годы спустя, когда Хинтона попросили объяснить суть машины Больцмана так, чтобы это было понятно простому человеку, далекому от математики и естественных наук, он отказался. Это все равно, сказал он, что просить Ричарда Фейнмана, лауреата Нобелевской премии по физике, объяснить суть открытий, сделанных им в области квантовой электродинамики. Кстати, когда Фейнмана попросили⁷⁹ объяснить, за что его наградили Нобелевской премией, так, чтобы это было понятно непосвященному человеку, он тоже отказался. «Если бы это можно было объяснить простому человеку, – сказал он, – за это не дали бы Нобелевскую премию». Сущность машины Больцмана действительно трудно объяснить – отчасти потому, что речь идет о математической системе, которая основана на теории, впервые разработанной столетие назад австрийским физиком Людвигом Больцманом для исследования феномена, не имеющего ничего общего с искусственным интеллектом (равновесие частиц в нагретом газе). Но цель была простая: это был способ создания искусственной нейронной сети усовершенствованного типа.

Как и «Перцептрон», «машина Больцмана» обучалась на анализе большого количества данных, включая звуки и образы. Но она имела важное отличие. Она обучалась также путем создания собственных звуков и образов и последующего сравнения созданных звуков и образов с анализируемыми. Это в чем-то похоже на человеческое мышление в том смысле, что человек способен представлять в воображении образы, звуки и слова. Человек что-то себе надумывает – как ночью, так и в течение дня, – а потом использует эти мысли и зрительные образы в реальной жизни. Хинтон и Сейновски надеялись, что с помощью «машины Больцмана» им удастся наделить этой человеческой способностью электронный компьютер. «Это был самый увлекательный период в моей жизни, – говорит Сейновски. – Мы были уверены, что поняли, как работает человеческий мозг». Но, как и метод обратного распространения ошибки, «машина Больцмана» оказалась лишь вспомогательным инструментом исследований, никакой практической пользы не принесшим. И ее тоже на долгие годы забросили на чердак научной мысли.

Почти религиозная приверженность Хинтона многим непопулярным идеям привела к тому, что он выпал из научного мейнстрима, но это же открыло перед ним новые профессиональные перспективы. Побывав на одной из ежегодных встреч коннекционистов, в которых участвовали и Хинтон с Сейновски, профессор Университета Карнеги – Меллона Скотт Фалман пришел к выводу, что, пригласив в свой штат Хинтона, его вуз мог бы подстраховать свое участие в разработках искусственного интеллекта. Подобно МТИ, Стэнфорду и большинству других научных коллективов, Университет Карнеги – Меллона сосредоточил все свое внимание на символическом ИИ. Сам Фалман считал искусственные нейронные сети «безумной затеей», но при этом он признавал, что столь же безумными могут казаться и многие другие научные разработки, осуществлявшиеся в их университете. В 1981 году поддерживаемый Фалманом Хинтон приехал в университет на собеседование и выступил с двумя открытыми лекциями; одна была по психологии, вторая по информатике. Его лекции были очень многословные, и он почти не делал пауз, чтобы дать слушателям усвоить услышанное. При этом он постоянно двигал руками: разводил их в начале каждой фразы и сводил, закончив свою мысль. Математических расчетов и ссылок на компьютерные программы в его речах было немного – просто потому, что эти вещи его не интересовали. Зато он сыпал идеями, и тех, кто успевал и был способен следить за ходом его мыслей, эти лекции буквально завораживали. Во всяком случае, его лекции понравились Аллену Ньюэллу, одному из основоположников разработок ИИ вообще и одному из лидеров символического направления в этих разработках, который в то время возглавлял в Университете Карнеги – Меллона кафедру информатики. Уже на следующий день он предложил Хинтону место у себя на кафедре, но, прежде чем согласиться, Хинтон остановил его.

– Вам нужно кое о чем знать, – сказал он.

– Что такое? – спросил Ньюэлл.

– Я ничего не понимаю в компьютерах.

– Ничего страшного. У нас достаточно людей, которые в них разбираются.

– В таком случае я согласен.

– А зарплата вас интересует? – спросил Ньюэлл.

– О нет, я занимаюсь этим не ради денег, – ответил Хинтон.

Некоторое время спустя Хинтон обнаружил, что ему платили меньше, чем его коллегам (26 000 против 35 000 долларов), но он не возражал, потому что наконец обрел здесь возможность свободно заниматься своими неортодоксальными исследованиями. Он продолжал работать над «машиной Больцмана» вместе с Сейновски, к которому часто ездил на выходные в Балтимор, и начал вновь экспериментировать с алгоритмом обратного распространения ошибки, полагая, что это может быть полезно для сравнительного анализа. Ему нужно иметь то, с чем можно было бы сравнивать результаты работы «машины Больцмана», и алгоритм обратного распространения ошибки для этого идеально подходил. Старая идея оказалась новой. В Университете Карнеги – Меллона у него не просто была возможность продолжать развивать эти две идеи. Теперь в его распоряжении были гораздо более мощные и быстродействующие компьютеры. Это позволяло продвигать исследования вперед с большей скоростью, поскольку мощность компьютеров позволяла математическим системам обучаться на больших объемах данных. Прорыв был достигнут в 1985 году, через год после той лекции, с которой он выступил перед Мински. Но прорыв был связан не с «машиной Больцмана», а как раз с алгоритмом обратного распространения ошибки.

В Сан-Диего они с Румельхартом показали, что многослойная нейронная сеть может сама регулировать свои весовые коэффициенты. Затем, уже будучи в Университете Карнеги – Меллона, Хинтон показал, что такая нейронная сеть способна на действия, которые могут произвести впечатление не только на математиков. Нейронной сети предъявлялись элементы некоего генеалогического древа, и она училась определять родственные связи между разными членами семейства. Это вроде бы небольшое умение свидетельствовало о том, что машина способна на гораздо большее. Если нейронной сети сообщали, что мать Джона зовут Викторией, а муж Виктории – Билл, она могла прийти к выводу, что Билл является отцом Джона. Хинтон не знал о том, что учеными, работавшими в совершенно других областях науки, математические методы, сходные с алгоритмом обратного распространения ошибки, уже были разработаны в прошлом. Но, в отличие от своих предшественников, он смог показать, что у этой математической идеи было будущее, причем распознавать можно было не только образы, но и речь. Это направление сулило гораздо больший потенциал возможностей, нежели другие технологии ИИ, поскольку машина могла в значительной мере самообучаться.