Текст книги "Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир"

Год спустя Хинтон женился на Розалинд Залин, с которой познакомился в Университете Сассекса, куда приезжал на стажировку. Она там занималась молекулярной биологией, но ее вера в гомеопатию всегда была источником напряжения между ней и ее мужем. «Молекулярному биологу не подобает верить в гомеопатию, – говорил он. – Поэтому отношения были сложные, и нам пришлось условиться обходить эту тему молчанием». Она была также убежденной социалисткой, не любила Питтсбург и осуждала политику президента Рейгана. Но для Хинтона этот период жизни был очень плодотворный. Наутро после свадьбы он на полчаса ушел из дома на почту, чтобы отправить пакет в редакцию Nature, одного из ведущих научных журналов мира. В пакете была статья с описанием метода обратного распространения ошибки, написанная им в соавторстве с Румельхартом и профессором Рональдом Уильямсом из Северо-Восточного университета. В том же году статья была опубликована⁸⁰.

Это событие было из разряда тех, которые сами по себе проходят незамеченными, но влекут за собой важные последствия. После выхода статьи исследования нейронных сетей вступили в новую эпоху оптимизма и прогресса, вызвав новую волну инвестиций в эту сферу, ознаменовавшую окончание «зимы искусственного интеллекта». «Бэкпроп», как называли сами ученые алгоритм обратного распространения ошибки, оказался не просто идеей!

Одно из практических приложений этого направления исследований появилось в 1987 году. Ученые из лаборатории искусственного интеллекта Университета Карнеги – Меллона пытались разработать автомобиль, способный обходиться без водителя. За основу они взяли синий фургон Chevrolet, по форме напоминавший машину скорой помощи. На крыше установили видеокамеру, а к ведущему заднему мосту подключили «суперкомпьютер», как они его называли: ЭВМ, способную обрабатывать данные в сотню раз быстрее, чем типичные персональные компьютеры того времени. Идея состояла в том, что этот мощный компьютер, занимавший в фургоне несколько шкафов с электрическими панелями, проводами и кремниевыми чипами, будет прочитывать поток кадров, снимаемых камерой на крыше, и принимать решение о том, как машине ехать по дороге. Но исполнение этой задумки потребовало немало работы. Несколько аспирантов кодировали все касавшиеся движения команды вручную, строчка за строчкой, разрабатывая для автомобиля детальные инструкции для любой ситуации, которая может встретиться на дороге. Это был сизифов труд. К осени – а проект на тот момент осуществлялся уже несколько лет – машина была способна перемещаться лишь с черепашьей скоростью: несколько дюймов в секунду.

И вот тогда один из аспирантов по фамилии Померло перечеркнул все уже написанные программные коды и воссоздал программу с нуля, используя идеи, предложенные Румельхартом и Хинтоном.

Свою систему он назвал ALVINN. Обе буквы N в названии обозначали «нейронную сеть» (neural network). Когда программа была готова, машина поехала совсем по-другому. Пока Померло и его коллеги ехали в этом фургоне через питтсбургский парк Шенли по извилистым асфальтированным велодорожкам, кадры, снимаемые камерой на крыше, фиксировали все действия водителя. Подобно тому как «Перцептрон» Фрэнка Розенблатта учился распознавать буквы, анализируя напечатанное на листах картона, так и фургон учился рулить самостоятельно, глядя на то, что делает человек на каждом изгибе дороги. В скором времени фургон смог проехать через тот же парк уже в режиме автопилота. Поначалу этот начиненный электроникой Chevrolet ездил со скоростью не более девяти-десяти миль в час. Но по мере того, как он продолжал обучаться, когда Померло или другие исследователи садились за руль, и анализировать все большее количество кадров, снимаемых на большем количестве дорог и на большей скорости, его езда в режиме автопилота продолжала улучшаться. В то время как рядовые американцы клеили на свои машины стикеры «Ребенок в машине» или «За рулем бабушка», Померло и его коллеги украсили свой фургон ALVINN наклейкой «За рулем никого». И это было правдой – по крайней мере по духу. Ранним воскресным утром в 1991 году этот фургон самостоятельно проехал от Питтсбурга до Эри, штат Пенсильвания, со скоростью почти шестьдесят миль в час. Через два десятилетия после публикации книги Мински и Пейперта «Перцептроны» удалось сделать то, на что, как утверждалось в книге, нейронная сеть была неспособна.

Хинтон этого не видел. В 1987 году, в тот самый год, когда Померло поступил в аспирантуру Университета Карнеги – Меллона, Хинтон с женой переехали в Канаду. Причиной этого, как он сам утверждает, был Рональд Рейган. В США государственное финансирование исследований искусственного интеллекта шло главным образом из бюджета военных и разведывательных ведомств, и в этом плане особенно выделялось Управление перспективных исследовательских проектов Министерства обороны (DARPA). Созданное в 1958 году, после запуска первого советского спутника⁸¹, это управление финансировало разработки ИИ едва ли не с первых дней. Именно оно было главным источником грантов, которые Мински оттяпал у Розенблатта и других коннекционистов благодаря своей книге, и из этого же источника финансировался проект ALVINN. Но в условиях тогдашнего политического климата в США, особенно в связи с разразившимся скандалом, получившим название «Иран – контрас» (когда администрация Рейгана тайно продавала оружие⁸² Ирану, чтобы финансировать военные операции против социалистического правительства в Никарагуа), Хинтон не пожелал получать деньги из рук американских военных и решил перебраться в Канаду. Сказалось также и давление жены, которая изначально не хотела жить в США. Итак, в то время как исследования нейронных сетей пошли в гору, Хинтон сменил Университет Карнеги – Меллона на должность профессора в Университете Торонто.

Через несколько лет после этого переезда, когда ему вновь пришлось столкнуться с проблемой финансирования, он заговорил с женой о том, правильно ли они поступили.

– Надо было мне ехать в Беркли, – сказал он жене.

– В Беркли? – уточнила жена. – В Беркли бы я поехала.

– Но ты же говорила, что не хочешь жить в США.

– Беркли – не США. Это Калифорния.

Но решение было принято. Они переехали в Торонто. И это был шаг, изменивший будущее искусственного интеллекта – не говоря уже о геополитическом ландшафте.

Глава 3
Неприятие. «Я всегда был уверен, что я прав»

Ян Лекун сидит за компьютером⁸³ в своем любимом синем свитере, натянутом поверх белой рубашки. На дворе 1989 год, когда мониторы настольных компьютеров были размером с микроволновку и имели колесики для регулировки цвета и яркости. Помимо кабеля, идущего к монитору, второй кабель⁸⁴, выходящий из компьютера, соединен с чем-то напоминающим перевернутую настольную лампу. Но это не лампа. Это камера⁸⁵. Понимающе улыбаясь⁸⁶, Лекун берет со стола лист бумаги с написанным от руки номером телефона⁸⁷ (201-949-4038) и подносит его к камере. При этом номер отображается на экране монитора. Лекун касается клавиатуры⁸⁸, в верхней части экрана что-то дергается, мимолетная вспышка, намекающая на какие-то мгновенно проделанные компьютером вычисления, и несколько секунд спустя машина прочитывает то, что было написано на листе бумаги, и отображает уже в электронном виде: «201-949-4038».

Это была система LeNet, которую создал Лекун и назвал в свою честь. Телефонный номер 201-949-4038 принадлежал научно-исследовательскому центру Bell Labs, который располагался в Холмделе, штат Нью-Джерси, в неофутуристическом зеркальном здании, построенном финско-американским архитектором Эро Сариненом, где под эгидой телекоммуникационной корпорации AT&T десятки ученых трудились над разработкой новых идей. Bell Labs имеет, наверное, самый богатый послужной список среди аналогичных научно-исследовательских центров. В их активе разработка транзистора, лазера, компьютерной операционной системы Unix и языка программирования С. В это время Лекун, двадцатидевятилетний – хоть и очень юный на вид – программист и инженер-электронщик из Парижа, занимался здесь разработкой новой системы распознавания образов, развивающей идеи, выдвинутые несколькими годами ранее Джеффом Хинтоном и Дэвидом Румельхартом. Система LeNet училась распознавать рукописные цифры, нацарапанные на конвертах не дошедших до адресата писем, предоставленных исследователю Почтовой службой США. Созданная Лекуном нейронная сеть проанализировала тысячи образцов каждой цифры – от 0 до 9 – и после двух недель обучения могла уже распознавать их самостоятельно.

Сидя за компьютером в своей лаборатории⁸⁹ в комплексе Bell Labs в Холмделе, Лекун повторяет тот же фокус еще с несколькими числами. Последний случай особенно сложный, ведь каждая цифра как произведение искусства⁹⁰: четверка двойной ширины, шестерка с завитками, двойка составлена из прямых линий. Но машине удалось прочесть их все⁹¹ – и прочесть правильно. Хотя ей потребовались недели, чтобы научиться выполнять такую простую задачу, как прочтение цифр телефонного номера или почтового индекса, Лекун верил, что эта технология будет продолжать совершенствоваться, в том числе за счет создания новой разновидности компьютерных чипов, единственной задачей которых будет обучение нейронных сетей. Он видел в этом путь к таким машинам, которые смогут распознавать практически все, что запечатлено камерой: собак, кошек, автомобили, даже человеческие лица. Почти как Фрэнк Розенблатт сорока годами ранее, он также верил в то, что по мере продолжения этих исследований машины научатся слушать и говорить, и даже рассуждать, как человек. Но об этом не упоминали вслух. «Мы думали об этом, – признается он, – но почти не обсуждали». После того как столько лет ученые приписывали искусственному интеллекту то, чем он далеко не обладал, отношение к подобным заявлениям в научном сообществе изменилось. Теперь, если кто-то утверждал, что успешно движется к созданию ИИ, его просто не принимали всерьез. «Не стоит вслух говорить об этом, пока слова не подтверждены делом, – говорит Лекун. – Вот если ты создал систему и она работает, тогда ты можешь сказать: “Посмотрите, вот какие мы имеем результаты на такой-то базе данных” – да и все равно тебе никто не поверит. Даже когда у тебя есть все доказательства и ты демонстрируешь, как это работает, – даже тогда не поверят».

* * *

В октябре 1975 года в аббатстве Руайомон⁹², средневековом монастыре, расположенном к северу от Парижа, между американским лингвистом Ноамом Хомски и швейцарским психологом Жаном Пиаже состоялись дебаты, посвященные природе обучения. Пять лет спустя вышла в свет книга, подробно описывающая суть их спора⁹³, и Ян Лекун прочитал ее, еще будучи студентом. На восемьдесят девятой странице книги упоминался «Перцептрон»⁹⁴ как устройство, «способное формулировать простые гипотезы на основе регулярного поступления исходных данных», и Лекуна это зацепило; он сразу же влюбился в идею машины, способной учиться. Он был уверен, что способность к обучению неотделима от интеллекта. «Любое животное, имеющее мозг, способно учиться», – часто говорил он.

В то время мало кто из ученых уделял внимание нейронным сетям, а те, кто уделял, видели в них не искусственный интеллект, а лишь возможность распознавания паттернов, и Лекун носил в себе эту идею все те годы, пока учился в Высшей школе инженеров-электротехников и электронщиков. Большинство научных статей, которые он читал, были написаны по-английски японцами, потому что Япония в те годы была одним из немногих мест, где это научное движение еще сохранялось. Затем он обнаружил признаки этого движения в США. В 1985 году в Париже проходила конференция, посвященная новаторским и нестандартным подходам в области информатики, и Лекун там присутствовал. А еще там был Хинтон, выступивший с докладом о своей «машине Больцмана». Когда выступление закончилось, Лекун вышел вслед за докладчиком из зала, убежденный в том, что он один из очень немногих людей на Земле, которые придерживались тех же взглядов. К сожалению, в толкотне догнать Хинтона ему не удалось, но, как оказалось, Хинтон сам хотел познакомиться с Яном Лекуном. Он что-то слышал об этом молодом аспиранте от Терри Сейновски, который познакомился с Лекуном на одном из семинаров несколькими неделями ранее. Фамилия Яна выскользнула из памяти Хинтона, но когда он увидел статью Лекуна в программе конференции, то сразу понял, что это и есть он.

На следующий день они вместе позавтракали в арабском ресторане. Хотя Хинтон почти не говорил по-французски, а Лекун не очень хорошо знал английский, их общению это не помешало. Они ели кускус и обсуждали превратности судьбы коннекционизма. Лекуну казалось, что Хинтон понимал его с полуслова. «Я обнаружил, что мы говорили на одном языке», – вспоминает он. Когда два года спустя Лекун защищал диссертацию, темой которой была технология, сходная с алгоритмом обратного распространения ошибки, Хинтон прилетел в Париж, чтобы попасть на заседание ученого совета, хотя по-прежнему почти ничего не понимал по-французски. Обычно при чтении научных статей математические выкладки он пропускал, основное внимание уделяя тексту. Здесь же у него не было другого выбора, как сосредоточиться на математических расчетах Лекуна. Когда дело дошло до вопросов и ответов, договорились так, что Хинтон будет спрашивать по-английски, а Лекун будет отвечать по-французски. Все прошло отлично, если не считать того, что ответов Хинтон не понял.

После долгой «зимы» нейронные сети начали постепенно выбираться из своих нор. Пока Дин Померло работал над беспилотным автомобилем в Университете Карнеги – Меллона, Сейновски активно пиарил свой проект, получивший название «NETtalk»⁹⁵. Используя устройство, способное генерировать звуки – что-то вроде синтезатора речи с голосом робота, которым пользовался парализованный вследствие нейродегенеративного заболевания Стивен Хокинг, – Сейновски создал нейронную сеть, умевшую читать вслух. Анализируя детские книжки с английскими словами и соответствующими фонемами (то есть как каждая буква произносится), сеть научилась самостоятельно произносить другие слова – которых не было в книжке. Она умела различать, когда сочетание букв «gh» читается как «f» (как в слове «enough») и когда «ti» произносится как «sh» (как в слове «nation»). Выступая с докладами на конференциях, Сейновски включал записи звуков, издаваемых устройством на разных стадиях процесса обучения. Сначала система что-то лепетала как младенец. Через полдня она уже научилось произносить узнаваемые слова. Неделю спустя она уже могла считать вслух. «Enough». «Nation». «Ghetto». «Tint». Эта система наглядно показывала, на что способна искусственная нейронная сеть и как она работает. Сейновски ездил со своим творением с одной научной конференции на другую – попутно продемонстрировав ее миллионам телезрителей в ток-шоу Today – и это способствовало активизации коннекционистских исследований по обе стороны Атлантики.

Защитив диссертацию, Лекун последовал в Торонто на годичную постдокторанскую стажировку. Он привез с собой из Франции два чемодана – один с одеждой, другой с персональным компьютером. С Хинтоном они хорошо ладили, хотя сферы интересов у них были достаточно разные. В то время как Хинтона влекло желание понять работу человеческого мозга, Лекун, инженер-электронщик по образованию, больше интересовался вычислительной техникой, математикой нейронных сетей и созданием искусственного интеллекта в самом широком смысле этого слова. В своей профессии он воодушевлялся философскими дебатами между Хомски и Пиаже. Еще его вдохновляли Hal 9000 и другие футуристические машины, описанные в фильме «Космическая одиссея 2001 года» Стэнли Кубрика, который он видел в ультрашироком формате в Париже, когда ему было девять лет от роду. Более сорока лет спустя, когда он возглавил одну из крупнейших в мире научно-исследовательских лабораторий, стены его кабинета по-прежнему украшали обрамленные в рамки кадры из этого фильма. На протяжении всей своей карьеры, изучая искусственные нейронные сети и другие алгоритмические методы, он также занимался разработкой компьютерных чипов и беспилотных вездеходов. «Я делал все, до чего могли дотянуться мои руки», – говорит он. В его работе погоня за ИИ переплетается с другими направлениями научных исследований, и все это складывается в порой даже чересчур амбициозные замыслы, нацеленные на создание машин, которые вели бы себя как люди. Имитировать даже малую часть человеческого разума, как об этом мечтал Хинтон, – само по себе грандиозная задача. Наделить же интеллектом автомобили, самолеты и роботов еще труднее. Но Лекун проявлял гораздо большую практичность и приземленность по сравнению со многими другими учеными, которые позже присоединились к этой гонке. В следующее десятилетие раздавалось немало голосов, сомневающихся в том, будет ли вообще когда-нибудь какая-то польза от нейронных сетей. Впоследствии, когда могущество нейронных сетей стало очевидным, возникли вопросы: а не может ли ИИ уничтожить человечество? Лекун находил оба эти вопроса нелепыми и даже не удосуживался обсуждать их ни в приватных беседах, ни публично. Как он выразился десятилетиями позже на церемонии награждения премией Тьюринга, которая является аналогом Нобелевской премии в области информатики, «я всегда был уверен, что я прав». Он верил в то, что нейронные сети представляют собой путь к весьма реальным и полезным технологиям. И именно об этом он говорил.

Настоящим прорывом в его деятельности стала разновидность нейронной сети⁹⁶, моделирующая зрительную кору, то есть ту часть головного мозга, которая управляет зрением. Вдохновленный исследованиями японского ученого-компьютерщика Кунихико Фукусимы, он назвал свое творение «сверточной нейронной сетью». Подобно тому, как разные отделы зрительной коры обрабатывают разные фрагменты изображения, воспринимаемого глазами, сверточная нейронная сеть разрезает изображение на клетки и анализирует каждую из них отдельно, находя в этих клетках маленькие паттерны и выстраивая их в большие паттерны по мере поступления информации через паутину (псевдо)нейронов. Эта идея стала стержневой в карьере Лекуна. «Если Джефф Хинтон – Лиса, тогда Ян Лекун – Еж, – говорит профессор из Беркли Джитендра Малик, заимствуя эту аналогию у философа Исайи Берлина. – Хинтон пузырится миллионами и миллиардами идей, которые скачут в разные стороны. Ян же более целеустремленный. Лиса знает много секретов, а Еж – один, но самый главный».

Первоначально Лекун разрабатывал свою идею, находясь рядом с Хинтоном в Торонто. По-настоящему эта идея расцвела, когда он перебрался в Bell Labs, где в его распоряжении были огромные массивы данных, необходимые для обучения лекуновой сверточной нейронной сети (тысячи не дошедших до адресата писем). Кроме того, там были более мощные компьютеры (новейшая рабочая станция Sun Microsystem), позволявшие с большой скоростью анализировать эти конверты. Он объяснил Хинтону, что перешел в Bell Labs, потому что там ему обещали собственную рабочую станцию, тогда как во время стажировки в Торонто ему приходилось делить машинное время с другими учеными. Через несколько недель после перехода в Bell Labs, используя тот же самый базовый алгоритм, он создал систему, способную распознавать написанные от руки цифры с точностью, которая превосходила все другие технологии, разрабатывающиеся в AT&T. Эта система работала так хорошо, что вскоре нашла коммерческое применение. Помимо Bell Labs, AT&T принадлежала компания NCR, которая продавала кассовые аппараты и другое оборудование для бизнеса, и к середине 1990-х годов AT&T стала продавать технологию Лекуна банкам как способ автоматического чтения рукописных чеков. В этот момент творение Лекуна прочитывало более 10 процентов всех чеков, которые выписывались в США.

Но он рассчитывал на большее. В стеклянных стенах комплекса Bell Labs в Холмделе, который называли «самым большим зеркалом в мире», Лекун и его коллеги разработали микрочип, получивший название ANNA. Это был акроним с акронимом внутри⁹⁷. ANNA расшифровывалась как Analog Neural Network ALU (аналоговая нейронная сеть ALU), а ALU, в свою очередь, расшифровывалось как Arithmetic Logic Unit (арифметическая логическая единица). ALU – это особая микросхема, разработанная специально для математических расчетов, связанных с нейронными сетями. Вместо того чтобы запускать свои алгоритмы с использованием обычных микрочипов, применяемых для решения любых задач, компания Лекуна разработала микросхему для данной конкретной задачи. Благодаря этому расчеты выполнялись со скоростью около 4 миллиардов операций в секунду, что значительно превосходило стандарты того времени. Эта фундаментальная концепция – микросхема, созданная специально для нейронных сетей, – с течением времени привела к перестройке всей мировой индустрии микрочипов, хотя случилось это двадцатью годами позже.

Вскоре после того, как банковский сканер Лекуна вышел на коммерческий рынок, AT&T, бывшая общенациональная телекоммуникационная корпорация, которая уже не раз делилась на множество мелких компаний, разделилась снова. NCR и исследовательская группа Лекуна оказались по разные стороны, и проект с банковским сканером был аннулирован, что ввергло Лекуна в состояние разочарования и депрессии. Группа уже вот-вот подбиралась к технологиям с использованием всемирной паутины, которая еще только начинала разворачиваться в Америке, а его вообще лишили возможности работать над нейронными сетями. Когда компания начала увольнять ученых, Лекун понял, что тоже хочет уйти. «Я не хочу заниматься тем дерьмом, которое хочет навязать мне компания, – сказал он начальнику лаборатории. – Я работаю над компьютерным зрением». Удерживать его не стали.

В 1995 году двое исследователей Bell Labs⁹⁸ – Владимир Вапник и Ларри Джекель – поспорили. Вапник говорил, что через десять лет «никто в здравом уме не будет использовать нейронные сети». Джекель принял сторону коннекционистов. Они поспорили на «дорогой обед», и Лекун выступил в качестве посредника. Они распечатали взаимные обязательства и подписались. Практически сразу ситуация повернулась так, что поражение Джекеля казалось неминуемым. Проходили месяцы, и в мире коннекционистов снова наступили заморозки. Да, фургон Померло мог ехать без водителя. Да, система NETtalk, разработанная Сейновски, могла читать вслух. А банковский сканер Лекуна мог читать рукописные чеки. Но было ясно, что этот фургон способен ездить лишь по прямой или там, где никого нет. Система NETtalk годится, скорее, как фокус для вечеринок. А для чтения чеков существовала масса других возможностей. Сверточные нейронные сети Лекуна не справлялись с анализом более сложных изображений, таких как фотографии собак, кошек и автомобилей. И было не ясно, есть ли у них вообще перспектива. В конечном счете Джекель одержал победу, но это была пустая победа. Через десять лет после их пари ученые все же продолжали пользоваться нейронными сетями, но технология за это время продвинулась немногим дальше системы Лекуна, способной читать рукописные цифры. «Я выиграл пари, потому что Ян не сдался, – говорит Джекель. – Научное сообщество фактически игнорировало его, но он не сдавался».

Примерно в то время, когда заключалось это пари, в Стэнфордском университете профессор по имени Эндрю Ын читал лекцию аспирантам о нейронных сетях. В лекции прозвучала такая фраза: «Ян Лекун – единственный человек, который по-настоящему сумел заставить их работать». Но даже сам Лекун не был уверен в будущем. На своем личном веб-сайте он описал свои исследования как нечто оставшееся в прошлом. Он описал кремниевые процессоры⁹⁹, которые он разрабатывал в Нью-Джерси, как «первые (и, может быть, последние) чипы нейронных сетей, способные делать что-то полезное». Годы спустя, когда его спросили об этих словах, он отмахнулся от них, указав на то, что он и его студенты вернулись к той же идее в конце десятилетия. Но та неуверенность, которую он ощущал, явно прослеживалась в его словах. Нейронные сети нуждались в большей мощности компьютеров, но никто не понимал, какой должна быть эта мощность. Как выразился позже Джефф Хинтон: «Никто даже не удосужился задать вопрос: “А если предположить, что нам нужно в миллион раз больше?”»

В то время как Ян Лекун занимался созданием банковского сканера в Нью-Джерси, Крис Брокетт преподавал японский язык на кафедре азиатских языков и литературы в Вашингтонском университете. Затем его пригласили в Microsoft заниматься разработками искусственного интеллекта. Это был 1996 год, и гигантская научно-исследовательская лаборатория, созданная Microsoft, была еще сравнительно молодой. Компания была нацелена на создание систем, способных понимать естественный язык – язык, на котором пишут и разговаривают люди. В то время это было больше работой лингвистов. Языковеды типа Брокетта, которые изучал лингвистику и литературу у себя на родине, в Новой Зеландии, а потом в Японии и США, целыми днями составляли подробные правила, предназначенные научить машину правильно, по-человечески, составлять слова. Они объясняли машине, почему «время летит», тщательно разделяли одинаково пишущиеся разные части речи, подробно объясняли странные и во многом неосознаваемые правила, по которым англоязычные люди выбирают порядок прилагательных и т. д. Это была работа, во многом напоминающая прежний проект Cyc, осуществлявшийся в Остине, или работу по созданию беспилотного автомобиля в Университете Карнеги – Меллона до того, как туда пришел Дин Померло. Фактически это была работа по моделированию человеческих знаний, которая могла продолжаться десятилетиями, скольких бы лингвистов компания Microsoft ни нанимала. В конце 1990-х, следом за такими выдающимися учеными, как Марвин Мински и Джон Маккарти, большинство университетов и IT-компаний именно таким образом разрабатывали технологии компьютерного зрения и распознавания речи, а также понимания естественного языка. Эксперты выстраивали эти технологии по кусочкам, одно правило за другим.

Сидя в своем офисе в штаб-квартире Microsoft неподалеку от Сиэтла, Брокетт потратил почти семь лет на составление правил естественного языка. И вот однажды в 2003 году в просторном конференц-зале, расположенном на том же этаже дальше по коридору, двое его коллег представили новый проект. Они создали систему машинного перевода между двумя языками с использованием техники, основанной на статистике: как часто каждое слово появляется в каждом языке. Если набор слов появлялся с одинаковой частотой и в одном и том же контексте в обоих языках, это был вероятный перевод. Эти двое исследователей приступили к работе всего шесть недель назад и уже достигли результатов, которые, по крайней мере, хоть немного напоминали реальный язык. Брокетт наблюдал за презентацией из глубины переполненного зала, где многие сидели на перевернутых мусорных баках, так как мест не хватало, и у него случился приступ паники – сам он решил, что это сердечный приступ, – и его срочно отвезли в больницу.

Позже он назвал это «моментом прихода к Иисусу», когда он понял, что потратил шесть лет на написание правил, которые в одночасье устарели. «У моего пятидесятидвухлетнего организма был один из тех моментов, когда он увидел будущее, в котором его самого не было», – говорит он.

Специалисты по естественным языкам во всем мире вскоре пересмотрели свои подходы в пользу статистических моделей, аналогичных той, что была представлена в тот день в предместье Сиэтла. Это был лишь один из множества математических методов, которые распространились в широком сообществе исследователей ИИ в 1990-х и в 2000-х годах под такими названиями, как «случайный лес» (random forests), «ускоренные деревья» и «метод опорных векторов». Одни из этих методов применялись к пониманию естественного языка, другие – к распознаванию речи и изображений. По мере того как прогресс в исследованиях нейронных сетей замедлялся, многие из этих альтернативных методов дозревали и улучшались и начали доминировать в отдельных аспектах разработок ИИ. Все они были очень далеки от совершенства. Хотя ранних успехов статистических методов машинного перевода хватило, чтобы отправить Криса Брокетта в больницу, они были эффективны только до определенной степени и только тогда, когда применялись к коротким фразам – кусочкам предложения. Как только фраза была переведена, требовался сложный набор правил, чтобы привести ее в нужное грамматическое время, добавить к словам правильные окончания слов и согласовать ее со всеми остальными частями предложения. И все равно перевод получался путаным, и смысл лишь смутно угадывался, как в той детской игре, где вы составляете рассказ из слов или словосочетаний, написанных на клочках бумаги. Но это в любом случае превосходило возможности любой нейронной сети. К 2004 году нейронные сети рассматривались как третьесортный способ решения задач – как устаревшая технология, лучшие дни которой остались позади. Как сказал один исследователь Алексу Грейвсу, тогда еще молодому аспиранту, изучавшему нейронные сети в Швейцарии, «нейронные сети предназначены для людей, которые не разбираются в статистике». Выбирая себе специализацию в Стэнфорде, девятнадцатилетний студент по имени Ян Гудфеллоу записался на курс так называемой когнитивистики – дисциплины, изучающей вопросы мышления и обучения, – и во время одной из лекций преподаватель пренебрежительно отозвался о нейронных сетях как о технологии, которая не может справиться с операцией «исключающее или». Этому упреку было сорок лет от роду, и он уже был двадцать лет как опровергнут.

В Соединенных Штатах коннекционистские исследования почти исчезли из ведущих университетов. Единственная серьезная лаборатория, продолжавшая ими заниматься, была в Нью-Йоркском университете, где Ян Лекун в 2003 году занял должность профессора. Главным пристанищем для тех, кто все еще верил в эти идеи, стала Канада. Хинтон работал в Торонто, а один из прежних коллег Лекуна по Bell Labs, Йошуа Бенжио – тоже родом из Парижа, – руководил научной лабораторией в Монреальском университете. Как раз в эти годы Ян Гудфеллоу подал заявки в аспирантуру по информатике в разные вузы, и некоторые предложили ему место, включая Стэнфорд, Беркли и Монреаль. Он выбрал Монреаль, но, когда он туда приехал на собеседование, один из тамошних студентов стал его отговаривать. Стэнфорд занимал третье место в рейтинге учебных программ по информатике в Северной Америке. Беркли был четвертым. И оба находились в солнечной Калифорнии. Монреальский университет занимал где-то сто пятидесятое место, и там было холодно.