Текст книги "Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир"

– Стэнфорд! Один из самых престижных университетов в мире! – уговаривал его этот монреальский студент, с которым они гуляли по городу, все еще покрытому снегом, хотя дело было поздней весной. – Какого черта, о чем ты думаешь?

– Я хочу изучать нейронные сети, – сказал ему Гудфеллоу.

По иронии судьбы, в то время самое время, когда Гудфеллоу занимался нейронными сетями в Монреале, один из его прежних профессоров, Эндрю Ын, познакомившись с результатами исследований, которые продолжали поступать из Канады, решил сам заняться этим в своей лаборатории в Стэнфорде. Но он слыл чудаком и имел слишком мало влияния как в своем собственном университете, так и в более широком научном сообществе, не говоря уже о том, что у него не было никаких доказательств, которые позволили бы убедить окружающих в том, что нейронные сети стоят того, чтобы их исследовать. Где-то в этот период он выступил с докладом на семинаре в Бостоне и предсказал скорый подъем в исследованиях нейронных сетей. В середине его выступления профессор из Беркли Джитендра Малик, один из фактических лидеров сообщества разработчиков компьютерного зрения, встал и по примеру Мински заявил, что все это бессмыслица и что самодовольные заявления докладчика не имеют под собой абсолютно никаких оснований.

Примерно в это же самое время Хинтон представил доклад на конференцию NIPS, где он позже выставит на аукцион свою компанию. Эта конференция была задумана в конце 1980-х годов как возможность для ученых обсудить исследования всякого рода нейронных сетей, как биологических, так и искусственных. Но организаторы конференции отклонили статью Хинтона, потому что уже приняли одну работу по нейронным сетям и решили, что два доклада на эту тему было бы перебором. «Нейронный» было плохое слово даже для конференции, посвященной «нейронным системам обработки информации». К тому времени понятие «нейронные сети» упоминалось менее чем в 5 процентах всех опубликованных работ, относящихся к этой области знаний. Подавая статьи на конференции и в журналы, некоторые исследователи в надежде повысить свои шансы на успех, заменяли словосочетание «нейронная сеть» какими-то другими терминами, например «аппроксимация функций» или «нелинейная регрессия». Ян Лекун даже убрал слово «нейронный» из названия своего самого важного изобретения. «Сверточные нейронные сети» стали просто «сверточными сетями».

Тем не менее, статьи, которые сам Лекун считал бесспорно важными, отвергались научным сообществом, и, когда такое случалось, он вступал в жаркие споры, твердо отстаивая свою правоту. Кто-то видел в этом чрезмерную самоуверенность, кто-то, наоборот, воспринимал это как признак неуверенности и обиды за то, что его труды не находят признания у авторитетных ученых. Однажды Клеман Фарабе¹⁰⁰, один из его аспирантов, построил нейронную сеть, которая могла анализировать видеозаписи и разделять разные виды объектов – отличать деревья от зданий, автомобили от людей. Это был шаг к компьютерному зрению для роботов и беспилотных автомобилей, наделявший их способностью выполнять свои задачи с меньшим количеством ошибок – по сравнению с другими технологиями – и делать это гораздо быстрее, но рецензенты на одной из ведущих конференций по компьютерному зрению безоговорочно отвергли статью, которую он написал об этом. Лекун ответил письмом на имя председателя конференции, в котором говорилось, что рецензии настолько нелепы, что он не знает, как написать опровержение, не оскорбив рецензентов. Председатель конференции выложил письмо в интернет на всеобщее обозрение, и, хотя имя Лекуна он удалил, было очевидно, кто автор этих слов.

Помимо Канады, нормально заниматься разработкой нейронных сетей можно было только в Европе или Японии. Одним из таких мест была лаборатория в Швейцарии, возглавляемая Юргеном Шмидхубером, энтузиастом искусственного интеллекта, который еще в детстве объяснял своему младшему брату, что человеческий мозг можно искусственно воссоздать с помощью медных проводов, а с пятнадцати лет мечтал¹⁰¹ построить машину, которая была бы умнее, чем он сам, – и потом уйти на покой. В 1980-е годы, будучи студентом, он изучал нейронные сети, а затем, по окончании аспирантуры, его амбиции пересеклись¹⁰² с амбициями итальянского производителя ликеров по имени Анджело Далле Молле. В конце десятилетия, сколотив состояние на продаже артишокового ликера, Далле Молле воздвиг лабораторию искусственного интеллекта¹⁰³ в Швейцарии, на берегу озера Лугано, неподалеку от границы с Италией, исполненный намерения изменить мир к лучшему с помощью умных машин, которые могли бы справляться со всей работой, традиционно ложившейся на людские плечи. В скором времени Шмидхубер возглавил эту лабораторию.

Он выделялся высоким ростом – примерно метр девяносто, – стройным телосложением и квадратной челюстью. Ходил всегда в шляпе или в кепке и носил пиджак в стиле Неру. «Легко представить, как он гладит белого кота», – говорит о нем один из его бывших учеников, имея в виду Эрнста Блофельда, злодея из ранних фильмов о Джеймсе Бонде, который тоже одевался в стиле Неру. Внешность Шмидхубера каким-то образом гармонировала со швейцарской лабораторией, которая тоже выглядела как будто из фильма о Бонде – эдакая крепость на берегу европейского озера, в окружении пальм. В стенах этого созданного Далле Моле научно-исследовательского института Шмидхубер и один из его студентов разработали нейронную сеть с кратковременной памятью, как они сами ее описали, способную «запоминать» данные, которые она недавно анализировала, благодаря чему эффективность анализа на каждом следующем этапе возрастала. Эта сеть получила название LSTM, что расшифровывалось как «долгая краткосрочная память». На самом деле способности этой сети были невелики, но Шмидхубер верил, что такая технология позволит создать искусственный интеллект уже в ближайшие годы. Он утверждал, что некоторые нейронные сети обладают не только памятью, но и чувствительностью. «У нас в лаборатории рождается разум», – говорил он. Как позже с чувством выразился один из студентов, «он походил на маньяка».

Хинтон шутил, что LSTM расшифровывается как «looks silly to me» («мне это кажется глупостью»). Шмидхубер служил особенно ярким примером давней традиции, существовавшей среди исследователей искусственного интеллекта, начиная с Розенблатта, Мински и Маккарти. Со времени возникновения этой области науки ее наиболее выдающиеся представители время от времени обещали создать жизнеспособные технологии, но эти обещания так и оставались пустым звуком. Иногда это был способ привлечь инвестиции со стороны правительственных учреждений или венчурных капиталистов. В других случаях это была искренняя вера в то, что ИИ действительно не за горами. Такой оптимистичный настрой помогал продвигать исследования вперед. Но он же, когда реальные технологии не оправдывали ожиданий, становился тормозом прогресса на многие годы.

Сообщество коннекционистов было крошечным, и возглавляли его европейцы – англичане, французы, немцы. Даже политические, религиозные и культурные взгляды этих ученых не укладывались в рамки американского мейнстрима. Хинтон был убежденным социалистом. Бенжио отказался от французского гражданства, потому что не хотел служить в армии. Лекун называл себя «воинствующим атеистом». Хотя Хинтон таких терминов не использовал, чувствовал он примерно то же самое. Он часто вспоминал один момент из своей юности, когда он сидел в часовне Клифтон-колледжа, частной школы, где он учился, и слушал проповедь. Проповедник с кафедры говорил, что в коммунистических странах людей заставляют посещать идеологические собрания и оттуда нельзя уйти. Хинтон подумал тогда: «Но я же точно в такой ситуации». Он оставался верен этим своим убеждениям – атеизм, социализм, коннекционизм – и в последующие десятилетия, хотя после продажи своей компании Google за 44 миллиона долларов стал называть себя «gauche caviar» – «левым икрожуем»[2]2
  Буквально «икра левых» (фр.). Пренебрежительное название богачей и прочей элиты, лишь на словах, лицемерно относящих себя к «левым». Что-то вроде «социал-предателей». – Прим. пер.


[Закрыть]. «Это правильный термин?» – лукаво спрашивал он, прекрасно зная, что это так.

* * *

Как ни трудны были 1990-е годы для Лекуна, для Хинтона они были еще тяжелее. Вскоре после переезда в Торонто они с женой усыновили двоих детей из Южной Америки: мальчика Томаса из Перу и девочку Эмму из Гватемалы. Обоим еще не исполнилось шести лет, когда его жена начала страдать болями в животе и терять в весе. Хотя это продолжалось несколько месяцев, она отказывалась обратиться к врачу, твердо придерживаясь своей веры в гомеопатическую медицину. Когда она наконец сдалась, у нее обнаружили рак яичников. Но даже тогда она продолжала настаивать на гомеопатическом лечении, отказываясь от химиотерапии. Полгода спустя она умерла.

Хинтон полагал, что его карьера ученого подошла к концу. Ему нужно было заботиться о своих детях, а Томасу, у которого были, как говорили в семье, «особые потребности», нужно было самое пристальное внимание. «Я проводил время в раздумьях», – говорил впоследствии Хинтон. Два десятилетия спустя, получая – вместе с Лекуном – премию Тьюринга, он выразил благодарность своей второй жене Джеки Форд, англичанке, занимавшейся историей искусства, за то, что она спасла его научную карьеру, когда они поженились в конце 1990-х, и помогла ему вырастить детей. Они познакомились много лет назад в Университете Сассекса. Встречались на протяжении года, а потом он переехал в Сан-Диего, и они расстались. Они воссоединились, когда он вернулся в Великобританию и устроился на работу в Университетский колледж Лондона, но вскоре после этого они снова переехали в Канаду. Ему казалось, что его детям лучше в Торонто.

Так на рубеже тысячелетий Хинтон снова вернулся в свой угловой кабинет в корпусе компьютерных наук Университета Торонто, выходящий окнами на мощеную булыжником улицу, прорезавшую кампус насквозь. Окна были такие большие, что все тепло уходило из его кабинета, согревая окоченевшую от сильных морозов природу. Этот кабинет стал привычным местом сбора для небольшого сообщества ученых, которые все еще верили в нейронные сети, – отчасти благодаря научному авторитету Хинтона, но также из-за его креативности, энтузиазма и своеобразного чувства юмора люди тянулись к нему, пусть даже поболтать о пустяках. Если ему отправили письмо с вопросом, как он предпочитает, чтобы его называли, Джеффри или Джефф, его ответ в равных долях содержал остроумие и обаяние:

Я предпочитаю Джеффри.

Спасибо,

Джефф.

Исследователь Аапо Хювяринен¹⁰⁴ однажды опубликовал научную статью, сопроводив ее словами благодарности, которые дают представление как о чувстве юмора Хинтона, так и о его вере в то, что идеи выше математики:

Базовая идея, лежащая в основе этой статьи, разрабатывалась при активном участии Джеффри Хинтона, который, однако, не пожелал стать соавтором, потому что статья содержит слишком много уравнений.

Критерием хорошей идеи для него было то, сколько он веса потерял, потому что забывал поесть. Один студент утверждал, что лучшим рождественским подарком от своей семьи Хинтон считал позволение вернуться в лабораторию и еще немного поработать в праздник. А по свидетельствам многих коллег, у него всегда была привычка забежать в комнату, объявить, что он наконец-то понял, как работает мозг, объяснить свою новую теорию, потом так же быстро убежать, а через несколько дней вернуться и сказать, что его прежняя теория совершенно неверна, но теперь у него есть новая.

Руслан Салахутдинов, впоследствии ставший одним из ведущих мировых коннекционистов и одним из самых плодовитых сотрудников Apple, уже было расстался с этой областью науки, когда в 2004 году познакомился с Хинтоном в Университете Торонто. Хинтон рассказал ему о новом проекте, связанном с послойным обучением массивных нейронных сетей, снабжаемых гораздо большим количеством данных, чем это было возможно в прошлом. Это называлось «глубокие сети доверия». Он и уговорил Салахутдинова вернуться в лоно коннекционизма. Помимо других факторов, свою роль здесь сыграл авторитет Хинтона, само его имя. Молодой студент по имени Навдип Джейтли попросился в торонтскую лабораторию Хинтона после того, как случайно увидел огромную очередь студентов, выстроившихся перед кабинетом профессора. Другой студент, Джордж Даль, заметил подобный эффект в более широком контексте исследований, связанных с машинным обучением. Каждый раз, когда он натыкался на интересную научную работу или на интересного исследователя, обнаруживалась прямая связь с Хинтоном. «Не знаю, то ли Джефф выбирает людей, которые в конечном итоге становятся успешными, то ли он каким-то образом делает их успешными. Я сам это испытал и склоняюсь ко второму варианту», – говорит Даль.

Сын преподавателя английского языка и литературы, Даль был ученым-идеалистом, который сравнивал поступление в аспирантуру с уходом в монастырь. «Нужно иметь неотвратимую судьбу, какое-то призвание, которое поможет тебе переживать темные времена, когда твоя вера слабеет», – любил говорить он. Его призванием, решил он, был Джефф Хинтон. И он был не одинок. Когда Даль нанес визит еще одной группе исследователей, занимавшихся машинным обучением в Университете Альберты, тамошний студент по имени Влад Мних пытался убедить его, что его место здесь, а не в Торонто. Но когда той же осенью Даль приехал в Университет Торонто и вошел в переоборудованный чулан, где университет выделил ему рабочее место, Мних уже тоже был там. Он перебрался в лабораторию Хинтона еще летом.

В 2004 году, когда интерес к нейронным сетям в целом пошел на убыль, Хинтон удвоил ставку на свою идею, надеясь интенсифицировать работу в своем маленьком сообществе коннекционистов. «Тема в группе Джеффа всегда была одна и та же: старое – это новое, – говорит Даль. – Если идея хорошая, ты продолжаешь попытки еще двадцать лет, развиваешь ее, пока она не сработает. Она не перестанет быть хорошей идеей, если она не сработала сразу же». Имея более чем скромное финансирование со стороны от Канадского института перспективных исследований – менее 400 000 долларов в год – Хинтон создал новый коллектив, сосредоточивший внимание на том, что он называл «программой нейронных вычислений и адаптивного восприятия», и дважды в год проводил семинары для исследователей, которые все еще придерживались этих коннекционистских взглядов, включая специалистов по информатике, инженеров-электронщиков, нейробиологов и психологов. Лекун и Бенжио играли во всем этом активную роль, как и Кай Юй, китайский ученый, который впоследствии перейдет в Baidu. Впоследствии Хинтон сравнил сплоченную работу этого коллектива с дуэтом Боба Вудворда и Карла Бернстайна, которые решили сотрудничать, а не соперничать, когда расследовали Уотергейтское дело. Это давало возможность обмениваться идеями. В Торонто одной из удачных идей было придумать для этой очень старой технологии новое название.

Когда Хинтон в день своего шестидесятилетия читал лекцию на ежегодной конференции NIPS, проходившей тогда в Ванкувере, он впервые использовал словосочетание «глубокое обучение» (deep learning). Это был хитроумный ребрендинговый ход. В плане работы с многослойными нейронными сетями в «глубоком обучении» не было ничего нового. Но это был яркий, вызывающий эмоциональную реакцию термин, призванный помочь активизировать исследования в области, которая снова впала в немилость. Он понял, что название было выбрано удачно, когда в середине лекции он сказал, что все остальные занимаются «поверхностным обучением», и аудитория встретила его слова одобрительным смехом. В долгосрочной перспективе это оказался мастерский ход. Благодаря ему авторитет крошечной группы исследователей, работавших фактически на задворках большой науки, сразу же возрос. К одной из конференций NIPS кто-то снял видеомистификацию, в которой группа людей присягает глубокому обучению, так словно речь идет о религиозной секте типа саентологов или Храма народов.

«Когда-то я был рок-музыкантом, – говорит один из новообращенных. – А потом я постиг глубокое обучение».

«Хинтон – вождь, – говорит другой. – Идите за ним».

Это было забавно, потому что это было правдой. Речь шла об идеях, которые витали в воздухе уже несколько десятилетий, но ценность которых так никогда и не была доказана. Однако кто-то продолжал в них верить.

Спустя пятьдесят лет после летней конференции, положившей начало разработкам ИИ, Марвин Мински и многие другие отцы-основатели съехались в Дартмут, чтобы отпраздновать юбилей. На этот раз к трибуне вышел Мински, а из аудитории ему стал возражать другой человек. Это был Терри Сейновски, к тому времени переехавший из Балтимора в Сан-Диего и ставший профессором Института Солка. Сейновски сказал Мински, что некоторые исследователи ИИ видят в нем дьявола, потому что он и его книга остановили прогресс нейронных сетей.

«Вы действительно дьявол?» – спросил Сейновски. Мински отмахнулся от вопроса и снова стал говорить о многочисленных недостатках и ограничениях искусственных нейронных сетей и справедливо указывать, что они никогда не делали того, что должны были делать.

Тогда Сейновски снова спросил: «Вы все-таки дьявол?»

Потерявший терпение Мински наконец ответил: «Да, я такой».

Глава 4
Прорыв. «Делай в Google то, что хочешь ты, а не то, что хочет от тебя Google»

Одиннадцатого декабря 2008 года Ли Дэн вошел в один из отелей города-курорта Уистлера, расположенного к северу от Ванкувера в Британской Колумбии, у подножия заснеженных гор, где в 2010 году проходили горнолыжные соревнования в рамках зимних Олимпийских игр. Он приехал сюда не на лыжах кататься. Он был там ради науки. Каждый год сотни исследователей приезжали в Ванкувер на ежегодную конференцию NIPS, посвященную искусственному интеллекту, а после ее окончания большинство участников совершали короткую поездку в Уистлер для более тесных «семинаров», связанных с проблематикой NIPS: два дня научных докладов, ученых дебатов и неформальных разговоров в коридоре, которые помогали оценить ближайшее будущее ИИ. Родившийся в Китае и получивший образование в США, Дэн на протяжении всей своей карьеры создавал программное обеспечение, предназначенное для распознавания речи, сначала в должности преподавателя в Университете Ватерлоо в Канаде, а затем в должности исследователя в центральной научно-исследовательской лаборатории Microsoft под Сиэтлом. Такие компании, как Microsoft, продавали программы распознавания речи уже более десяти лет, позиционируя эту технологию как способ автоматического преобразования в письменный текст записей вашего голоса на диктофон, но приходилось признать, что эта система работала не так хорошо, как хотелось бы, и слишком часто неправильно воспринимала слова, которые вы произносили в микрофон. Как и большинство разработок ИИ в то время, эта технология совершенствовалась слишком медленно. В Microsoft Дэн и его команда потратили три года на создание последней версии системы распознавания речи, и она работала хорошо если процентов на пять точнее, чем предыдущая. И вот однажды вечером в Уистлере он наткнулся на Джеффа Хинтона.

Он знал Хинтона еще со времен работы в Канаде. В начале 1990-х, в период краткого ренессанса коннекционистских исследований, один из аспирантов Дэна¹⁰⁵ написал диссертацию, посвященную возможностям использования нейронных сетей в целях распознавания речи, и Хинтон, к тому времени занявший место профессора в Торонто, принял участие в работе ученого совета, рассматривавшего диссертацию. В последующие годы, когда интерес к коннекционизму в широких научных кругах снова угас, эти двое ученых мало пересекались. Хотя Хинтон продолжал твердо держаться своей веры в нейронные сети, распознавание речи рассматривалось им лишь как второстепенное побочное явление, и его лаборатория в Торонто этим практически не занималась – а это означало, что он и Дэн вращались в совершенно разных кругах. Но когда они оказались в одном и том же конференц-зале в отеле Hilton Whistler Resort and Spa – почти пустом зале, где несколько исследователей сидели за столами, ожидая, когда кто-нибудь задаст им вопросы об их последних разработках, – Дэн и Хинтон сразу же разговорились. Дэн, чрезвычайно возбудимый и очень разговорчивый, легко вступал в беседы с кем угодно. У Хинтона был свой план.

– Что нового? – спросил Дэн.

– Глубокое обучение, – ответил Хинтон. – Нейронные сети, – сказал он, – начинают показывать успехи в распознавании речи.

Дэн не очень-то поверил. Хинтон в прошлом практически не занимался методами распознавания речи, а нейронные сети еще никогда и ни в чем не показывали настоящих успехов. В Microsoft Дэн разрабатывал свой собственную методику распознавания речи, и у него не было времени пускаться в очередную погоню за призрачными алгоритмами. Но Хинтон настаивал. Его исследованиям не уделяется достаточно внимания, сказал он, но за последние несколько лет он и его ученики опубликовали ряд работ, в которых подробно описываются его глубокие сети доверия, способные обучаться на гораздо больших объемах данных, чем это позволяли предыдущие методы, и по эффективности его метод распознавания речи уже приближается к лидирующим технологиям в этой области. «Вы должны это попробовать», – твердил Хинтон. Дэн пообещал, что попробует, и они обменялись почтовыми адресами. Потом прошли месяцы.

Летом, когда у Дэна появилось больше свободного времени, он решил-таки почитать литературу о возможностях распознавания речи при помощи нейронных сетей, и эффективность этой технологии так его впечатлила, что он написал Хинтону письмо, предложив организовать в Уистлере новый семинар вокруг этой идеи. Однако он все еще сомневался в долгосрочных перспективах метода, который систематически игнорировался мировым сообществом исследователей, занимавшихся темой распознавания речи. С простыми тестами он хорошо справлялся, но это же можно было сказать и о многих других алгоритмических методах. Когда же подошло время в очередной раз собраться в Уистлере, Хинтон отправил Дэну еще одно письмо¹⁰⁶, приложив к нему черновой вариант научной работы, которая продвигала его методику еще дальше. Там было показано, что после трехчасового прослушивания и анализа произносимых вслух слов эффективность нейронной сети в распознавании речи сравнивается с эффективностью самых передовых технологий. Дэн все еще не мог в это поверить. Ученые из Торонто описывали свою технологию так, что ее было ужасно трудно понять, и тестировали свою систему, используя базу данных звуков, записанных в лаборатории, а не реально звучащую речь. Хинтон и его ученики вступили в такую область исследований, с которой они были не очень хорошо знакомы, и это было заметно. «Статья была просто плохо оформлена, – говорит Ли Дэн. – И я просто не мог поверить, что они достигли тех же результатов, что и я». Поэтому он попросил показать исходные данные проведенных испытаний. И когда он открыл письмо, просмотрел данные и своими глазами увидел, на что способна эта технология, тогда он поверил.

* * *

Тем же летом Ли Дэн пригласил Хинтона поработать в научно-исследовательской лаборатории Microsoft в Редмонде, штат Вашингтон. Хинтон согласился. Но сначала ему нужно было как-то добраться туда. В последние годы его проблемы со спиной дошли до такой степени, что он снова стал сомневаться в возможности продолжать работать. Спину он надорвал за сорок лет до этого, когда по просьбе своей матери пытался передвинуть заполненный кирпичом тепловой аккумулятор. Это привело к протрузии межпозвонкового диска, и с годами состояние позвоночника становилось все более нестабильным. Теперь для обострения болезни ему достаточно было просто наклониться или присесть. «Это было сочетание генетики, глупости и невезения, как бывает при любых жизненных неприятностях», – говорит он. Единственный выход, решил он, заключался в том, чтобы перестать садиться (кроме как «на пару минут пару раз в день», как он выражается, по неизбежным физиологическим потребностям). Встречаясь со студентами в своей лаборатории в Торонто, он часто лежал на рабочем столе или на раскладушке, которая стояла у стены в кабинете, пытаясь облегчить боль. По этой же причине он не мог водить машину и не мог летать самолетами.

Поэтому осенью 2009 года он сначала доехал на метро до автовокзала в центре Торонто, встал в очередь одним из первых, чтобы успеть занять заднее сиденье автобуса до Буффало, лег и притворился спящим, чтобы никто не попытался его сдвинуть. «В Канаде это срабатывает», – говорит он. (На обратном пути из США в Канаду не сработало: «Я лег на заднее сиденье и притворился спящим, а какой-то парень подошел и растолкал меня».) Прибыв в Буффало, он оформил визу, необходимую для работы в лаборатории Microsoft, а затем почти три дня ехал через всю страну на поезде до Сиэтла. Дэн не понимал, какой проблемой для Хинтона была его спина, пока не услышал, сколько времени и хлопот занял этот переезд. Перед прибытием поезда он заказал для своего кабинета регулируемый по высоте стол для Хинтона, чтобы они могли работать бок о бок.

Хинтон прибыл в середине ноября. Последний отрезок пути, лежа на заднем сиденье такси, он проделал по понтонному мосту через озеро Вашингтон, отделяющее Сиэтл от Редмонда, небольшого пригорода, застроенного множеством средних размеров офисных зданий, принадлежащих корпорации Microsoft. Ему выделили место в офисе Дэна на третьем этаже Корпуса 99 – здания из гранита и стекла, где располагалось самое сердце научно-исследовательского подразделения компании. Это была та самая лаборатория, где лингвист Крис Брокетт в свое время пережил приступ паники, – лаборатория академического стиля, внимание которой было сосредоточено не на рынках и деньгах, как это можно было бы сказать об остальных подразделениях Microsoft, но на технологиях будущего. Она была создана в 1991 году, как раз в то время, когда компания Microsoft стала доминировать на мировом рынке программного обеспечения, и одной из главных целей, поставленных перед ней, была разработка технологии распознавания речи. В течение следующих пятнадцати лет компания наняла многих ведущих исследователей в этой области, включая Ли Дэна, приманивая их необычайно высокими зарплатами. Но к тому времени, когда Хинтон прибыл в Редмонд, место Microsoft в мире успело измениться. Баланс сил смещался от софтверного гиганта в другие области технологического ландшафта. Google, Apple, Amazon и Facebook быстро росли, захватывая новые рынки и новые деньги – поисковики, смартфоны, онлайн-торговля, социальные сети. Microsoft по-прежнему доминировала в области программного обеспечения компьютеров со своей операционной системой Windows, которая устанавливалась на большинстве настольных ПК и ноутбуков, но из-за своих масштабов – а пока она превращалась в одну из крупнейших в мире корпораций, одновременно разросся и ее бюрократический аппарат – она слишком медленно реагировала на перемены, происходящие в окружающем мире.

Внутри Корпуса 99, где четыре этажа лабораторий, конференц-залов и офисов окружали большой атриум с кофейней, Хинтон и Дэн планировали соорудить прототип, основанный на результатах исследований в Торонто, призванный обучать нейронную сеть распознавать произносимые слова. Работы там было немного, и они планировали легко справиться с нею вдвоем, но сразу же возникли бюрократические сложности. Хинтону нужен был доступ для входа в компьютерную сеть Microsoft, а получить доступ можно было только по телефону компании, но для использования телефона требовался свой доступ. Они посылали бесчисленные обращения по электронной почте, пытаясь получить карту доступа для телефона, но все без толку, и тогда Дэн проводил Хинтона к стойке технической поддержки на четвертом этаже. У Microsoft было специальное правило, которое позволяло использовать временный сетевой пароль тем, кто посещал компанию всего на один день, и женщина, сидевшая за стойкой, передала нужную карту доступа Хинтону. Но когда Хинтон спросил, сохранится ли этот доступ и на завтра, она тут же забрала карту обратно. «Если вы остаетесь здесь больше чем на день, – сказала она, – вам это не полагается».

Как только они наконец нашли возможность выходить в сеть, с задачей удалось справиться всего за несколько дней. Был момент, когда Хинтон набирал код на своем настольном компьютере, а Дэн подскочил и начал набирать рядом с ним на той же клавиатуре. Это было типично для импульсивного, всегда возбужденного Дэна, но Хинтон никогда не видел ничего подобного. «Я привык к тому, что люди перебивают друг друга, – говорит он. – Но такого со мной еще не бывало, чтобы я набирал код на клавиатуре, а кто-то другой встревал и начинал что-то набирать на той же самой клавиатуре». Они построили свой прототип, используя язык программирования Matlab, и код программы, написанный в основном Хинтоном, занимал не более десяти страниц. Как бы Хинтон ни принижал свои способности в области математики и информатики, Дэна поразила элегантная простота созданного им кода. «Все так ясно и понятно, – думал Дэн. – Строчка за строчкой». Но впечатление производила не только ясность кода. После того как система прошла обучение с использованием речевой базы данных Microsoft, они увидели, что это действительно работает – пусть не так хорошо, как ведущие системы того времени, но достаточно хорошо, чтобы Дэн утвердился в убеждении, что именно здесь скрывается ближайшее будущее распознавания речи. Коммерческие системы распознавания речи использовали другие, практически кустарные методы, и будущего у них не было. Дэн понял, что они с Хинтоном создали систему, которая имела все перспективы стать еще более мощной и эффективной, поскольку обучалась на гораздо бо́льших объемах данных.

Для максимально эффективной работы их прототипу все еще не хватало вычислительной мощности, необходимой для анализа всех этих данных. В Торонто Хинтон использовал совершенно особый графический процессор. Производители мощных графических процессоров, или видеокарт, такие как Nvidia, изначально разрабатывали их как средство ускорения рендеринга графики для таких популярных видеоигр, как Halo и Grand Theft Auto, но в какой-то момент разработчики, занимающиеся глубоким обучением, обнаружили, что эти графические процессоры столь же хорошо справляются с математическими расчетами для нейронных сетей. В 2005 году трое инженеров¹⁰⁷ работали над этой идеей в той же самой лаборатории Microsoft, где Дэн и Хинтон несколькими годами позже создали свой прототип системы распознавания речи, и примерно в то же самое время на тот же технический нюанс наткнулась и команда из Стэнфордского университета¹⁰⁸. Эти видеокарты позволяли нейронным сетям обучаться на большем объеме данных за меньшее время – это было как раз то, чего добивался Ян Лекун в Bell Labs в начале 90-х. Разница заключалась в том, что графические процессоры были уже готовыми и общедоступными устройствами. Исследователям не нужно было создавать с нуля новые устройства, чтобы ускорить прогресс глубокого обучения. Благодаря таким играм, как Grand Theft Auto, и таким игровым консолям, как Xbox, они преспокойно могли использовать уже существующие видеокарты. В Торонто Хинтон и двое его студентов, Абдельрахман Мохамед и Джордж Даль, сын преподавателя английского языка, обучали свою систему распознавания речи с помощью этих специализированных видеокарт, и именно это позволило им выйти на новый уровень эффективности.