Текст книги "Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир"

Когда недолгое пребывание Хинтона в Microsoft завершилось, Дэн настоял, чтобы Мохамед и Даль сменили его в Корпусе 99, причем порознь, в разное время, чтобы реализация проекта неослабно продолжалась еще нескольких месяцев. Согласившись на этот масштабный эксперимент, Хинтон и его ученики объяснили, что для полного успеха проекта необходима вычислительная техника совершенно другого уровня, в том числе мощный графический процессор стоимостью 10 000 долларов. Поначалу Дэна эта цена смутила. Его босс, Алекс Асеро, который впоследствии будет курировать разработку Siri, голосового помощника для Apple iPhone, сразу сказал ему, что это лишние расходы, – дескать, такие графические процессоры нужны для игр, а не для разработки искусственного интеллекта. «Не трать зря деньги», – сказал он Дэну, посоветовав вместо дорогущего графического процессора от Nvidia купить обычную видеокарту в ближайшем магазине электроники. Но Хинтон продолжать уговаривать Дэна, объясняя, что дешевое оборудование загубит эксперимент. Ведь идея эксперимента заключалась в том, чтобы нейронная сеть анализировала речевые данные из базы Microsoft на протяжении нескольких дней, и обычные видеокарты могут загореться от перегрева, если будут работать так долго. Но еще важнее то, что дополнительная вычислительная мощность, обеспечиваемая дорогим графическим процессором, позволит нейронным сетям по-настоящему проявить свои возможности. Дэн должен купить эту видеокарту за 10 000 долларов, и даже, возможно, не одну, а также специальную рабочую станцию, которая сможет эту видеокарту «потянуть». Ее стоимость примерно соответствовала стоимости видеокарты. «Это обойдется вам примерно в 10 000 долларов, – сообщил Хинтон в письме Дэну. – Мы собираемся заказать три штуки, но ведь мы работаем в щедро финансируемом канадском университете, а не в бедной компании, торгующей программным обеспечением». В конце концов Дэн сдался и купил необходимое оборудование.

В том же году научно-исследовательскую лабораторию Microsoft в Редмонде возглавил новый руководитель – Питер Ли. Опытный ученый со склонностью к административной работе, Ли более двух десятков лет проработал в Университете Карнеги – Меллона, где поднялся до должности заведующего кафедрой информатики. Когда он перешел в Microsoft и начал изучать бюджет лаборатории, то наткнулся на платежную ведомость, в котором перечислялись расходы на проект распознавания речи, который вел Дэн, включая деньги, заплаченные Хинтону, Мохамеду и Далю, средства, выделенные на организацию семинара в Уистлере, и расходы на графические процессоры. Ли был ошеломлен. Он решил, что вся эта затея была самой несусветной глупостью, с какой он когда-либо сталкивался. Он знал Хинтона по Университету Карнеги – Меллона в 1980-е годы, и уже тогда нейронные сети у него ничего, кроме смеха, не вызывали. Теперь же он считал это безумием. Но ко времени его прибытия в Редмонд проект был уже на полном ходу. «Иногда я думаю, что, если бы меня пригласили в Microsoft годом раньше, – говорит Ли, – ничего этого не случилось бы».

Прорыва удалось достигнуть тем же летом, когда в лабораторию прибыл Джордж Даль. Высокий, с крупными чертами лица и в маленьких очках, Даль решил посвятить свою жизнь разработке методов машинного обучения еще на втором курсе колледжа, увидев в этом альтернативу программированию компьютеров – то, что позволяет вам решать проблему, даже если вы не совсем знаете, как к ней подступиться. Можно просто дать машине учиться самой. Он был плотно погружен в изучение нейронных сетей, но проблемой распознавания практически не занимался. «Над распознаванием речи я начал работать по той единственной причине, что все остальные члены группы Джеффа занимались компьютерным зрением», – часто говорил он. Он хотел показать, что идеи, зарождающиеся в лаборатории Хинтона, могут применяться не только сотрудниками отдела по распознаванию образов. И ему это удалось. «Джордж мало что знал о распознавании речи, – говорит Ли Дэн, – но он знал толк в графических процессорах». Используя графический процессор стоимостью 10 000 долларов для обучения нейронной сети на основе речевой базы данных, собранной Microsoft’овским голосовым поисковиком Bing, Даль добился того, что эффективность прототипа Хинтона превзошла результативность всех других альтернативных методов распознавания речи, разрабатывавшихся в стенах компании. Даль, Мохамед и Хинтон показали, что нейронная сеть способна просеивать целое море посторонних шумов и каким-то образом выявлять действительно значимый материал, паттерны, обнаружить которые не под силу никакому человеку, главные признаки, неуловимо отличающие один звук от другого, одно слово от другого. Это был переломный момент в долгой истории искусственного интеллекта. За несколько месяцев профессор и два его аспиранта обставили систему, над которой одна из крупнейших мировых компаний трудилась более десяти лет. «Он гений, – говорит Дэн. – Он знает, как добиться результата».

* * *

Несколько месяцев спустя, стоя за своим высоким письменным столом в Университете Торонто и поглядывая в окно на булыжную мостовую Кингс-Колледж-роуд, Джефф Хинтон открыл письмо от человека, о котором он никогда не слышал. Его звали Уилл Невитт, и он интересовался, может ли Хинтон прислать кого-нибудь из своих аспирантов в штаб-квартиру Google в Северной Калифорнии. Своей работой по распознаванию речи Хинтон и его ученики вызвали настоящую цепную реакцию в IT-индустрии. После запуска новой программы распознавания речи в Microsoft и публикации результатов своих разработок для всеобщего обозрения они повторили свой успех в стенах второго технологического гиганта, IBM. Осенью 2010 года, через девять месяцев после визита в Microsoft, Абдельрахман Мохамед отправился в Научно-исследовательский центр IBM имени Уотсона, величественное здание которого – еще один образец архитектурного творчества Эро Саринена, и тоже с зеркальными окнами, – прячется среди холмов на берегу реки Гудзон в северной части штата Нью-Йорк. А теперь настала очередь Google.

Мохамед все еще работал с IBM, а Джордж Даль был занят другими исследованиями, поэтому Хинтон обратился к аспиранту, который еще практически не привлекался к их работе с распознаванием. Это был Навдип Джейтли, сын индийских иммигрантов, который только недавно включилася в исследования ИИ – до этого он несколько лет занимался вычислительной биологией. Добродушный по характеру, выделявшийся густыми бровями и бритой головой, он работал вместе с Далем в переоборудованном чулане по соседству с кабинетом Хинтона и ждал возможности пройти стажировку на каком-нибудь предприятии. Хинтон пытался найти ему место в канадской компании RIM, выпускавшей смартфоны BlackBerry, но там сказали, что технологии распознавании речи их не интересуют. Компания RIM, чьи кнопочные устройства доминировали на рынке телефонов всего несколькими годами ранее, уже пропустила скачок к смартфонам с сенсорным экраном. Теперь они обрекали себя пропустить и следующий большой рывок в технологиях. Когда Хинтон предложил Джейтли работу в Google, тот поначалу отказался, сказав, что они с женой ждут ребенка, а еще он подал заявку на грин-карту в США, так что на получение визы ему нечего и надеяться. Но уже через несколько дней он передумал и попросил Уилла Невитта, того самого специалиста из Google, который писал Хинтону, приобрести рабочую станцию с необходимыми графическими процессорами.

К тому времени, когда Джейтли прибыл на стажировку в Google, Невитт покинул компанию. Заменившему Невитта инженеру Венсану Вануку, французу по происхождению, по наследству перешли рабочая станция, напичканная мощными видеокартами, с которой он толком не знал, что делать, и канадский стажер, который знал, что с этим делать, но работать в офисе, где все это хозяйство размещалось, не мог, потому что у него не было рабочей визы. Поэтому Ванук позвонил кому-то в небольшой офис Google в Монреале, и для Джейтли там выделили рабочее место. Именно отсюда Джейтли работал в то лето, практически предоставленный сам себе, подключаясь к компьютеру с массивным графическим процессором через интернет. Но сначала он совершил короткую поездку в Северную Калифорнию, чтобы познакомиться с Вануком и запустить рабочую станцию с графическими процессорами. «Никто другой не умел управляться с этой штукой, – говорит Ванук. – Поэтому пришлось ему самому приехать».

Приехав, Джейтли обнаружил рабочую станцию в дальнем углу коридора, за офисом Ванука и остальных членов группы распознавания речи. «Она гудит там, за принтером», – сказал Ванук. Он не хотел, чтобы эта машина стояла в чьем-либо кабинете или вообще близко к работающим людям. Каждый графический процессор был снабжен вентилятором, и эти вентиляторы непрерывно гудели, чтобы уберечь оборудование от перегрева, и он беспокоился, что кто-то, устав от шума, вздумает выключить машину, не понимая, для чего она предназначена. Он поставил рабочую станцию за принтер, чтобы любой, кто услышит жужжание вентиляторов, решил, что этот шум создается принтером. К этой рабочей станции в Google относились с таким же недоумением, как и в Microsoft, но по другим причинам. Создавая свою империю онлайн-сервисов, компания Google организовала всемирную сеть центров обработки данных, охватывающую сотни тысяч компьютеров. Инженеры компании могли мгновенно получить доступ ко всей этой вычислительной мощности с любого персонального компьютера или ноутбука. Именно так они создавали и тестировали новое программное обеспечение – а не с помощью отдельной рабочей станции, задвинутой в угол за принтер. «Здесь принято так: каждый прогоняет свои программы через общие центры обработки данных, – говорит Ванук. – У нас и без того полно компьютеров, так зачем тебе идти и покупать свой собственный, отдельный компьютер?» Загвоздка была в том, что суперкомпьютеры в Google’овских центрах обработки данных не были оснащены графическими процессорами, которые как раз и были нужны Джейтли.

Он хотел сделать то, что Мохамед и Даль сделали в Microsoft и IBM: перестроить существующую систему распознавания речи с использованием нейронной сети. Но он хотел пойти еще дальше. Системы, существовавшие в Microsoft и IBM, отчасти опирались на другие технологии, и Джейтли стремился расширить охват обучения нейронных сетей, надеясь в конечном итоге построить всеобъемлющую систему, которая обучалась бы всему, анализируя произносимые вслух слова. Перед тем как Джейтли покинул Торонто, Даль посоветовал ему никого в Google не слушать, а просто делать свое дело. «Делай в Google то, что хочешь ты, – сказал он, – а не то, что хочет от тебя Google». Поэтому, когда Джейтли встретился в Калифорнии с Вануком и другими представителями Google, он предложил создать еще бóльшую нейронную сеть. Сначала они отказались. Даже обучение небольшой нейронной сети занимало несколько дней, а если бы Джейтли начал обучал сеть на всем объеме данных Google, это могло занять недели. В его распоряжении было только лето. Один из специалистов Google спросил Джейтли, сможет ли он обучить сеть, используя две тысячи часов устного текста, – и тут уже Джейтли отказался. В Торонто Мохамед и Даль обучали сеть в течение трех часов. В Microsoft для обучения использовали информацию в объеме двенадцати часов. Компания Google располагала гораздо большими объемами голосовой информации, поскольку она постоянно получала ее через свои популярнейшие онлайн-сервисы, включая их фирменный голосовой поисковик и YouTube. Но Джейтли стоял на своем, и, когда встреча закончилась, он написал Хинтону.

«Кто-нибудь когда-нибудь обучал сети по 2000 часов?» – спросил он.

«Нет, – ответил Хинтон. – Но я не вижу в этом ничего невозможного».

Уехав в Монреаль и оттуда подключившись к этой гудящей рабочей станции через интернет, Джейтли обучил свою первую нейронную сеть менее чем за неделю. Тестирование новой системы показало, что она ошибалась в определении слов примерно в 21 проценте случаев – и это был замечательный результат. Сервис распознавания речи Google, используемый в большинстве Android-смартфонах, застрял на уровне 23 процентов. Еще через две недели Джейтли удалось снизить уровень ошибок своей системы до 18 процентов. Прежде чем Джейтли приступил к испытаниям, Ванук и его команда рассматривали этот проект просто как интересный эксперимент. Они и мысли не допускали, что ему удастся хотя бы приблизиться к тому, что уже удалось создать специалистам Google. «Мы были уверены, что мы на голову выше, – говорит Ванук. – Как оказалось, мы заблуждались».

Система работала так хорошо и обучалась так быстро, что Джейтли подготовил вторую сеть, которая была обучена искать видео на YouTube по определенным ключевым словам, произносимым вслух (например, если вы попросите ее найти слово «сюрприз», она точно укажет на те моменты в видеоролике, когда это слово было произнесено). У Google уже был сервис, который делал то же самое, но в 53 процентах случаев ключевое слово воспринималось неверно. Еще до исхода лета Джейтли снизил частоту ошибок в своей системе до 48 процентов. И все это он делал почти исключительно своими силами. Как ему повезло, что он был в Монреале, думал он, потому что там никто не стоял над душой, никто не мешал. Он полностью погрузился в работу, забыв обо всем на свете. Каждый день он работал до одиннадцати вечера, а то и до полуночи. И когда он возвращался домой, жена передавала ему ребенка, который почти всю ночь не спал из-за колик. Назавтра все повторялось, но он не сказал бы, что ему было тяжело. «Это затягивало почти как наркотик, – говорит он. – Результаты становились все лучше».

Когда Джейтли вернулся с семьей в Торонто, Ванук переключил на этот проект всю свою команду. В Google знали, что Microsoft и IBM разрабатывают схожие технологии, и хотели достичь успеха первыми. Проблема была в том, что система Джейтли работала слишком медленно, чтобы обрабатывать «живые» запросы через интернет. Никто не стал бы пользоваться ею на такой скорости. Ее нужно было увеличить раз в десять. Когда специалисты из группы Ванука занялись этой проблемой, к ним присоединилась вторая команда из совершенно другого подразделения компании. Случилось так, что пока Джейтли трудился над своим проектом в Монреале, несколько других ученых, включая еще одного протеже Хинтона, создавали специальную лабораторию глубокого обучения в калифорнийской штаб-квартире компании. В сотрудничестве с группой Ванука эта новая лаборатория сумела менее чем за шесть месяцев перенести эту технологию на Android-смартфоны. В Google не сразу сообщили миру, что их сервис распознавания речи изменился, и вскоре после того, как он стал доступен пользователям, Вануку позвонили из небольшой компании, поставлявшей специальный чип для новейших телефонов на базе Android. Этот чип был призван удалять фоновый шум и делать звучание голоса более чистым, когда вы произносите голосовые команды в свой телефон, – чтобы система распознавания речи могла легче понять сказанное. Но теперь Вануку сообщили, что этот чип перестал работать. Он больше не способствовал повышению эффективности распознавания речи. Вануку не потребовалось много времени, чтобы понять, что на самом деле произошло.

Новая система распознавания речи была настолько хороша, что чип шумоподавления становился излишним. Больше того, без этого чипа она работала даже лучше. Нейронная сеть Google научилась сама справляться с шумом.

Глава 5
Доказательство. «Раньше скорость света в вакууме составляла около 35 миль в час. Затем Джефф Дин за выходные оптимизировал физику»

Эндрю Ын сидел в японском ресторане рядом со штаб-квартирой Google и ждал Ларри Пейджа. Основатель и генеральный директор Google задерживался, что Ына не удивляло. Это был конец 2010 года, и за предыдущие годы Google из небольшой, но невероятно прибыльной компании, специализирующейся на поиске информации в интернете, превратилась в самую могущественную силу Всемирной паутины, технологическую империю, которая доминировала везде и во всем – от личной электронной почты до онлайн-видео и смартфонов. Ын, профессор информатики из соседнего Стэнфордского университета, сидел за столиком у стены. Ему казалось, что будет меньше шансов, что Пейджа узнают и начнут приставать с расспросами, если они не будут маячить в центре ресторана, а уединятся в уголке. Пока он ждал, к нему подсел один из его коллег по Стэнфорду, Себастьян Трун. Трун взял в университете отпуск за свой счет, когда Пейдж попросил его заняться проектом, о котором только недавно стало известно всему миру: Google’овским беспилотным автомобилем¹⁰⁹. Теперь, взяв Труна в посредники, Ын собирался предложить Пейджу новую идею.

Тридцатичетырехлетний Ын, высокий мужчина, всегда говоривший тихо, почти шепотом, подготовил в своем ноутбуке график, призванный наглядно объяснить его идею, но, когда Пейдж наконец пришел и присоединился к ним за столиком, Ын решил, что вытаскивать ноутбук из сумки во время обеда с генеральным директором Google было не совсем правильно. Поэтому он обрисовал идею при помощи рук. Линия графика, показал он, идет вверх и вправо. По мере того как нейронная сеть анализирует все больше и больше исходных данных, она становится все более и более точной, независимо от того, распознает она образы, звуки или язык. А в чем у компании Google нет недостатка, так это во всевозможных исходных данных – тонны фотографий, видео, голосовых команд и текста, собранных с помощью таких сервисов, как Google Search, Gmail и YouTube, и за годы невозможно было бы исчерпать. Ын занимался темой глубокого обучения в своей лаборатории в Стэнфорде, и теперь он надеялся, что Google поддержит эти исследования всей своей мощью. Трун занимался созданием беспилотного автомобиля в новой секретной лаборатории перспективных исследований, получившей название Google X. То, что предлагал Ын, могло бы стать еще одним чрезвычайно перспективным проектом для этой лаборатории.

Родившийся в Лондоне и выросший в Сингапуре, Ын был сыном гонконгского врача. Он изучал компьютерные науки, экономику и статистику в Университете Карнеги – Меллона, Массачусетском технологическом институте и Калифорнийском университете в Беркли, после чего перебрался в Стэнфорд, где его первым крупным проектом были автономные вертолеты. Вскоре он женился на женщине, которая тоже занималась робототехникой. О своей помолвке они объявили¹¹⁰ на страницах отраслевого журнала IEEE Spectrum, сопроводив объявление цветными фотографиями. Хотя однажды он заявил в полной студентов аудитории, что Ян Лекун – единственный человек на Земле, который мог бы вытянуть из нейронных сетей что-то полезное, когда он увидел, как в итоге повернулось дело, то изменил свое мнение. «Он был одним из немногих, кто занимался другой работой и переключился на нейронные сети, потому что вовремя понял, что происходит, – говорит Хинтон. – Его научный руководитель даже назвал его предателем». Запросив приглашение, он присоединился к небольшому научному коллективу, созданному Хинтоном на средства канадского правительства для исследований по тематике «нейронных вычислений». Иногда Хинтон продвигал свою технологию в одном подразделении Google, Ын делал то же самое в другом подразделении, это не было случайным совпадением. Рассматривая эту технологию под тем же самым углом, он тоже видел, куда она движется. Но, предложив эту идею Ларри Пейджу, он придал ей дополнительный размах.

Взгляды Ына формировались не только под влиянием успехов Джеффа Хинтона; не меньшее влияние на его мировоззрение оказала книга «Об интеллекте», изданная в 2004 году¹¹¹ и написанная инженером из Кремниевой долины, предпринимателем и нейробиологом-самоучкой Джеффом Хокинсом. В 1990-е годы Хокинс изобрел карманный компьютер PalmPilot, предтечу айфона, но больше всего в жизни его интересовали исследования мозга. В своей книге он утверждал, что весь неокортекс¹¹² – часть мозга, отвечающая за зрение, слух, речь и разум, – управляется одним биологическим алгоритмом. Если бы ученые могли искусственно воссоздать этот алгоритм¹¹³, утверждал он, они могли бы смоделировать человеческий мозг. Ын принял это близко к сердцу. В своих лекциях, которые он читал в Стэнфорде в качестве аспиранта, он описывал опыт, проведенный над мозгом хорька. Если его зрительный нерв отсоединяют от зрительной коры (части мозга, управляющей зрением), а затем присоединяют к слуховой коре (управляющей слухом), хорек не утрачивает способность видеть. Как объяснял в своей лекции Ын, эти две части мозга опираются на один и тот же фундаментальный алгоритм, и этот единственный алгоритм может быть смоделирован в электронной машине. Развитие глубокого обучения, говорит он, было движением именно в этом направлении. «Студенты приходили ко мне в офис и говорили, что хотят работать над созданием мыслящих машин, а я насмешливо улыбался и давал им задания по статистике, – говорит он. – Но теперь я верю, что машинный разум удастся создать еще при нашей жизни».

После обеда с Ларри Пейджем в японском ресторане Ын за несколько дней подготовил для основателя Google свое официальное предложение, главным столпом которого была именно идея искусственного интеллекта. Он дал понять Пейджу, что глубокое обучение не только обеспечит такие функции, как распознавание образов, машинный перевод и понимание естественного языка, но и приблизит машины к обретению истинного интеллекта. Еще не закончился год, когда проект был утвержден. Он получил название «Проект Марвин» – в честь Марвина Мински. Любая ирония здесь была непреднамеренной.

* * *

Штаб-квартира Google находится в городе Маунтин-Вью, штат Калифорния, расположенном примерно в сорока милях к югу от Сан-Франциско по автостраде 101, на южном берегу залива Сан-Франциско. Главный кампус располагается на вершине холма рядом с шоссе. Он представляет собой группу зданий в красно-сине-желтых тонах, окружающих поросший травой внутренний двор, на котором, среди прочего, можно увидеть волейбольную площадку и металлическую статую динозавра. Когда Эндрю Ын присоединился к Google в начале 2011 года, работать ему довелось не здесь. Его направили в лабораторию Google X, которая располагалась тоже в Маунтин-Вью, но в другом месте, на самой окраине Google’овских владений в Северной Калифорнии. Но вскоре после прибытия они с Труном отправились в кампус на холме, чтобы встретиться с главой подразделения Google Search. В поисках бюджета, ресурсов и политического капитала, необходимых для внедрения идей Ына, Трун организовал для него встречи с несколькими ведущими фигурами в руководстве Google, и первая встреча была с Амитом Сингхалом, который почти десять лет курировал поисковую систему Google. Ын рассказал ему примерно то же самое, что и Ларри Пейджу, но сосредоточился непосредственно на поисковой системе, которая являлась жемчужиной в короне компании. Хотя поисковая система Google успешно работала на протяжении многих лет, став главным мировым шлюзом в интернет, она обслуживала запросы клиентов слишком упрощенно: по ключевым словам. Если вы искали информацию по пяти ключевым словам, а затем удаляли их из поисковой строки и вводили снова, то, вероятно, каждый раз получали бы те же самые результаты. Но глубокое обучение, сказал Ын Сингхалу, могло бы кардинальным образом улучшить их поисковую систему. Анализируя миллионы поисковых запросов Google, выискивая закономерности в том, на что люди реагируют, а на что нет, нейронная сеть может научиться обнаруживать информацию, которая будет гораздо ближе к тому, что людей на самом деле интересует. «Люди смогут задавать реальные вопросы, а не просто вводить ключевые слова», – сказал Ын.

Сингхала это не заинтересовало. «Люди не хотят задавать вопросы. Они хотят вводить ключевые слова, – сказал он. – Если я предложу им задавать вопросы, они просто растеряются». И даже если бы он хотел выйти за рамки системы ключевых слов, он был принципиально против самой идеи системы, которая бы умела действовать столь самостоятельно в таких масштабах. Нейронная сеть является «черным ящиком». Когда она принимает то или иное решение, например выбирает тот или иной результат поиска, нет никакой возможности узнать, почему она приняла именно это решение. Каждое решение основывается на многих днях или даже неделях вычислений с использованием десятков мощных компьютерных чипов. Никакой человек не способен охватить своим умом все то, чему научилась такая нейронная сеть. А изменить накопленное ею знание было делом далеко не тривиальным, требующим новых массивов данных и нового раунда проб и ошибок. Потратив десять лет жизни на Google Search, Сингхал не хотел терять контроль над работой своей поисковой системы. Когда он и его коллеги-инженеры вносили изменения в свою поисковую систему, они точно знали, что они меняют, и могли объяснить эти изменения любому, кто спрашивал. Но с нейронной сетью дело обстояло иначе. Ответ Сингхала был недвусмысленный. «Я не хочу это даже обсуждать», – сказал он.

Ын также встретился с руководителями сервисов поиска изображений и видео, и они ему тоже отказали. Он никак не мог найти, с кем можно было бы сотрудничать, пока не столкнулся с Джеффом Дином; они случайно встретились на мини-кухне¹¹⁴, как в Google называют разбросанные по всему кампусу общедоступные помещения, где сотрудники могут найти закуски, напитки, посуду, микроволновые печи и даже возможность пообщаться. В Google Дин был легендарной личностью.

Сын специалиста по тропическим болезням и медицинской антропологии, Джефф Дин еще в детстве объездил весь мир. С Гавайев, где он родился, профессиональный долг призвал его родителей в Сомали, где он, будучи школьником, помогал в лагере беженцев. Старшие классы школы он посещал уже в Атланте, штат Джорджия, где его отец работал в одном из центров по контролю и профилактике заболеваний (CDC). Тогда же Джефф создал для них программный инструмент¹¹⁵, который помогал исследователям собирать данные о болезнях и который почти четыре десятилетия спустя остается основным подспорьем для эпидемиологов развивающихся стран. После окончания аспирантуры, где он изучал программирование низкого уровня – так называемые компиляторы, которые переводят программный код на язык, понятный компьютеру, – он попал в научно-исследовательскую лабораторию Digital Equipment Corporation, а когда могущество этого бывшего гиганта компьютерной индустрии стало таять, оказался в числе лучших сотрудников DEC¹¹⁶, которые перебрались в Google – как раз в то время, когда компания стремительно расширялась. Первоначальный успех Google часто связывают с PageRank, алгоритмом поиска, который был разработан Ларри Пейджем, когда он и Сергей Брин, второй соучредитель Google, были аспирантами в Стэнфорде. Но стройный, с квадратной челюстью, классический красавец Дин, разговаривавший с вежливой застенчивостью и слегка шепелявивший, внес не меньший – если не больший – вклад в быстрый рост компании. Он и несколько других инженеров создали мощное программное обеспечение для поисковой системы Google, программы, которые управляли тысячами серверов и несколькими центрами обработки данных, позволяя PageRank мгновенно и ежесекундно обслуживать миллионы людей. «Его главным достижением было создание системы из миллионов компьютеров, которые работали как одно целое, – говорит Себастьян Трун. – В истории вычислительной техники этого еще никто никогда не делал».

Среди инженеров Дина уважали как мало кого в Кремниевой долине.

«Когда я был молодым инженером, о нем разговаривали за обедом. Мы сидели и говорили о его могуществе, – вспоминает Кевин Скотт, один из первых «гуглеров», который впоследствии стал техническим директором Microsoft. – У него была эта сверхъестественная способность докапываться до первичной сути сложнейших технических вопросов». Однажды к первому апреля¹¹⁷ – а День дурака был священным событием в компании в первые годы ее существования – во внутренней корпоративной сети появилась страничка с перечислением «Фактов о Джеффе Дине». Это была пародия на «Факты о Чаке Норрисе», популярный в интернете шутливый список достижений этой звезды боевиков 1980-х:

Джефф Дин однажды провалил тест Тьюринга, когда правильно определил 203-е число Фибоначчи быстрее чем за секунду.

Джефф Дин компилирует и прогоняет свои программные коды перед отправкой, но только для того, чтобы проверить на ошибки компилятор и процессор.

ПИН-код Джеффа Дина – последние 4 цифры числа пи.

Раньше скорость света в вакууме составляла около 35 миль в час. Затем Джефф Дин за выходные оптимизировал физику.

Остальным «гуглерам» предлагалось¹¹⁸ добавлять свои собственные факты, и многие включались. Кентон Варда, молодой инженер¹¹⁹, создавший этот сайт, старательно скрывал свою личность, но, собрав воедино несколько цифровых подсказок, спрятанных в журналах Google’овских серверов, Дин раскрыл его и послал ему благодарственную записку. То, что начиналось как первоапрельская шутка, переросло в мифологию Google¹²⁰, легенду, часто пересказываемую как в стенах компании, так и за ее пределами.

Эндрю Ын знал, что Джефф Дин привнесет в его проект такой уровень технических знаний и опыта, каким мало кто обладал, а также политический капитал, который обеспечит проекту необходимую поддержку внутри компании. Так что их встреча на мини-кухне – когда Дин спросил, что Ын делает в Google, а Ын шепотом ответил, что строит нейронные сети, – оказалась решающей. Согласно корпоративному фольклору, этот счастливый случай привел к созданию в Google лаборатории искусственного интеллекта. Ын, однако, вспоминал это по-другому. С первых дней работы в компании он знал, что его проект зависит от степени заинтересованности Джеффа Дина. Его постоянной заботой было сначала затащить Дина на борт, а потом удержать его там. Однако он не знал тогда, что у Дина была своя история отношений с нейронными сетями. Дин был почти на десять лет старше Ына, и он исследовал эту идею, еще будучи студентом Университета Миннесоты в начале 1990-х, в эпоху первого ренессанса коннекционистских исследований. Для своей дипломной работы он обучил нейронную сеть на компьютере Сaesar с шестьюдесятью четырьмя процессорами, который на то время казался невероятно мощным, но мощность которого на самом деле была слишком мала, чтобы эта технология могла привести к какому-нибудь полезному результату. «Мне казалось, что, если выполнять вычисления параллельно на шестидесяти четырех процессорах, это позволит добиться каких-то интересных результатов, – говорит он. – Но я был слишком наивен». Вычислительной мощности требовалось в миллион, а не в шестьдесят раз больше. Поэтому, когда Ын сказал, что работает над нейронными сетями, Дин хорошо понимал, о чем идет речь. Более того, на тот момент в Google эту идею изучали два специалиста, включая нейробиолога по имени Грег Коррадо. «У нас в Google много компьютеров, – сказал он Ыну в своей обычной прямолинейной манере. – Так почему бы нам не попробовать обучать действительно большие нейронные сети?» В конце концов, именно в этом Дин и был выдающимся специалистом: он знал, как объединить вычислительные мощности сотен и даже тысяч машин, чтобы применить их к одной задаче. Той зимой он поставил дополнительный стол в лаборатории Google X и занимался проектом Ына в свои «20 процентов времени» – так в Google называют один день в неделю, когда «гуглеры» традиционно вольны заниматься какими-то побочными проектами. Поначалу проект «Марвин» рассматривался лишь как очередной эксперимент, и Ын, Дин и Коррадо уделяли ему лишь часть своего внимания.