Текст книги "Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир"

Они создали систему¹²¹, которая подражала очень популярному времяпрепровождению начала 2010-х: смотрела на YouTube видеоролики с кошками. Опираясь на мощь¹²² более шестнадцати тысяч компьютерных чипов, установленных на тысяче компьютеров по всем дата-центрам Google, она анализировала миллионы этих видеозаписей и училась распознавать кошек. Результаты, которые она показывала, далеко уступали в точности лучшим инструментам распознавания образов, которые существовали на то время, но это было большим шагом вперед в шестидесятилетней эволюции нейронных сетей. Ын, Дин и Коррадо опубликовали¹²³ свое исследование следующим летом, и среди специалистов по ИИ эта публикация получила известность как «Статья про кошек». Проект также попал¹²⁴ на страницы New York Times, где его назвали «моделированием человеческого мозга». Именно так сами исследователи рассматривали свою работу. Дин и нейробиолог Коррадо в конце концов с головой погрузились в проект Ына. Они также привлекли дополнительные научные силы из Стэнфорда и Торонто, и под этот проект была создана специальная лаборатория разработок ИИ Google Brain, выделившаяся из Google Х.

Не только посторонние, но даже многие сотрудники Google Brain не совсем представляли себе, к чему это все приведет. И Эндрю Ын тоже был в их числе. Лаборатория продолжила наращивать обороты, однако он решил уйти. У него был другой проект в разработке, который тоже требовал его внимания. Речь шла о стартапе Coursera, который специализировался на MOОК, «массовых открытых онлайн-курсах», дистанционном способе получения университетского образования через интернет. В 2012 году это была одна из тех витавших по Кремниевой долине идей, которые, по убеждению предпринимателей, инвесторов и журналистов, могли в один прекрасный момент полностью изменить мир. В то же самое время Себастьян Трун занимался созданием аналогичного стартапа под названием Udacity. Однако ни один из этих проектов не мог соперничать с тем, что вот-вот должно было развернуться в Google Brain.

Уход Ына косвенным образом катализировал проект. Перед отъездом он предложил себе замену: Джеффа Хинтона. Сегодня, оглядываясь назад, все участники тогдашних событий воспринимают это как совершенно естественный шаг. Хинтон был не только наставником Ына; именно ему лаборатория обязана своим первым большим успехом – ведь это он годом ранее командировал в Google Навдипа Джейтли, и тому удалось на практике реализовать технологию, которую Хинтон вынашивал десятилетиями. Но когда весной 2012 года ему предложили место в Google, он не захотел снова покидать Университет Торонто. Ему было уже шестьдесят четыре года, у него была преподавательская работа и длинная череда аспирантов и докторантов, которыми он руководил. Поэтому он согласился лишь на то, чтобы провести в новой лаборатории летние месяцы¹²⁵. Из-за особенностей правил найма, принятых в Google, компания пригласила его в качестве стажера – наравне с десятками студентов колледжей, стажирующихся у них на летних каникулах. В течение первой недели, когда стажеры знакомились с новым местом работы и проходили обучение, он ощущал себя динозавром¹²⁶: например, среди присутствующих он, казалось, был единственным, кто не знал, что для входа в компьютерную сеть Google используется LDAP-авторизация. «В скором времени они попросту приставили ко мне одного из четырех инструкторов», – вспоминает он. Но за эту ознакомительную неделю он обратил внимание на еще одну группу людей, которые явно были не местные: они имели начальственный вид, ходили в сопровождении личных помощников и, казалось, постоянно улыбались до ушей. Однажды за обедом Хинтон подошел к ним поинтересоваться, что они делают среди стажеров, и они ответили, что их компания только что была приобретена Google. «Продать свою компанию Google, – подумал он тогда, – чем не повод для широкой улыбки?»

Тем летом штат Google Brain расширился до десяти с лишним исследователей, и лаборатория переехала в здание, расположенное рядом с главным корпусом, где размещались Ларри Пейдж и остальные директора. Хинтон знал одного из сотрудников, бывшего постдока из Торонто по имени Марк’Аурелио Рандзато, и тот был под впечатлением от Джеффа Дина. Он сравнивал Дина с Барнсом Уоллесом, ученым и изобретателем двадцатого века, о котором рассказывает британский фильм о войне «Разрушители плотин». В одном из эпизодов фильма Уоллес просит чиновника¹²⁷ предоставить в его распоряжение бомбардировщик Wellington. Он хочет провести испытания бомбы¹²⁸, которая прыгает по воде – сколь бы нелепой и неосуществимой эта идея ни казалась. Чиновник отказывается¹²⁹, объясняет, что идет война и что каждый бомбардировщик на счету. «Да они на вес золота»¹³⁰, – говорит он. Но когда Уоллес напоминает¹³¹, что бомбардировщики Wellington – тоже его рук дело, ему дают то, что он хочет. Во время летней стажировки Хинтона один из проектов столкнулся с проблемой: был достигнут потолок доступной вычислительной мощности, установленный в соответствии с принятыми в Google правилами. Когда исследователи сообщили об этом Джеффу Дину, он заказал под этот проект компьютеров еще на 2 миллиона долларов. Он был создателем инфраструктуры Google, и это означало, что он мог использовать ее так, как считал нужным. «Он создал своего рода убежище, в котором команда Google Brain могла спокойно работать, не думая ни о чем другом, – говорит Хинтон. – Если тебе что-то нужно, скажи об этом ты Джеффу, и он обеспечит». Необычным в Дине Хинтон находил то, что в отличие от большинства столь же умных и могущественных людей, ему были неведомы эгоистические мотивы. Он всегда был готов помочь, всегда стремился к сотрудничеству. Хинтон сравнивал его с Исааком Ньютоном, вот только Ньютон был человеком малоприятным. «Большинство ученых, таких как Ньютон, например, – люди злобные и завистливые. Характер Джеффа Дина, кажется, лишен этой черты».

Ирония ситуации заключалась в том, что вся эта огромная компьютерная сеть со всей ее производительностью работала большей частью вхолостую, потому что компьютеры были не те. Система распознавания речи Навдипа Джейтли успешно обучалась с использованием компьютеров, оснащенных графическими процессорами. Однако Дин и другие основатели Google Brain обучали свою систему, получившую название DistBelief, на компьютерах, из которых складывалась глобальная сеть Google’овских центров обработки данных и которые были оснащены тысячами центральных процессоров¹³² – но не графических. Себастьян Трун пытался было добиться от руководителя отдела инфраструктуры установить в центрах обработки данных машины с графическими процессорами, но ему было отказано на том основании, что это усложнит работу дата-центров компании и увеличит их расходы. Когда Джефф Дин и его команда представили свои методы на одной из крупных конференций по искусственному интеллекту, Ян Гудфеллоу, тогда еще студент Монреальского университета, присутствовавший в аудитории, встал и упрекнул докладчиков за то, что они не используют графические процессоры, хотя вскоре он пожалеет о том, что позволил себе публично – и так небрежно – критиковать Джеффа Дина. «Я тогда понятия не имел, кто он такой, – говорит Гудфеллоу. – Теперь-то я почти боготворю его».

Для функционирования системы DistBelief не только компьютеры были неправильные. Как оказалось, неправильно был выбран и тип обучаемых нейронных сетей. Обычно исследователям в процессе обучения нейронной сети приходилось аннотировать каждое изображение, чтобы оно было правильно воспринято. Необходимо было идентифицировать каждую кошку как кошку, обводя каждую кошачью морду на снимке ограничивающей рамкой. Но в «Статье о кошках», на принципах которой строилась работа в Google’овской лаборатории, речь шла о системе, способной учиться распознавать кошек – или другие объекты – без предварительной аннотации изображений¹³³. Хотя Дин и его коллеги показали, что можно обучать систему без предварительной разметки¹³⁴, это не отменяло того факта, что нейронные сети проявляют себя гораздо более точными, надежными и эффективными, если исходные данные, которые они получают в процессе обучения, предварительно аннотируются. Вернувшись той же осенью в Университет Торонто после летней стажировки в Google, Хинтон – и двое студентов, которые помогали ему, – показали, что компания Google выбрала неверный путь. Они построили систему, которая анализировала размеченные изображения и училась распознавать объекты с точностью, намного превосходившей любую из существовавших на тот момент технологий, и тем самым показали, что машины гораздо более эффективны, когда их направляют люди. Нейронные сети обучались гораздо быстрее, если кто-то показывал им, где именно на фотографии находятся кошки.

* * *

Весной 2012 года Джефф Хинтон позвонил Джитендре Малику, профессору Калифорнийского университета в Беркли, который публично критиковал Эндрю Ына за его заявления о том, что глубокое обучение является будущим компьютерного зрения. Несмотря на успех глубокого обучения с распознаванием речи, Малик и его коллеги скептически относились к его возможностям в деле распознавания изображений. И когда Хинтон позвонил ему, большой удачей было то, что он вообще снял трубку, потому что звонили ему преимущественно телемаркетеры. Состоявшийся разговор имел почти судьбоносное значение. «Я слышал, вы негативно относитесь к глубокому обучению», – сказал Джефф Хинтон. Малик ответил: да, это правда. Когда Хинтон спросил о причинах этого, Малик ответил, что нет никаких научных доказательств, которые бы подтверждали, что глубокое обучение способно превзойти любую другую технологию компьютерного зрения. Хинтон указал на недавние испытания, свидетельствовавшие о высокой эффективности глубокого обучения при идентификации объектов. Малик сказал, что в этих испытаниях использовались устаревшие наборы исходных данных и что это никому не интересно. «Это не убедит никого из тех, кто не разделяет ваши идеологические пристрастия», – сказал он. Хинтон спросил, что же его убедит.

Малик сказал, что глубокое обучение должно уметь работать с европейским набором данных под названием PASCAL. «PASCAL слишком мал, – возразил Хинтон. – Чтобы метод эффективно работал, нам нужен большой объем обучающих данных. Как насчет ImageNet?» Малик согласился. В рамках проекта ImageNet в Стэнфорде, примерно в сорока милях к югу от Беркли проводился ежегодный конкурс¹³⁵. В Стэнфордской лаборатории была собрана обширная база¹³⁶ тщательно аннотированных фотографий различных объектов, от собак до цветов и автомобилей, и каждый год исследователи со всего мира соревновались в создании системы, которая могла бы распознать наибольшее количество изображений. Победа в конкурсе ImageNet, решил Хинтон, завершит спор. Он не стал говорить Малику, что его лаборатория на тот момент уже создавала нейронную сеть для конкурса; более того, благодаря двум его ученикам – Илье Суцкеверу и Алексу Крижевскому – эта работа уже близилась к завершению.

Суцкевер и Крижевский олицетворяли собой международный характер исследований ИИ. Оба родились в Советском Союзе, потом переехали в Израиль, а оттуда в Торонто. Но по темпераменту они были очень разными. Суцкевер был честолюбив, нетерпелив и напорист. Крижевский был немногословен и замкнут. Он не был мечтателем и идеалистом, он был необычайно талантливым инженером-программистом и умел строить нейронные сети. Опираясь на опыт, интуицию и толику удачи, такие исследователи, как Крижевский, строили эти системы методом проб и ошибок, работая над тем, чтобы многочасовые или даже многодневные компьютерные вычисления, которые они никогда не смогли бы выполнить самостоятельно, принесли какой-то результат. Они назначали десяткам цифровых «нейронов» определенные математические операции, вводили в эту искусственную нейронную сеть тысячи фотографий собак и надеялись, что после многих часов вычислений она научится распознавать собаку. Когда это не срабатывало, они корректировали математические операции и пробовали снова и снова, пока не сработает. Крижевский был мастером того, что некоторые называли «темным искусством». Но еще важнее, по крайней мере на тот момент, было то, что он умел из машины, оборудованной графическими процессорами (которые все еще оставались не вполне обычной категорией компьютерного оборудования), выжать максимум производительности – все до последней капли. «Он очень хороший разработчик нейронных сетей, – говорит Хинтон. – Но он еще и потрясающий программист».

Суцкевер был другой породы. Он постучался в дверь кабинета Хинтона за девять лет до этого – когда еще был студентом Университета Торонто и подрабатывал приготовлением картофеля фри в местном ресторане быстрого питания, – и со своим резким восточноевропейским акцентом с порога попросился в руководимую Хинтоном лабораторию глубокого обучения.

– Давайте сначала договоримся о встрече, и тогда поговорим об этом, – попросил Хинтон.

– Хорошо, – сказал Суцкевер. – А может, прямо сейчас?

Делать нечего, Хинтон пригласил его войти. Суцкевер был студентом-математиком и сразу показался человеком сообразительным. Хинтон дал ему копию статьи об алгоритме обратного распространения ошибки – статьи, которая двадцатью пятью годами ранее наконец раскрыла потенциал глубоких нейронных сетей, – и сказал прийти, когда прочитает ее. Суцкевер вернулся через несколько дней.

– Я не понимаю, – сказал он.

– Но это же элементарный матанализ, – произнес удивленный и разочарованный Хинтон.

– Нет-нет, я не понимаю, почему не взять производные и не применить методы оптимизации.

«Мне потребовалось пять лет, чтобы додуматься до этого», – подумал про себя Хинтон и протянул двадцатиоднолетнему студенту вторую статью.

Суцкевер вернулся через неделю.

– Я не понимаю, – снова сказал он.

– А теперь что не так?

– Вы обучаете нейронную сеть решать определенную задачу, а затем, если вам нужно решить другую задачу, вы начинаете все сначала с другой нейронной сетью и обучаете ее работать с другой задачей. Должна быть одна нейронная сеть, которая обучается на решении всех этих задач одновременно.

Увидев, как быстро Суцкевер приходит к идеям, поиск которых даже у опытных исследователей занимал годы, Хинтон пригласил двадцатиоднолетнего студента влиться в коллектив его лаборатории. Изначально, когда он только пришел в лабораторию, по своим знаниям он сильно отставал от остальных студентов и аспирантов – быть может, отставал на годы, казалось Хинтону, – но он наверстал отставание за несколько недель. Хинтон приходил к нему как к единственному своему ученику, у которого было больше хороших идей, чем у него самого, и Суцкевер – темноволосый, всегда коротко стриженный и вечно казавшийся хмурым, даже если хмуриться не было причин, – извергал эти идеи с почти маниакальной энергией. Когда ему в голову приходили действительно великие идеи, он отмечал эти моменты отжиманиями на руках посреди квартиры в Торонто, которую снимал на пару с Джорджем Далем. «Успех гарантирован», – говорил он в таких случаях. В 2010 году он прочитал статью, написанную сотрудниками швейцарской лаборатории Юргена Шмидхубера, и стал всех убеждать, что нейронные сети способны решить проблему компьютерного зрения – нужно лишь, чтобы кто-то выполнил необходимую для этого работу.

Хинтон и Суцкевер – люди идеи – теоретически понимали, каким образом нейронные сети могли бы одержать победу в конкурсе ImageNet, но для практического осуществления этого им было не обойтись без Крижевского с его навыками программирования. Крижевский даже не слышал о конкурсе ImageNet, пока Суцкевер не рассказал ему об этом, и, когда он узнал, какой у них план, это не вызвало у него такого же энтузиазма. Суцкевер неделями «массировал» данные, чтобы с ними было легче работать, а Хинтон в это время объяснял Крижевскому, что за каждый процент повышения производительности нейронной сети, он будет получать дополнительную неделю отсрочки по курсовому проекту, который ему давно было пора сдать. («Это была шутка», – говорит Крижевский. «Может, он и думал, что это шутка, но я не шутил», – говорит Хинтон.)

Крижевский, который все еще жил с родителями, занимался обучением нейронной сети из дома. Неделю за неделей он добивался все большей производительности от двух графических процессоров, которыми был оборудован компьютер, стоявший в его спальне, и это означало, что он мог тренировать свою нейронную сеть на все большем количестве входящих данных. Университету Торонто даже за электричество не приходилось платить, как любил повторять Хинтон. Каждую неделю Крижевский начинал новый раунд обучения и мог наблюдать за процессом, глядя на черный экран с непрерывно возрастающими белыми цифрами. В конце недели он проверял систему на новом наборе изображений. Поставленной цели достичь не удавалось, он вносил изменения в кодировку видеокарт, регулировал весовые характеристики нейронов и приступал к новому этапу обучения, продолжавшемуся всю следующую неделю. Потом еще. И еще. Кроме того, каждую неделю Хинтон собирал студентов в своей лаборатории. Это было похоже на собрание квакеров. Люди просто сидели там, пока кто-нибудь не выражал желание высказаться, поделиться, над чем он работает и какой прогресс достигнут. Крижевский заговаривал редко. Но когда Хинтону удавалось-таки вытянуть из него что-то, атмосфера в комнате сразу же заряжалась. «Он каждую неделю пытался выжать из Алекса Крижевского хоть какую-то информацию, – вспоминает Алекс Грейвс, еще один сотрудник лаборатории в те годы. – Он-то знал, насколько это было важно». К осени нейронная сеть Крижевского по своей эффективности превзошла все существовавшие на тот момент технологии. Она работала почти вдвое точнее¹³⁷, чем лучшая из конкурирующих систем. И она победила в конкурсе ImageNet.

После этого Крижевский, Суцкевер и Хинтон опубликовали статью, где рассказали о своей системе (позже получившей название AlexNet), а в конце октября Крижевский представил ее на конференции по компьютерному зрению во Флоренции. Обращаясь к аудитории, в которой собралось более ста исследователей, он рассказал о проекте – как всегда, тихим, почти извиняющимся тоном. Когда он закончил, началась бурная дискуссия. Поднявшись со своего места, профессор из Беркли Алексей Эфрос заявил, что конкурс ImageNet нельзя считать надежным испытанием технологии компьютерного зрения. «Это совсем не то, что реальный мир», – сказал он. Если системе AlexNet показать сотни фотографий футболок, она, возможно, научится идентифицировать эти футболки, – стал развивать Эфрос свою мысль, – но речь идет о футболках, которые аккуратно, без единой морщинки, разложены на столах, а не о тех реальных футболках, которые носят на себе реальные люди. «Возможно, вы научитесь узнавать эти футболки в каталоге Amazon, но это не поможет обнаруживать настоящие футболки». Его коллега из Беркли Джитендра Малик, который обещал Хинтону, что изменит свое мнение о глубоком обучении, если нейронная сеть выиграет конкурс ImageNet, сказал, что он впечатлен, но воздержится от суждений, пока технология не будет применена к другим наборам данных. У Крижевского не было никаких шансов защитить свою работу. Эту роль взял на себя Ян Лекун, который заявил, что наступил поворотный момент в истории компьютерного зрения. «Эта система является доказательством», – сказал он громким голосом из глубины зала.

Он был прав. И после многих лет скептицизма по поводу будущего нейронных сетей он имел все основания торжествовать. Для победы в конкурсе ImageNet Хинтон и его ученики использовали модифицированную версию сверточной нейронной сети, созданной Лекуном в конце 1980-х. Но для некоторых студентов и аспирантов в лаборатории Лекуна это событие было также и поводом для разочарования. После того как Хинтон и его ученики опубликовали статью об AlexNet, студенты Лекуна чувствовали себя обойденными; после тридцатилетней гонки с препятствиями они как будто споткнулись на последнем барьере, и это ввергло их в уныние. «Студенты из Торонто оказались расторопнее нью-йоркских студентов», – сказал Лекун Эфросу и Малику, когда они обсуждали статью позже тем же вечером.

В последующие годы Хинтон сравнивал историю глубокого обучения с теорией дрейфа материков. Альфред Вегенер впервые предложил¹³⁸ эту идею в 1912 году, и на протяжении десятилетий она отвергалась геологическим сообществом – отчасти потому, что сам Вегенер не был геологом. «У него были доказательства, но он был климатологом. Он был “не один из нас”. Над ним смеялись, – говорил Хинтон. – То же самое было и с нейронными сетями». Существовало множество доказательств того, что нейронные сети могут успешно решать самые разнообразные задачи, но их игнорировали. «Слишком трудно было поверить в то, что, если вы начинаете со случайных весовых коэффициентов, вводите большое количество данных и следуете градиенту, можно получить такой замечательный результат. Забудьте и думать про это. Не принимайте желаемое за действительное».

В конце концов правда Альфреда Вегенера восторжествовала, но сам он не дожил¹³⁹ до этого момента. Он погиб во время экспедиции¹⁴⁰ в Гренландию. В области глубокого обучения первопроходцем, который не дожил до этого момента торжества, был Дэвид Румельхарт. В 1990-х годах у него развилась болезнь Пика¹⁴¹, нейродегенеративное заболевание, приводящее к разрушению и атрофии мозга. Еще до того, как ему поставили диагноз, он развелся с женой после долгого и счастливого брака и оставил научную работу. Впоследствии он переехал в Мичиган¹⁴², к брату, который заботился о нем, и умер в 2011 году, за год до триумфа AlexNet. «Если бы он был жив, – говорит Хинтон, – именно он был бы главной фигурой». Статья об AlexNet стала одной из самых влиятельных в истории компьютерных наук; она цитировалась другими учеными более шестидесяти тысяч раз. Хинтон любит повторять, что его статью цитируют на пятьдесят девять тысяч раз чаще, чем любую из статей, когда-либо написанных его отцом. «Но кто это считает?» – добавляет он. Система AlexNet стала поворотной не только для глубокого обучения, но и для мировой IT-индустрии в целом. Она показала, что нейронные сети способны преуспеть во многих областях – а не только в распознавании речи – и что графические процессоры являются очень важным фактором этого успеха. Это изменило рынок не только программного, но и аппаратного обеспечения. Генеральный директор компании Baidu Робин Ли осознал важность этого, когда ему это все разъяснил Кай Юй, занимавшийся темой глубокого обучения. Изменила свое отношение к нейронным сетям и компания Microsoft, после того как Ли Дэн заручился поддержкой исполнительного вице-президента Ци Лу. То же самое можно сказать и про Google.

Именно в этот поворотный момент Хинтон вместе с двумя своими аспирантами создал компанию DNNresearch, которую в декабре того же года они продали за 44 миллиона долларов на аукционе, организованном в отеле на озере Тахо. Планировалось, что они втроем разделят вырученные деньги поровну. Но когда пришло время делить выручку, аспиранты сказали Хинтону, что он заслуживает большей доли: 40 процентов. «Это слишком большая жертва с вашей стороны, – сказал он им. – Не будем спешить, а пойдем лучше спать. Утро вечера мудренее».

Но утром они продолжали настаивать на том, что он должен взять себе большую долю. «Это говорит о том, что они за люди, – говорит Хинтон. – Но это не говорит о том, что за человек я».

Он пытается отшучиваться, но деньги берет. Но он никому не рассказывает о том, что свою долю из этих 44 миллионов долларов он намерен вложить в трастовый фонд для своего сына Томаса, который в свои двадцать три года – и со своими «особыми потребностями» – продолжал жить с Хинтоном и которому рано или поздно потребуется собственный источник дохода. Больше того, Хинтон и компанию-то решил создать в первую очередь ради того, чтобы обеспечить будущее своего сына.