Текст книги "Код креативности. Как искусственный интеллект учится писать, рисовать и думать"

Чтобы оценить силу этих алгоритмов, можно загрузить какое-нибудь изображение на сайт Google Vision по адресу https://cloud.google.com/vision. В прошлом году я загрузил туда изображение нашей рождественской елки, и алгоритм определил с вероятностью 97 %, что ему показывают именно изображение рождественской елки. Может показаться, что в этом нет ничего особенно потрясающего, но на самом деле такой результат впечатляет. Однако эти алгоритмы не безошибочны. После первоначальных восторгов у них обнаружились и отрезвляющие недостатки. Взять, например, алгоритмы, которые британская Служба столичной полиции сейчас обучает находить в Сети порнографические изображения с участием детей. В данный момент их очень сильно сбивают с толку изображения пустынь.

«Иногда он выдает картинку с пустыней и считает, что это непристойное или порнографическое изображение, – признал в недавнем интервью Марк Стоукс, руководитель отдела цифровой и электронной криминалистики. – Почему-то многие используют изображения пустыни в качестве экранной заставки, и алгоритм отмечает такие картинки, принимая цвет песка за цвет кожи». К тому же очертания дюн, по-видимому, соответствуют формам, которые алгоритм принимает за изгибы частей тела.

Мы видели множество ярких демонстраций самых затейливых способов, которыми можно обмануть компьютерное зрение, внушив алгоритму, что он видит нечто, чего на самом деле нет. Независимая группа LabSix, работающая в области исследований искусственного интеллекта и состоящая из выпускников и старшекурсников Массачусетского технологического института, сумела запутать алгоритмы распознавания визуальных образов так, что они приняли трехмерную модель черепахи за винтовку. Результат оставался неизменным, под каким бы углом ни держали черепаху – ее даже можно было поместить в среду, в которой ожидалось найти черепах, а не оружие.

Алгоритм обманули следующим образом: поверх черепахи наложили изображение, которое кажется человеческому глазу рисунком панциря и кожи черепахи, но на самом деле было хитрым образом построено на основе изображений винтовок. Изображение винтовки постепенно и многократно изменялось до тех пор, пока не стало неразличимым для человека. Однако компьютер по-прежнему извлекает из него информацию о винтовке, даже после ее искажения, а она имеет в его системе распознавания объектов более высокий приоритет, чем информация о черепахе, поверх которой она была нанесена. Алгоритмы также удавалось ввести в заблуждение так, чтобы они приняли изображение кошки за тарелку гуакамоле, но достижение LabSix состоит в том, что в работе этой группы алгоритм был уверен, что ему показывают винтовку, независимо от того, под каким углом поворачивали черепаху.

Та же группа продемонстрировала, что изображение собаки, постепенно преобразующейся, пиксель за пикселем, в пару лыжников на склоне, по-прежнему распознается как собака, даже когда собака полностью исчезает с экрана. Этот результат был тем более замечательным, что алгоритм, использованный в этой работе, был для хакеров абсолютным черным ящиком. Они не знали, как именно расшифровывается изображение, и тем не менее сумели обмануть алгоритм.

Исследователи из компании Google зашли на один шаг дальше: они создали изображения, настолько интересные для алгоритма, что он не обращает никакого внимания на остальные части картинки. При этом использовалось то обстоятельство, что алгоритмы присваивают более высокий приоритет тем пикселям, которые они считают важными для классификации изображения. Если алгоритм пытается распознать лицо, он игнорирует пиксели, относящиеся к фону – небу, траве, деревьям и так далее. В Google создали психоделические цветовые пятна, которые полностью завладевают вниманием алгоритма: если в обычной ситуации он был способен распознать изображение банана, то при наличии подобного цветового пятна банан совершенно исчезает из поля его зрения. Пятна можно сделать так, чтобы они распознавались как изображения произвольных объектов – например, изображение тостера. Какое бы изображение ни показали алгоритму, если в нем есть такое пятно, алгоритм будет считать, что видит тостер. Этим он несколько похож на собаку, которую можно полностью отвлечь от чего угодно, показав ей мячик: из сознаваемого ею мира исчезает всё на свете, и она не видит ничего, кроме этого мячика, и не думает ни о чем другом. В большинстве предыдущих попыток взлома таких алгоритмов нужно было иметь какую-то информацию об изображении, которое алгоритм хотели заставить неправильно классифицировать, но эти вновь открытые пятна обладают тем преимуществом, что работают независимо от того, какое изображение они искажают.

Человека такие уловки не обманывают, но это не значит, что мы не подвержены аналогичным эффектам. Особенности работы нашего мозга используют фокусники: мы обычно отвлекаемся на какой-то один элемент в поле зрения и можем совершенно не замечать, что еще происходит в это же время. Классический пример этого эффекта дает знаменитый видеофильм с двумя командами, пасующими баскетбольные мячи. Если зрителей просят подсчитывать пасы, выполненные одной из команд, внимательно следя за перемещениями мяча, большинство совершенно не замечает человека в костюме обезьяны, который проходит между игроками, бьет себя в грудь, а затем уходит с площадки. Описанные хакерские атаки на компьютерное зрение просто выявляют слепые пятна алгоритмов – но таких слепых пятен полно и у человека.

Учитывая, что в управлении беспилотными автомобилями используются алгоритмы компьютерного зрения, возможность такой атаки явно представляет опасность. Представьте себе знак «Стоп», на который прикрепили наклейку с психоделическим пятном, или систему безопасности, управляемую алгоритмом, который совершенно не замечает пистолета, потому что считает, что это черепаха.

Я решил как следует испытать алгоритм Kinect и попытаться обмануть его, изгибая свое тело необычным образом, но это оказалось не так-то просто. Даже когда я принимал причудливые позы йоги, которые алгоритм не видел в своих тренировочных данных, ему все равно удавалось с высокой точностью идентифицировать части моего тела. Поскольку наши тела вряд ли могут делать что-нибудь принципиально новое, этот алгоритм по большей части заморожен и не будет развиваться дальше. Ему уже незачем изменяться, так как он уже хорошо делает то, для чего он создан. Но другим алгоритмам, возможно, придется продолжать приспосабливаться к новым представлениям и изменениям окружающего их мира. Алгоритмы, рекомендующие фильмы, которые нам, возможно, захочется посмотреть, книги, которые нам, возможно, захочется прочитать, музыку, которую нам, возможно, захочется послушать, должны быть достаточно расторопными, чтобы реагировать на изменения наших вкусов и на поток новых творческих произведений, порождаемых человеческим кодом.

Именно в этом аспекте и проявляется могущество алгоритма, способного продолжать учиться, изменяться и приспосабливаться к новым данным. Машинное обучение открыло перспективу появления алгоритмов, изменяющихся и взрослеющих так же, как люди.

6
Алгоритмическая эволюция

Знание основывается не только

на истине, но и на заблуждении[28]28
  Цит. по: Юнг К.Г. Фрейд и Юнг: разница во взглядах // Аналитическая психология и психотерапия: Хрестоматия. СПб.: Питер, 2001. С. 45.


[Закрыть].

Карл Юнг

Нынешние алгоритмы непрерывно учатся. В особенности это относится к рекомендательным алгоритмам, которым мы доверяем выбирать то, что мы смотрим, читаем и слушаем. Когда новый пользователь взаимодействует с таким алгоритмом, сообщая ему о своих предпочтениях, алгоритм получает новые данные для обучения, которое помогает уточнять рекомендации для следующих пользователей. Мне было интересно испытать один из таких алгоритмов, чтобы проверить, насколько хорошо он может узнать мои вкусы. Поэтому, когда я исследовал алгоритм Xbox для Kinect в лабораториях Microsoft в Кембридже, я зашел к одному коллеге, чтобы посмотреть вживую, как работает один из рекомендательных алгоритмов.

Мне был выведен графический интерфейс с названиями приблизительно двухсот фильмов, случайным образом разбросанными по экрану. Если какой-то из этих фильмов мне нравился, я должен был перенести его в правую половину экрана. Я нашел там несколько фильмов, которые посмотрел с удовольствием. Поскольку я большой поклонник Уэса Андерсона, я перенес вправо «Академию Рашмор»[29]29
  Rushmore, 1998.


[Закрыть]. Названия фильмов на экране тут же начали перемещаться. Некоторые сдвинулись вправо: это были фильмы, которые, как считал алгоритм, могли мне понравиться. Те фильмы, которые мне, возможно, не понравились бы, сдвинулись влево. По одному фильму многого не поймешь, так что большинство названий по-прежнему оставались в неопределенной зоне в середине экрана.

Я увидел один фильм, который терпеть не могу: меня ужасно раздражает Остин Пауэрс, поэтому я перенес этот фильм налево, в забракованные. Это дало программе новую информацию, и фильмы снова стали сдвигаться влево и вправо, что свидетельствовало о большей уверенности алгоритма. Теперь он предположил, что мне может нравиться «Манхэттен»[30]30
  Manhattan, 1979.


[Закрыть] Вуди Аллена. Я подтвердил это предположение, что не вызвало больших изменений в рекомендациях. Но тут я увидел, что алгоритм считает меня поклонником фильма «Это – Spinal Tap»[31]31
  This is Spinal Tap, 1984.


[Закрыть]. Этот фильм сместился довольно далеко вправо. Но я терпеть не могу «Spinal Tap», поэтому перенес его с правой половины экрана влево, в забракованные.

Поскольку алгоритм считал, что мне должен нравиться «Spinal Tap», мое сообщение о том, что это не так, дало ему много полезной информации. С учетом новых данных расположение фильмов на экране радикально изменилось. Но затем произошло и менее заметное изменение, касающееся основной программы, управляющей алгоритмом. Из данных, которые я ей дал, она узнала нечто новое. Эти новые сведения внесли очень небольшие изменения в параметры модели, вырабатывающей рекомендации. Заданная в ней вероятность того, что мне нравится «Spinal Tap», была сочтена слишком высокой, и параметры были изменены так, чтобы уменьшить эту вероятность. По опыту взаимодействия с другими любителями Уэса Андерсона и «Манхэттена» программа знала, что многие из них любят и этот фильм, но теперь она выяснила, что это правило действует далеко не всегда.

Именно таким образом наше взаимодействие с динамическими алгоритмами позволяет машине продолжать обучаться и приспосабливаться к нашим симпатиям и антипатиям. Теперь такого рода алгоритмы определяют многое из того, что мы выбираем в своей жизни, – от фильмов до музыки, от книг до потенциальных партнеров.

«Если вам нравится это…»

Основная идея алгоритма, рекомендующего фильмы, очень проста. Если вам нравятся фильмы А, В и С, а другой пользователь также перечисляет их в списке своих любимых фильмов, но ему к тому же нравится и фильм D, то велика вероятность, что фильм D понравится и вам. Разумеется, данные гораздо сложнее этого примитивного подбора. Возможно, фильмы А, В и С нравятся вам тем, что в них играет определенный актер, которого нет в фильме D, а второму пользователю – тем, что все они про шпионов.

Алгоритм должен уметь рассмотреть данные и понять, почему именно вам нравятся определенные фильмы. Затем он подбирает других пользователей, которые тоже выбрали те характеристики, которые нравятся вам. Как и во многих других случаях машинного обучения, начинать нужно с хорошего набора исходных данных. Один из важных компонентов машинного обучения состоит в том, что необходимо участие людей для классификации данных, чтобы компьютеры знали, что именно за информацию они рассматривают. Такая операция организации данных обеспечивает предварительную подготовку рабочей области, в которой алгоритм может затем выявить фундаментальные закономерности.

В случае с базой данных кинофильмов можно попросить кого-нибудь просмотреть ее и выбрать ключевые характеристики – например, отобрать романтические комедии или научно-фантастические фильмы или, скажем, фильмы определенных режиссеров или с определенными актерами. Но такого рода организация далеко не идеальна. Она отнимает много времени. Она может отражать личные пристрастия тех, кто занимается классификацией, и в результате может научить компьютер тому, что мы и так уже знаем, а не выявить новые скрытые тенденции. Она может привести к тому, что алгоритм усвоит взгляд на данные, присущий определенным людям. Лучше всего учить алгоритм распознавать и выявлять закономерности на совершенно сырых, необработанных данных.

Именно этого пыталась добиться компания Netflix, объявившая в 2006 году соревнование под названием Netflix Prize. Она разработала свой собственный алгоритм для предложения пользователям фильмов, которые должны им понравиться, но считала, что состязание может стимулировать изобретение более совершенных алгоритмов. К этому моменту у Netflix имелось огромное количество данных, полученных от пользователей, которые смотрели фильмы и выставляли им оценки от 1 до 5. Компания решила опубликовать 100 480 507 оценок 17 770 фильмов, поставленных 480 189 анонимными пользователями. Задача усложнялась тем, что названия этих 17 770 фильмов не разглашались. Каждый фильм был обозначен только номером. Узнать, какой фильм скрывается под номером 2666 – «Бегущий по лезвию»[32]32
  Bladerunner, 1981.


[Закрыть] или «Энни Холл»[33]33
  Annie Hall, 1977 – еще один фильм Вуди Аллена.


[Закрыть], – было невозможно. Доступ был открыт только к оценкам, которые поставили ему любые из 480 189 пользователей, если они вообще его оценивали.

Помимо 100 млн опубликованных оценок у Netflix осталась еще 2 817 131 оценка, державшаяся в секрете. Задачей участников состязания было создать алгоритм, который сумел бы предсказать эту 2 817 131 рекомендацию на 10 % точнее, чем собственный алгоритм Netflix. Исходя из показанных ему данных, алгоритм должен был суметь угадать, как пользователь номер 234 654 оценил фильм номер 2666. Чтобы сделать соревнование более острым, первой команде, алгоритм которой опередит алгоритм Netflix на 10 %, был обещан приз 1 000 000 долларов. Хитрость заключалась в том, что победитель был обязан опубликовать свой алгоритм и предоставить Netflix неисключительное право на его использование для выработки рекомендаций фильмов клиентам компании.

По пути к миллионному призу присуждалось несколько призов за продвижение к цели. Каждый год команда, добившаяся на этот момент самых лучших результатов, получала приз 50 000 долларов при условии, что она обошла прошлогоднего лауреата этого приза по меньшей мере на 1 %. Чтобы получить этот приз, участники также должны были обнародовать код, который они использовали в работе своего алгоритма.

Можно подумать, что эта задача была почти невыполнимой, раз нельзя было узнать даже, какого жанра фильм скрывается под номером 2666 – фантастика или романтическая комедия. Однако необработанные данные могут рассказать о себе поразительно много. Представим каждого пользователя точкой в 17 770-мерном пространстве, в котором каждое измерение соответствует какому-то одному фильму, а положение точки в каждом из измерений соответствует оценке, которую пользователь поставил этому фильму. Конечно, если вы не математик, представление пользователей точками в пространстве с 17 770 измерениями кажется задачей несколько непомерной. Но на самом деле это просто расширение графического представления пользователей, которое вы использовали бы, если бы речь шла об оценках всего лишь трех фильмов. Предположим, фильм № 1 – это «Король Лев», фильм № 2 – «Сияние», а фильм № 3 – «Манхэттен». Если некий пользователь поставил этим фильмам, соответственно, одну звезду, четыре звезды и пять звезд, мы легко можем представить этого пользователя точкой с координатами (1,4,5) в трехмерной координатной сетке, в которой по оси х отложены оценки фильма № 1, по оси у – оценки фильма № 2, а по оси z – оценки фильма № 3.

Хотя мы не можем изобразить 17 770-мерное пространство на графике, существуют математические методы, позволяющие представлять положение точек в таком пространстве. Точно так же фильм можно представить точкой в 480 189-мер-ном пространстве, в котором положение фильма в измерении, соответствующем каждому пользователю, соответствует оценке, которую этот пользователь поставил этому фильму. В первый момент трудно увидеть в таких точках, разбросанных по пространствам со столь огромным числом измерений, какие-либо закономерности. Нужно, чтобы алгоритм сообразил, существуют ли способы сжать эти пространства с точками до гораздо меньшего количества измерений, так, чтобы начали проявляться закономерности.

Чем-то это похоже на разные тени, которые отбрасывает голова человека. По некоторым теням можно узнать об этом человеке гораздо больше, чем по другим. Например, профиль Хичкока очень легко узнаваем, а тень, которая получается, если направить в лицо луч фонарика, дает мало информации. Идея заключается в том, что фильмы и пользователи подобны точкам лица. В тени, отбрасываемой под одним углом, все эти точки могут выстроиться в линию, а под другим углом никакой структуры не увидишь.

Может быть, можно найти способ получения такой двумерной тени этих многомерных пространств пользователей и фильмов, в которой отображения пользователей оказываются рядом с отображениями фильмов, нравящихся этим пользователям. Нужно только найти правильную тень, в которой будут видны основополагающие характеристики фильмов и пользователей. Ниже приведен пример такой тени, созданной на основе данных Netflix по 100 пользователям и 500 фильмам. Видно, что тень выбрана правильно, потому что две характеристики, которые она оценивает, по-видимому, выражаются весьма отчетливо. Это видно из того, что точки не разбросаны по всей плоскости. Тень выявляет в данных некую закономерность.

Если посмотреть на названия реальных фильмов, отображенных на графике, легко увидеть, что эта тень действительно отражает характеристики, которые мы посчитали бы ясными отличительными чертами фильма. В правом верхнем квадранте оказываются кинодрамы, а в левом нижнем – боевики.

Именно этот подход применила команда, которой в конце концов и достался в 2009 году приз Netflix. Ее члены решили попытаться выделить тень в 20 измерениях, соответствующих 20 независимым характеристикам фильмов, которые должны были помочь предсказывать, какие фильмы нравятся пользователям. Преимущество компьютера в том, что он может перебрать целый спектр разных теней и выбрать ту из них, которая лучше всего отражает структуру, чего наш мозг и наши глаза никак не могут сделать.

Интересно отметить, что некоторые из характеристик, которые выбрала эта модель, были вполне явными – например, выделение боевиков или кинодрам. Но другие были гораздо менее заметными и трудноопределимыми. Тем не менее компьютеру удалось найти в данных закономерность.

Как мне кажется, этим и интересны такие алгоритмы нового типа. Они могут сказать нам нечто новое о нас самих. В некотором смысле алгоритм глубокого обучения находит в нашем человеческом коде черты, которые мы пока что не умеем выразить словами. Как если бы мы не знали, что такое цвет, и не имели слов для различения красного и синего, но алгоритм, исходя из выражения наших симпатий и антипатий, распределял объекты, находящиеся перед нами, на две группы, соответствующие объектам синим и красным. Мы не можем внятно сказать, почему нам нравится тот или иной фильм, потому что это предпочтение определяется слишком большим числом параметров. Человеческий код, порождающий эти предпочтения, скрыт от нас. Компьютерный же код выявил характеристики, определяющие наши предпочтения, которые мы можем интуитивно ощущать, но не можем высказать.

26 июня 2009 года команда под названием BellKor’s Pragmatic Chaos предъявила результат, преодолевший 10 %-й порог: ее алгоритм показал улучшение на 10,05 %. Компания Netflix разделила засекреченные данные на две половины. Одна половина использовалась для оценки результатов команд. Другую придержали для выявления окончательного победителя. После преодоления 10 %-го порога другие команды получали еще месяц на улучшение своих результатов. 25 июля команда Ensemble представила алгоритм, добившийся улучшения на 10,09 %. На следующий день компания Netflix перестала принимать заявки. К этому моменту обе команды снова несколько усовершенствовали свои алгоритмы: BellKor’s Pragmatic Chaos дошла до 10,09 %, но Ensemble продвинулась еще чуть дальше – до 10,1 %. Приз должен был достаться команде, показавшей лучшие результаты на второй половине данных. В итоге результаты обеих команд оказались одинаковыми, но команда BellKor’s Pragmatic Chaos прислала свои на 20 минут раньше, и миллион долларов достался ей.

Учитывая успех своего первого соревнования, компания Netflix собиралась устроить второе, чтобы стимулировать появление еще более новаторских идей, но с этим возникла одна проблема. Данные должны были быть анонимными. Компания опубликовала на сайте соревнования следующий комментарий относительно конфиденциальности данных:

Вся информация, указывающая на личность пользователей, удалена; оставлены только оценки и даты. Это сделано в соответствии с нашими правилами конфиденциальности. Даже если, например, вы знаете все свои оценки и даты их выставления, вы, вероятно, не сможете с уверенностью распознать их в данных, потому что используется лишь малая выборка (менее одной десятой всего нашего массива данных) и в эти данные вносились искажения. Но, разумеется, поскольку вы и так знаете все свои собственные оценки, в этом на самом деле не было бы нарушения конфиденциальности, не правда ли?

Два исследователя из Техасского университета в Остине взяли эти данные и, сопоставив их с пользователями, оценивающими фильмы на другом сайте, Internet Movie Database, определили личности некоторых из этих пользователей.

17 декабря 2009 года четверо пользователей подали на Netflix в суд, утверждая, что обнародованием этих данных компания нарушила закон о защите конфиденциальности видеоинформации. Одна из пользователей утверждала, что она – мать семейства и лесбиянка, держащая свою ориентацию в секрете, который раскрывают данные о ее кинематографических предпочтениях. То обстоятельство, что по кинематографическим предпочтениям можно догадаться о сексуальной ориентации или политических пристрастиях человека, стали называть фактором «Горбатой горы»[34]34
  По названию фильма Brokeback Mountain (2005), считающегося первым в истории гей-вестерном.


[Закрыть]. Тяжба закончилась внесудебным соглашением сторон, но привела к отмене второго тура состязания Netflix.

Данные – это новая нефть, но мы расплескиваем ее по всему интернету. По мере того как мы вступаем в будущее, топливом которого будет эта нефть, вопросы о том, кому принадлежат данные и что с ними можно сделать, будут приобретать все большее общественное значение.

Как обучить алгоритм

Может показаться, что, когда алгоритм говорит вам, что вам может понравиться, в этом есть нечто пугающее – если это означает, что вы никогда не увидите того, что, по его мнению, вам не понравится. Мне лично очень нравится, когда мне предлагают музыку, которую я, возможно, иначе не нашел бы. Я очень легко вхожу в накатанную колею и слушаю по кругу одни и те же песни. Поэтому я всегда любил радио. Но алгоритмы, перемещающие меня вперед и назад по фонотеке, прекрасно справляются с поиском жемчужин, способных мне понравиться. Сначала меня беспокоило, что такие алгоритмы могут загнать всех в определенные разделы фонотеки, оставив остальные ее разделы совсем без слушателей. Могут ли они вызвать слияние вкусов? Но, так как математика, лежащая в их основе, часто бывает нелинейной и хаотической, этого не происходит. Даже маленькое расхождение между моими предпочтениями и вашими способно развести нас в фонотеке в совершенно разных направлениях.

Я слушаю много музыки, которую рекомендует мой алгоритм, на пробежках. Это отличное место для исследования нового. Но несколько недель назад я совершил крупную ошибку. Жена попросила меня помочь в составлении музыкальной программы для празднования дня ее рождения. Она хотела танцев. Она хотела атмосферы восьмидесятых. Поэтому пару вечеров мы слушали то, что нравится ей. Я обычно выбираю другую музыку, но совместными усилиями мы составили отличную музыкальную программу, которая не дала никому из наших гостей усидеть на месте – все они танцевали. Проблемы начались, когда я вышел на первую после этого праздника пробежку. Мой алгоритм завел меня в раздел фонотеки, полный танцевальной музыки 1980-х. Я то и дело нажимал на бегу кнопку «Пропустить», но все равно никак не мог выбраться из этой ловушки. Чтобы вернуться в привычное состояние, мне потребовалось в течение нескольких недель переобучать свой алгоритм на произведениях Шостаковича и Мессиана.

Еще один аспект обучения того алгоритма, с которым мы взаимодействуем, касается спам-фильтров наших приложений электронной почты. Обучение начинается с тренировки на целой куче сообщений, часть которых помечены как спам, а остальные считаются доброкачественными. На этом этапе в их число не входят сообщения, адресованные именно вам. Алгоритм анализирует слова, появляющиеся в этих сообщениях, и начинает создавать профиль спама: 100 % сообщений, в которых встречалось слово «Виагра», были спамом; 99 % сообщений, в которых встречалось слово «рефинансирование», были спамом; 100 % сообщений, в которых встречалось сочетание «аппетитные русские», были спамом. Труднее разобраться со словом «диабет». По-видимому, по электронной почте рассылается множество спама с рекламой лечения от диабета, но это же слово встречается и в некоторых доброкачественных почтовых сообщениях. Алгоритм просто подсчитывает соотношение тех и других случаев в своих тренировочных данных. Скажем, если одно из двадцати сообщений, содержащих слово «диабет», оказывается доброкачественным, алгоритм будет считать, что это слово является признаком спама с вероятностью 95 %.

В фильтре электронной почты можно установить разные уровни фильтрации. Можно сказать ему, что сообщения следует отправлять в папку нежелательной почты, только если он на 95 % уверен, что это спам. Но тут и начинается самое интересное. Алгоритм обучался на наборе обезличенных сообщений, но ваши действия учат его распознавать то, что интересует именно вас. Он учится реагировать на сообщения именно такого типа, какой получаете вы. Предположим, например, что вы действительно больны диабетом. Сначала все сообщения со словом «диабет» будут отбраковываться. Но постепенно, по мере того как вы будете помечать все большее число сообщений со словом «диабет» как доброкачественные, алгоритм перенастроит свою калибровку вероятности, пока она не снизится до уровня гораздо более низкого, чем 95 %, и такие сообщения не станут поступать в папку «Входящие».

Устройство этих алгоритмов таково, что они начинают замечать другие ключевые слова, по которым связанный с диабетом спам можно отличить от нормальных сообщений. Например, наличие в письме слова «исцеление» вполне может быть признаком фальшивки. Машинное обучение заставляет алгоритм просматривать все входящие сообщения в поисках закономерностей и связей, в результате чего в конце концов получается индивидуализированный алгоритм, приспособленный именно к вашему личному образу жизни.

Корректировка вероятностей лежит и в основе работы беспилотных автомобилей. По сути дела, речь идет всего лишь о более замысловатом варианте управления ракеткой в игре Breakout. Руль поворачивается вправо либо влево в зависимости от пиксельных данных, которые машина получает в тот или иной момент. Интересно, что происходит из-за этого с моим счетом – растет он или уменьшается?

Искажения и слепые пятна

В том, как рекомендательный алгоритм Netflix сумел обнаружить в фильмах характеристики, которые людям трудно было бы сформулировать, есть нечто сверхъестественное. Эта история явно опровергает мнение Лавлейс, что возможности машины всегда будут ограничены идеями человека, который ее программирует. Сегодня алгоритмы обладают способностями, которых у нас нет: они могут оценивать огромные массивы данных и разбираться в них.

Это эволюционный недостаток человеческого мозга. Именно поэтому мозг не очень хорошо умеет оценивать вероятности. Вероятностная интуиция требует понимания тенденций в многократно повторенных опытах. Проблема в том, что нам не приходится переживать такого большого числа повторений одного и того же опыта и мы не можем развить в себе такую интуицию. В некотором смысле человеческий код сформировался именно для того, чтобы компенсировать низкий уровень нашего взаимодействия с данными. Поэтому вполне возможно, что благодаря машинному обучению мы в конце концов получим коды, дополняющие наш собственный, а не повторяющие его.

Вероятность играет ключевую роль во многих аспектах машинного обучения. Многие из алгоритмов, о которых мы говорили в главе 4, были реализованы детерминистским образом. Человек понимал, как устроена та или иная задача, и программировал компьютер, который затем с рабской покорностью исполнял все те трюки, на исполнение которых он был запрограммирован. Это было похоже на ньютоновское мировоззрение, в котором Вселенная управляется математическими уравнениями и задача ученого состоит в открытии этих правил и предсказании будущего на их основе.

Физика XX века выяснила, что Вселенная вовсе не так детерминистична, как нам казалось вначале. Квантовая физика показала, что Природа играет в кости. Результаты определяются вероятностями, а не часовым механизмом. Именно это господство вероятности и придало алгоритмам такую силу. Возможно, с этим же связано и то, что люди, обучавшиеся физике, по-видимому, ориентируются в нашем новом алгоритмическом мире лучше нас, математиков. Речь идет о соревновании рационалистов с эмпириками, и, к несчастью для меня, эмпирики одерживают в нем верх.

Как машина научилась играть в Breakout на приставке Atari, если ей даже не объяснили правил игры? В ее распоряжении были только данные о пикселях на экране, счет и ракетка, которую можно двигать влево или вправо. Алгоритм был запрограммирован на вычисление воздействия смещения ракетки влево или вправо на счет с учетом текущего состояния экрана. Поскольку последствия хода могут проявиться лишь через несколько секунд после него, нужно было вычислять отложенное воздействие. Это весьма непростая задача, потому что не всегда ясно, что именно вызвало тот или иной эффект. В этом состоит один из недостатков машинного обучения: иногда оно замечает корреляцию и принимает ее за причинно-следственную связь. Тем же недостатком страдают животные.

Довольно красивая иллюстрация этого утверждения была получена в эксперименте, продемонстрировавшем, что голуби суеверны. Исследователи производили видеозапись поведения нескольких голубей, сидевших в клетках; в определенные моменты дня в их клетки ставили кормушки. Дверцы кормушек открывались с задержкой, так что голубям, взволнованным появлением кормушки, тем не менее приходилось дожидаться, пока они смогут добраться до пищи. При этом было сделано следующее поразительное открытие: какие бы случайные действия ни производили голуби непосредственно перед открытием дверцы кормушки, они повторяли их на следующий день. Голубь увидел, что дверца закрыта. Он повернулся на месте два раза, и дверца открылась. Тогда он (ошибочно) заключил, что причиной открытия дверцы было его кручение на месте. Поскольку он очень стремился получить свою награду, в следующий раз, когда кормушка появилась в его клетке, он на всякий случай повторил свои повороты дважды.