Текст книги "Совместимость. Как контролировать искусственный интеллект"

Байесовы сети и Байесова логика названы в честь преподобного Томаса Байеса, британского священника, наследие которого для современной мысли, ныне известное как теорема Байеса, было опубликовано в 1763 г., вскоре после его смерти, его другом Ричардом Прайсом[71]71
  Источник теоремы Байеса: Thomas Bayes and Richard Price, “An essay towards solving a problem in the doctrine of chances,” Philosophical Transactions of the Royal Society of London 53 (1763): 370–418.


[Закрыть]. В своем современном виде, предложенном Лапласом, теорема очень простым способом описывает то, как априорная вероятность – первоначальная степень уверенности в системе возможных гипотез – становится апостериорной вероятностью в результате наблюдения некоторых подтверждающих свидетельств. По мере появления новых свидетельств апостериорность становится новой априорностью, и процесс Байесова обновления повторяется бесконечно. Это фундаментальный процесс, и современное понятие рациональности как максимизации ожидаемой полезности иногда называют Байесовой рациональностью. Предполагается, что рациональный агент имеет доступ к распределению апостериорной вероятности в возможных текущих состояниях мира, а также в гипотезах о будущем с опорой на весь свой прошлый опыт.

Специалисты в области исследования операций, теории управления и ИИ также разработали разнообразные алгоритмы принятия решений в условиях неопределенности, часть которых восходит к 1950-м гг. Эти так называемые алгоритмы «динамического программирования» являются вероятностными родственниками опережающего поиска и планирования и могут генерировать оптимальное или близкое к оптимальному поведение в отношении всевозможных практических задач в финансах, логистике, транспорте и т. д., в которых неопределенность играет существенную роль^В. Задача состоит в том, чтобы ввести их в машины в форме функции вознаграждения, а на выходе получить политику, определяемую как действие в каждом возможном состоянии, в которое агент может себя ввести.

В случае таких сложных задач, как нарды и го, где число состояний колоссально, а вознаграждение появляется лишь в конце игры, опережающий поиск не работает. Вместо него исследователи ИИ разработали метод так называемого обучения с подкреплением. Алгоритмы обучения с подкреплением учатся на непосредственном опыте получения вознаграждающих сигналов из среды, во многом так же, как младенец учится стоять, получая позитивное вознаграждение за нахождение в вертикальном положении и негативное за падение. Как и в отношении алгоритмов динамического программирования, задачей, вводимой в алгоритм обучения с подкреплением, является функция вознаграждения, и алгоритм изучает оценочный модуль ценности состояний (иногда ценности действий). Оценочный модуль может сочетаться с относительно неточным предварительным поиском для генерирования высококомпетентного поведения.

Первой успешной системой обучения с подкреплением являлась шахматная программа Артура Самуэля, ставшая сенсацией после демонстрации по телевидению в 1956 г. Программа училась фактически с нуля, играя сама с собой и отмечая вознаграждения за победы, а также оценивая свои поражения[72]72
  Строго говоря, программа Самуэля не рассматривает выигрыш и проигрыш как абсолютные вознаграждения; однако, фиксируя стоимость материала как положительную, программа в общем склонна действовать на достижение победы.


[Закрыть]. В 1992 г. Джерри Тезауро применил ту же идею к нардам, достигнув игры уровня чемпиона мира после 1 500 000 матчей[73]73
  Применение обучения с подкреплением для создания программы, играющей в нарды на мировом уровне: Gerald Tesauro, “Temporal difference learning and TD-Gammon,” Communications of the ACM 38 (1995): 58–68.


[Закрыть]. С 2016 г. AlphaGo команды DeepMind и ее наследницы применяли обучение с подкреплением и игру с собой, чтобы научиться побеждать лучших игроков в го, шахматы и сёги.

Алгоритмы обучения с подкреплением могут также научиться выбирать действия на основе восприятия первичных входных данных. Например, разработанная DeepMind система DQN научилась совершенно с нуля играть в 49 видеоигр Atari, в том числе Pong, Freeway и Space Invaders[74]74
  Система DQN, которая учится играть в широкий спектр видеоигр с использованием глубокого обучения с подкреплением: Volodymyr Mnih et al., “ Human-level control through deep reinforcement learning,” Nature 518 (2015): 529–33.


[Закрыть]. Она пользовалась только пикселями экрана в качестве входных данных и счетом в игре в качестве вознаграждения. В большинстве игр DQN научилась играть лучше профессиональных игроков, несмотря на то что не имела предшествующего понимания времени, пространства, объектов, движения, скорости или стрельбы. Довольно трудно выяснить, что же в действительности делает DQN, помимо того, что она выигрывает.

Если бы новорожденный научился играть в десятки видеоигр на сверхчеловеческом уровне в первый день жизни или стал чемпионом мира по го, шахматам и сёги, мы заподозрили бы бесовскую одержимость или инопланетное вмешательство. Вспомним, однако, что все эти задачи намного проще реального мира: они полностью наблюдаемы, предполагают короткие временные горизонты, имеют относительно мало статичных пространств и простые предсказуемые правила. Отмена любого из этих условий означает, что стандартные методы не сработают.

Напротив, сегодняшние исследования нацелены именно на выход за рамки стандартных методов, чтобы системы ИИ могли действовать в более широких классах среды. В тот день, когда я писал предыдущий абзац, например, OpenAI объявила, что ее команда из пяти программ ИИ научилась обыгрывать команды опытных игроков в Dota 2. (Для непосвященных, к которым отношусь и я: Dota 2 – обновленная версия «Обороны древних», стратегия в реальном времени из семейства игр Warcraft. На сегодняшний день это самый доходный и конкурентный киберспорт с призами в миллионы долларов.) Dota 2 предполагает коммуникацию, работу в команде и неограниченные время и пространство. Игры длятся десятки тысяч временных шагов, и определенный уровень иерархической организации поведения представляется принципиально важным. Билл Гейтс описал эту новость как «колоссальную веху в создании искусственного интеллекта»[75]75
  Высказывания Билла Гейтса об ИИ Dota 2: Catherine Clifford, “Bill Gates says gamer bots from Elon Musk-backed nonprofit are ‘huge milestone’ in A. I.,” CNBC, June 28, 2018.


[Закрыть]. Через несколько месяцев обновленная версия программы победила команду лучших в мире профессиональных игроков в Dota 2[76]76
  Отчет о победе OpenAI Five над людьми – чемпионами мира по Dota 2: Kelsey Piper, “AI triumphs against the world’s top pro team in strategy game Dota 2,” Vox, April 13, 2019.


[Закрыть].

Такие игры, как го и Dota 2, являются отличным способом протестировать методы обучения с подкреплением, поскольку функция вознаграждения заложена в правила игры. Однако реальный мир не столь удобен, и в десятках случаев ошибочное определение вознаграждения ведет к странному и неожиданному поведению[77]77
  Собрание примеров из литературы, когда неверное определение функции вознаграждения приводило к неожиданному поведению: Victoria Krakovna, “Specification gaming examples in AI,” Deep Safety (blog), April 2, 2018.


[Закрыть]. Некоторые ошибки безвредны, например в случае системы эволюционного моделирования, которая должна была эволюционным путем создать быстро движущиеся существа, но на деле сотворила невероятно долговязые существа, которые быстро двигались за счет того, что падали[78]78
  Случай, когда функция эволюционной пригодности, определенная через максимальную скорость передвижения, привела к очень неожиданным результатам: Karl Sims, “Evolving virtual creatures,” in Proceedings of the 21st Annual Conference on Computer Graphics and Interactive Techniques (ACM, 1994).


[Закрыть]. Есть и менее безобидные ошибки, скажем, оптимизаторы переходов в социальных сетях, превращающие наш мир в кошмар.

Последняя категория агентов, которую я рассмотрю, является самой простой. Это программы, напрямую связывающие восприятие с действием без какого-либо промежуточного обдумывания или мыслительного процесса. В сфере ИИ программа такого типа называется рефлекторным агентом, что отсылает нас к нервным рефлексам нижнего уровня у человека и животных, не связанных мышлением[79]79
  Захватывающее знакомство с возможностями рефлекторных агентов: Valentino Braitenberg, Vehicles: Experiments in Synthetic Psychology (MIT Press, 1984).


[Закрыть]. Например, рефлекс моргания у человека соединяет выходные сигналы низкоуровневых цепей обработки данных зрительной системы непосредственно с двигательной зоной, управляющей веками, так что любая быстро появляющаяся область в поле зрения вызывает сильное моргание. Вы можете проверить это прямо сейчас: попробуйте ткнуть себя (не слишком сильно) пальцем в глаз. Эту рефлекторную систему можно рассматривать как простое «правило» в следующем виде:

if <быстро появляющаяся область в поле зрения> then <моргание>.

Мигательный рефлекс «не знает, что делает»: задача (защитить глазное яблоко от инородных предметов) нигде не представлена; знание (что быстро движущаяся область соответствует предмету, приближающемуся к глазу, и что предмет, приближающийся к глазу, может его повредить) также нигде не представлено. Поэтому, когда нерефлекторная часть вас хочет закапать лекарство в глаза, рефлекторная часть все равно моргает.

Другой всем известный рефлекс – экстренное торможение, когда впереди идущая машина неожиданно останавливается или на дорогу шагает пешеход. Быстро решить, нужно ли тормозить, нелегко: в 2018 г., после того как экспериментальный автомобиль на автопилоте убил пешехода, компания Uber объяснила, что «маневр экстренного торможения запрещен, когда транспортное средство находится под компьютерным управлением, во избежание возможного неуправляемого поведения транспортного средства»[80]80
  Газетная статья об аварии со смертельным исходом с участием автомобиля в режиме самоуправления, который сбил пешехода: Devin Coldewey, “Uber in fatal crash detected pedestrian but had emergency braking disabled,” TechCrunch, May 24, 2018.


[Закрыть]. Таким образом, задача разработчика очевидна – не убивать пешеходов, – но политика агента (если он активирован) некорректно ее реализует. Опять-таки задача в агенте не представлена: никакое автономное транспортное средство сегодня не знает, что людям не нравится, когда их убивают.

Рефлекторные действия участвуют и в таких более рутинных задачах, как соблюдение рядности: если автомобиль хотя бы минимально отклонится от идеального положения в ряду, простая система контроля с обратной связью может повернуть рулевое колесо в противоположном направлении и исправить отклонение. Величина поворота будет зависеть от того, насколько быстро машина смещается в сторону. Контрольные системы этого типа обычно разрабатываются так, чтобы минимизировать квадрат бокового отклонения, нарастающего со временем. Разработчик создает закон управления с обратной связью, по которому при определенных условиях в отношении скорости и кривизны дороги приближенно реализуется эта минимизация[81]81
  Об алгоритмах рулевого управления см., например: Jarrod Snider, “Automatic steering methods for autonomous automobile path tracking,” technical report CMU-RI-TR-09–08, Robotics Institute, Carnegie Mellon University, 2009.


[Закрыть]. Аналогичная система действует всякий раз, когда вы идете и затем останавливаетесь; если бы она прекратила работать, вы тут же упали бы. Как и в случае мигательного рефлекса, довольно трудно отключить этот механизм и позволить себе упасть.

Итак, рефлекторные агенты выполняют задачу разработчика, но не знают, в чем она заключается и почему они действуют определенным образом. Из этого следует, что они не могут в действительности принимать решения сами; кто-то другой, обычно разработчик или процесс биологической эволюции, должен все решить заранее. Очень трудно создать хорошего рефлекторного агента путем обычного программирования, за исключением очень простых задач наподобие игры в крестики-нолики или экстренного торможения. Даже в этих случаях рефлекторный агент крайне негибок и не может изменить свое поведение, если обстоятельства указывают, что реализуемая политика уже не годится.

Одним из способов создания более мощных рефлекторных агентов является процесс обучения на примерах^Г. Вместо того чтобы устанавливать правила поведения или задавать функцию вознаграждения либо цель, человек может дать примеры решения проблем и верное решение для каждого случая. Например, мы можем создать агента-переводчика с французского языка на английский, предоставив примеры предложений на французском языке с правильным переводом на английский. (К счастью, парламенты Канады и ЕС ежегодно создают миллионы таких примеров.) Затем алгоритм контролируемого обучения обрабатывает примеры и создает комплексное правило, которое берет любое предложение на французском языке в качестве входа и делает перевод на английский язык. Нынешний чемпион среди обучающихся алгоритмов машинного перевода является разновидностью так называемого глубокого обучения и создает правило в виде искусственной нейронной сети с сотнями слоев и миллионами параметров^Г. Другие алгоритмы глубокого обучения оказались очень хороши для классифицирования объектов в изображениях и распознавания слов в речевом сигнале. Машинный перевод, распознавание речи и визуальных объектов – три самые важные подобласти в сфере ИИ, поэтому перспективы глубокого обучения вызывают такой энтузиазм.

Можно почти бесконечно спорить о том, приведет ли глубокое обучение напрямую к ИИ человеческого уровня. По моему мнению, которое я прокомментирую в дальнейшем, оно далеко отстает от необходимого^Г, но пока давайте сосредоточимся на том, как эти методы вписываются в стандартную модель ИИ, в которой алгоритм оптимизирует фиксированную задачу. Для глубокого обучения, как и для любого контролируемого обучающегося алгоритма, «вводимая в машину задача» обычно состоит в максимизации предсказательной точности, или, что то же самое, минимизации ошибок. Это во многом кажется очевидным, но в действительности имеет два варианта понимания, в зависимости от того, какую роль выученное правило должно играть во всей системе. Первая роль – это восприятие: сеть обрабатывает сенсорный входной сигнал и выдает информацию остальной системе в форме вероятностных оценок воспринимаемого. Если это алгоритм распознавания объектов, он может сказать: «70 % вероятность, что это норфолкский терьер, 30 % вероятность, что это норвичский терьер»[82]82
  Норфолкский и норвичский терьеры – две категории из базы данных ImageNet. Они печально знамениты тем, что их трудно различить и до 1964 г. считались одной породой.


[Закрыть]. Остальная система решает, какое внешнее действие предпринять на основе этой информации. Такая задача, связанная с восприятием, беспроблемна в следующем смысле: даже «безопасная» сверхинтеллектуальная ИИ-система, в противоположность «небезопасной», основанной на стандартной модели, должна иметь как можно более точную и отлаженную систему восприятия.

Проблема возникает, когда мы переходим от восприятия к принятию решений. Например, обученная сеть распознавания объектов может автоматически присваивать подписи изображениям на сайте или в учетной записи в социальной сети. Присваивание подписей – это действие, имеющее последствия. Каждое такое действие требует принятия реального решения в плане классификации, и, если нет гарантий, что каждое решение совершенно, человек-разработчик должен задать функцию потерь, определяющую издержки неверного классифицирования объекта типа А как объект типа Б. Именно так у Google возникла приснопамятная проблема с гориллами. В 2015 г. разработчик ПО Джеки Алсине пожаловался в «Твиттер», что сервис аннотирования фотографий Google Photos обозначил его и его друга как горилл[83]83
  Глубоко прискорбный инцидент с аннотированием изображений: Daniel Howley, “Google Photos mislabels 2 black Americans as gorillas,” Yahoo Tech, June 29, 2015.


[Закрыть]. Хотя непонятно, как именно произошла эта ошибка, почти наверняка алгоритм машинного обучения Google был разработан под минимизацию фиксированной, строго определенной функции потерь – более того, он приписывал всем ошибкам одну и ту же стоимость. Иными словами, он предполагал, что стоимость ошибочного принятия человека за гориллу равна стоимости ошибочного принятия норфолкского терьера за норвичского. Очевидно, это неадекватная функция потери для Google (или владельцев компании), что продемонстрировала возникшая проблема в сфере отношений с общественностью.

Поскольку возможных подписей к изображениям тысячи, количество потенциальных издержек, связанных с ошибочным принятием одной категории за другую, исчисляется миллионами. Несмотря на все усилия, Google обнаружила, что очень трудно заранее задать все эти параметры. Вместо этого следовало признать неопределенность в отношении истинной стоимости ошибочной классификации и создать обучающийся и классифицирующий алгоритм с достаточной чувствительностью к издержкам и связанной с ними неопределенности. Такой алгоритм мог бы иногда спрашивать у разработчиков Google что-нибудь вроде: «Что хуже: ошибочно принять собаку за кошку или человека за животное?» Кроме того, при наличии существенной неопределенности в отношении стоимости ошибочной классификации алгоритм мог бы отказываться подписывать некоторые изображения.

К началу 2018 г. сообщалось, что Google Photos действительно отказывается классифицировать фотографию гориллы. Получив очень четкое изображение гориллы с двумя детенышами, сервис отвечает: «Гм-м… пока не вижу это достаточно ясно»[84]84
  Последующая статья о Google и гориллах: Tom Simonite, “When it comes to gorillas, Google Photos remains blind,” Wired, January 11, 2018.


[Закрыть].

Я не собираюсь утверждать, что адаптация стандартной модели ИИ была неудачным выбором на тот момент. Очень много сил вложено в разработку различных реализаций этой модели в логических, вероятностных и обучающихся системах. Многие системы стали весьма полезны, и, как мы увидим в следующей главе, нас ждут еще более значимые достижения. В то же время мы не можем больше полагаться на обычную практику высмеивания крупных промахов целевой функции. Все более интеллектуальные машины, оказывающие все более глобальное воздействие, не позволят нам этой роскоши.

3. Как может развиваться ИИ?

Ближайшее будущее

3 мая 1997 г. начался матч между Deep Blue, шахматным компьютером IBM, и Гарри Каспаровым, чемпионом мира и, вероятно, лучшим шахматистом в истории. Newsweek назвала матч «Последним рубежом человеческого мозга». 11 мая при промежуточной ничьей 2½−2½ Deep Blue обыграл Каспарова в финальной партии. СМИ неистовствали. Рыночная капитализация IBM мгновенно выросла на $18 млрд. По общему мнению, ИИ совершил колоссальный прорыв.

С точки зрения исследователей ИИ, этот матч никоим образом не был прорывом. Победа Deep Blue, какой бы впечатляющей она ни была, всего лишь продолжила тенденцию, наблюдающуюся несколько десятилетий. Базовую концепцию шахматных алгоритмов разработал в 1950 г. Клод Шеннон[85]85
  Базовый план игровых алгоритмов был разработан Клодом Шэнноном: Claude Shannon, “Programming a computer for playing chess,” Philosophical Magazine, 7th ser., 41 (1950): 256–75.


[Закрыть], основные усовершенствования были сделаны в начале 1960-х гг. После этого шахматный рейтинг лучших программ неуклонно рос главным образом благодаря появлению все более быстрых компьютеров, позволявших программам дальше заглядывать вперед. В 1994 г.[86]86
  См. илл. 5.12 кн.: Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach, 1st ed. (Prentice Hall, 1995). Обратите внимание, что рейтинг шахматистов и шахматных программ не точная наука. Наивысший коэффициент Эло Каспарова, полученный в 1999 г., составляет 2851, но современные шахматные программы, такие как Stockfish, имеют рейтинг 3300 и более.


[Закрыть] мы с Питером Норвигом составили численные рейтинги лучших шахматных программ начиная с 1965 г. по шкале, где рейтинг Каспарова составлял 2805. Рейтинги начинались от 1400 в 1965 г. и улучшались почти по идеальной прямой в течение 30 лет. Экстраполяция линии за 1994 г. предсказывала, что компьютеры смогут обыграть Каспарова в 1997 г., – что и случилось.

Итак, с точки зрения исследователей ИИ настоящие прорывы имели место за 30 или 40 лет до того, как Deep Blue захватил внимание общественности. Аналогично глубокие сверточные сети с полностью разработанным математическим аппаратом появились более чем за 20 лет до того, как попали на первые полосы.

Представление о прорывах в области ИИ, складывающееся у общественности из сообщений в СМИ, – ошеломляющие победы над людьми, роботы, получающие гражданство Саудовской Аравии, и т. д. – имеет очень слабое отношение к тому, что реально происходит в исследовательских лабораториях. Там много думают, обсуждают и пишут математические формулы. Идеи постоянно предлагаются, отбрасываются и открываются заново. Хорошая идея – подлинный прорыв – часто остается незамеченной в свое время, лишь впоследствии приходит понимание, что она закладывала фундамент для существенного развития ИИ, например, когда кому-то она приходит в более подходящее время. Идеи апробируются сначала на простых задачах, чтобы показать, что базовые догадки верны, затем на более сложных, в качестве проверки того, насколько хорошо они с ними справляются. Часто оказывается, что идея сама по себе не способна значительно увеличить возможности ИИ, и приходится ждать появления другой идеи, в сочетании с которой первая идея оказывается ценной.

Вся эта деятельность совершенно незаметна снаружи. В мире за стенами лабораторий на ИИ обращают внимание, только когда постепенное накопление идей и свидетельств их годности преодолевает пороговое значение: в тот момент, когда становится выгодно вкладывать деньги и усилия разработчиков в создание нового коммерческого продукта или впечатляющую демонстрацию. Тогда СМИ объявляют, что случился прорыв.

Таким образом, можно ожидать, что многие другие идеи, осваиваемые в исследовательских лабораториях мира, в следующие несколько лет преодолеют порог коммерческой целесообразности. Это будет происходить все чаще по мере того, как растет уровень инвестиций, а мир все охотнее воспринимает приложения ИИ. В этой главе приводятся примеры того, с чем мы можем столкнуться в скором времени.

Попутно я буду указывать на определенные недостатки этих технологических достижений. Вероятно, вы сумеете найти многие другие, но не беспокойтесь, я обращусь к ним в следующей главе.

Экосистема ИИ

Сначала область, в которой действовало большинство компьютеров, была, в сущности, «безвидна и пуста»: входные данные поступали исключительно с перфокарт, а единственным методом вывода было распечатывание символов на строчном принтере. Вероятно, поэтому большинство исследователей считали интеллектуальные машины устройствами для ответов на вопросы. Восприятие машин как агентов, ориентирующихся и действующих в окружающей среде, распространилось не раньше 1980-х гг.

Появление всемирной сети интернет в 1990-х гг. открыло целую вселенную для интеллектуальных машин. Появилось новое слово, softbot, обозначающее программных «роботов», действующих целиком и полностью в программной среде, такой как интернет. Предметом восприятия «софтботов», которых впоследствии стали называть просто ботами, являются интернет-страницы, их действия – выдача последовательностей символов, интернет-адресов и т. д.

Во время бума «доткомов» (1997−2000 гг.) компании – разработчики ИИ множились как грибы после дождя, создавая средства поиска и электронной торговли, в том числе анализ соединений, системы рекомендаций, системы репутаций, службы сравнения цен и категоризацию товаров.

В начале 2000-х гг. повсеместное распространение мобильных телефонов с микрофонами, камерами, акселерометрами и GPS впервые дало людям доступ к ИИ-системам в повседневной жизни; «умные колонки», например Amazon Echo, Google Home и Apple HomePod, продолжили этот процесс.

Около 2008 г. количество объектов, подключенных к интернету, превысило число людей, имеющих к нему доступ, – некоторые называют этот переход началом Интернета вещей (IoT). В число этих «вещей» входят автомобили, бытовые приборы, уличные светильники, торговые автоматы, термостаты, квадрокоптеры, видеокамеры, датчики состояния окружающей среды, роботы и всевозможные материальные предметы, как в процессе производства, так и в системах дистрибуции и розничной торговли. Это значительно увеличивает доступ ИИ-систем к сенсорным и управляющим сигналам реального мира.

Наконец, совершенствование восприятия позволило роботам с ИИ выйти за пределы фабрик, где они зависели от жестко ограниченного расположения объектов, в реальный, неструктурированный, хаотичный мир, где их камерам есть на что посмотреть.

Самоуправляющиеся автомобили

В конце 1950-х гг. Джон Маккарти мечтал, что однажды его доставит в аэропорт автоматизированное транспортное средство. В 1987 г. Эрнст Дикманнс продемонстрировал фургон «мерседес» с автопилотом на автобане в Германии; он был способен держать ряд, следовать за другой машиной, перестраиваться и совершать обгон[87]87
  Самый ранний отчет о появлении самоуправляемого автомобиля на дороге общего пользования: Ernst Dickmanns and Alfred Zapp, “Autonomous high speed road vehicle guidance by computer vision,” IFAC Proceedings Volumes 20 (1987): 221–26.


[Закрыть]. Через 30 с лишним лет у нас все еще нет полностью автономного автомобиля, но мы к нему намного ближе. Центр разработки давно переместился из научно-исследовательских лабораторий в крупные корпорации. На 2019 г. лучшие тестовые автомобили «намотали» миллионы километров езды по общественным дорогам (и миллиарды километров в дорожных симуляторах) без серьезных инцидентов[88]88
  Показатели безопасности транспортных средств Google (впоследствии Waymo): “Waymo safety report: On the road to fully self-driving,” 2018.


[Закрыть]. К сожалению, некоторые автономные и полуавтономные транспортные средства убили несколько человек[89]89
  На данный момент произошло по меньшей мере две аварии со смертельным исходом для водителя и одна с гибелью пешехода. Привожу несколько ссылок с краткими цитатами, описывающими случившееся. Danny Yadron and Dan Tynan, “Tesla driver dies in first fatal crash while using autopilot mode,” Guardian, June 30, 2016: «Датчики автопилота Model S не различили на фоне яркого неба белый автотягач с прицепом, пересекавший перекресток». Megan Rose Dickey, “Tesla Model X sped up in Autopilot mode seconds before fatal crash, according to NTSB,” TechCrunch, June 7, 2018: «Начиная с третьей секунды до столкновения и до времени соприкосновения с отбойником скорость Tesla увеличивалась от 100 км/ч до 114 км/ч; предшествующее удару срабатывание тормозов или движения по уклонению от препятствия зафиксированы не были». Devin Coldewey, “Uber in fatal crash detected pedestrian but had emergency braking disabled,” TechCrunch, May 24, 2018: «Экстренное торможение не допускается, когда транспортное средство находится под управлением компьютера, с целью снижения риска неустойчивого поведения транспортного средства».


[Закрыть].

Почему потребовалось так много времени для достижения безопасной автономной езды? Во-первых, из-за очень высоких требований к результативности. Водители в Соединенных Штатах попадают примерно в одну аварию с человеческими жертвами на 160 млн км пути, что высоко поднимает планку. Чтобы автономные транспортные средства были приняты в эксплуатацию, они должны показывать намного лучшие результаты: скажем, одна авария со смертельным исходом на 1 млрд км, или 25 000 лет безаварийной езды по 40 часов в неделю. Вторая причина заключается в том, что предполагаемый обходной вариант – передача управления человеку, если машина дезориентирована или выходит за рамки безопасных условий эксплуатации, – попросту не работает. Когда машина едет сама, люди отвлекаются от дорожной ситуации и не могут включиться в нее достаточно быстро, чтобы успеть взять управление на себя. Более того, попутчики и пассажиры такси на заднем сиденье вообще не имеют возможности подключиться к управлению машиной, если что-то пошло не так.

Текущие проекты ставят целью достижение автономии четвертого уровня по классификации Общества автомобильных инженеров[90]90
  Ассоциация инженеров-автомобилестроителей (SAE) определяет шесть уровней автоматизации, где уровень 0 соответствует ее отсутствию, а уровень 5 – полной автоматизации: «Постоянное осуществление автоматической системой вождения на всех дорожных покрытиях и при любых погодных условиях всех аспектов задачи динамического вождения, которые могут осуществляться водителем-человеком».


[Закрыть]. Это означает, что транспортное средство должно быть в любой момент способно двигаться самостоятельно или безопасно остановиться, с учетом географических ограничений и погодных условий. Поскольку погода и дорожная ситуация меняются и могут сложиться необычные условия, с которыми автомобиль уровня 4 не сумеет справиться, человек должен находиться в машине наготове при необходимости взять управление на себя. (Уровень 5, неограниченная автономность, не требует водителя, но еще более труднодостижим.) Автономия уровня 4 далеко выходит за рамки простых рефлекторных задач на соблюдение дорожной разметки и избегание препятствий. Транспортное средство должно, опираясь как на текущие, так и на прошлые наблюдения, оценивать целевые и вероятные будущие траектории движения всех релевантных объектов, в том числе таких, которые могут быть невидимыми. Далее, с помощью опережающего поиска автомобиль должен найти траекторию, оптимизирующую определенную комбинацию безопасности и движения. Некоторые проекты используют более прямые подходы, основанные на обучении с подкреплением (главным образом, разумеется, в симуляторах) и на контролируемом обучении, для которого используются видеозаписи сотен водителей, но не похоже, чтобы эти подходы достигли требуемого уровня безопасности.

Потенциальный выигрыш от полностью автономных транспортных средств безграничен. Каждый год 1,2 млн человек в мире гибнут в автомобильных авариях, десятки миллионов получают увечья. Разумной целью для автономных транспортных средств было бы сокращение этих показателей в десять раз. Некоторые аналитики также предсказывают огромное снижение транспортных расходов, парковочных структур, пробок и загрязнения. Крупные города перейдут от личных автомашин и больших автобусов к вездесущим шеринговым автономным электромобилям, осуществляющим обслуживание от двери до двери и обеспечивающим высокоскоростные общественные перевозки между хабами[91]91
  Прогноз экономических последствий внедрения автоматизации в отношении стоимости транспортировки: Adele Peters, “It could be 10 times cheaper to take electric robo-taxis than to own a car by 2030,” Fast Company, May 30, 2017.


[Закрыть]. При затратах, нижний предел которых оценивается в три цента на пассажиро-милю[92]92
  Менее двух центов на пассажиро-километр. – Прим. пер.


[Закрыть], большинство городов, вероятно, согласились бы предоставлять этот сервис бесплатно – попутно обрушивая на ездоков бесконечные потоки рекламы.

Конечно, чтобы воспользоваться всеми этими благами, индустрия должна обратить внимание на риски. Если случается слишком много смертей по вине плохо сконструированных экспериментальных авто, регламентирующие органы могут запретить их запланированное внедрение или ввести экстремально строгие нормы, недостижимые в течение десятилетий[93]93
  Влияние ДТП на возможность наложения регуляторных ограничений на автономные транспортные средства: Richard Waters, “Self-driving car death poses dilemma for regulators,” Financial Times, March 20, 2018.


[Закрыть]. Разумеется, и люди могут решить не покупать автономные транспортные средства и не ездить на них, если те не докажут, что безопасны. Опрос 2018 г. показал существенное снижение уровня доверия потребителей к технологии автономных автомобилей по сравнению в 2016 г.[94]94
  Влияние ДТП на отношение общественности к автономным транспортным средствам: Cox Automotive, “Autonomous vehicle awareness rising, acceptance declining, according to Cox Automotive mobility study,” August 16, 2018.


[Закрыть] Даже если технология окажется успешной, переход к повсеместной автономности создаст очень странную ситуацию: водительские навыки людей могут атрофироваться, а «безрассудный антисоциальный акт» личного управления автомобилем, возможно, вообще окажется под запретом.

Интеллектуальные личные помощники

Большинство читателей на данный момент уже знакомы с неинтеллектуальным личным помощником – умной Bluetooth-колонкой на телевизоре, подчиняющейся командам, или виртуальным собеседником из смартфона, который на слова «вызови мне неотложку!» отвечает «о’кей, начинаю дозваниваться в службу экстренной медицинской помощи». Подобные системы являются, по сути, голосовыми интерфейсами к приложениям и поисковым машинам; они основаны по большей части на записанных заранее шаблонах «стимул – отклик», то есть на подходе, восходящем еще к системе «Элиза» середины 1960-х гг.[95]95
  Оригинальный чатбот: Joseph Weizenbaum, “ ELIZA – a computer program for the study of natural language communication between man and machine,” Communications of the ACM 9 (1966): 36–45.


[Закрыть]

Эти ранние системы имеют недостатки трех типов, связанные с доступом, контентом и контекстом. Недостатки доступа означают, что им не хватает сенсорной осведомленности о происходящем – например, они могут услышать, что говорит пользователь, но не видят, к кому тот обращается. Недостатки контента означают, что они просто не способны понять смысл того, что пользователь говорит или пишет, даже если имеют доступ к этим данным. В силу недостатков контекста у них отсутствует способность отслеживать и осмыслять цели, деятельность и отношения, составляющие повседневную жизнь.

Несмотря на эти недостатки, умные колонки и персональные помощники-приложения смартфонов достаточно ценны для пользователя и уже «вошли» в дома и карманы сотен миллионов людей. Они являются, в сущности, троянскими конями ИИ. Поскольку они уже находятся среди нас и стали неотъемлемой частью великого множества жизней, любое крохотное улучшение их возможностей дает миллиарды долларов.

Поэтому усовершенствования идут сплошным потоком. Пожалуй, самым важным является элементарная способность понимать контент – знать, что фраза «Джон в больнице» представляет собой не просто стимул отклика «надеюсь, ничего серьезного», но содержит актуальную информацию о том, что восьмилетний сын пользователя находится в соседней больнице, возможно, тяжело больной или раненый. Способность доступа к коммуникациям посредством электронной почты и текстовых сообщений, а также телефонных звонков и домашних разговоров (через «умные колонки» в доме) дала бы системам ИИ необходимую информацию, чтобы создать достаточно полную картину жизни пользователя, – вероятно, даже больше информации, чем мог бы получить дворецкий в аристократическом семействе XIX в. или секретарь-референт сегодняшнего генерального директора.

Сырой информации, разумеется, недостаточно. Чтобы помощник был по-настоящему полезным, ему также нужно повседневное знание о том, как устроен мир: что ребенок, лежащий в больнице, не находится одновременно дома, что госпитализация при сломанном запястье редко длится больше одного-двух дней, что в школе, где учится ребенок, должны узнать о его предстоящем отсутствии и т. д. Подобное знание позволяет помощнику постоянно отслеживать ситуации, которые он не наблюдает непосредственно, – навык, свойственный интеллектуальной системе.

Возможности, описанные в предыдущем абзаце, я уверен, достижимы в рамках имеющейся технологии вероятностного вывода^В, но это потребует очень серьезных усилий по созданию моделей всех типов событий и транзакций, составляющих нашу повседневную жизнь. До сих пор подобные проекты моделирования здравого смысла практически не осуществлялись (за исключением, пожалуй, засекреченных систем анализа разведывательных данных и военного планирования) из-за сопутствующих затрат и негарантированной отдачи. Теперь, однако, они легко привлекли бы сотни миллионов пользователей, поэтому инвестиционные риски снизились, а потенциальные прибыли значительно увеличились. Более того, доступ к большому числу пользователей позволяет интеллектуальному помощнику очень быстро учиться и заполнять пробелы в своем знании.

Итак, можно ожидать появления интеллектуальных помощников, которые за несколько пенсов в месяц помогут пользователям управлять все большим объемом повседневных дел: важные даты, путешествия, покупки, оплата счетов, домашние задания детей, отслеживание электронной почты и звонков, напоминания, планирование питания и – предел мечтаний! – поиск ключей. Эти навыки не будут разбросаны по множеству приложений. Они станут разными возможностями единого интегрированного агента, способного воспользоваться преимуществом синергии, в терминологии военных, общей оперативной обстановки.