Текст книги "Hello World. Как быть человеком в эпоху машин"

Ханна Фрай
Hello World. Как быть человеком в эпоху машин

Hannah Fry

Hello World. How To Be Human in the Age of the Machine

© Hannah Fry Limited 2018

© Ю. Плискина, перевод на русский язык, 2021

© А. Бондаренко, Д. Черногаев, художественное оформление серии, 2021

© ООО «Издательство АСТ», 2021

Издательство CORPUS ®

* * *

Посвящается Марии Фрай.

Спасибо тебе за то, что ты никогда не говоришь “нет”.

Комментарий к названию книги

Когда мне было семь лет, папа принес нам с сестрами подарок. Миниатюрный восьмиразрядный ZX Spectrum – это был наш первый собственный компьютер. Он попал к нам в дом подержанным и уже тогда устарел, наверное, лет на пять, но мне с первого взгляда стало ясно, что эта непритязательного вида машинка способна творить чудеса. Spectrum мало чем отличался от Commodore 64, при том что этой игрушкой в нашей округе могли похвастаться только детки богачей, но для меня, безусловно, наш был гораздо круче. Гладкий черный корпус удобно лежал в руках, радужная полоска, отсекающая уголок, и серые резиновые кнопочки выглядели очень симпатично.

ZX Spectrum, словно памятная вешка, обозначил начало незабываемого лета, которое мы с сестрой провели на чердаке, играя на компьютере в виселицу – загадывая друг другу слова и рисуя немудреные картинки с помощью кода. Впрочем, на столь “продвинутый” уровень мы вышли позже. Сперва надо было освоить азы.

Сейчас я не могу вспомнить, когда именно я написала свою первую программу, но точно знаю, что это была за программа. Очевидно, это была та же простая задача, которую я теперь задаю всем своим студентам в Университетском колледже Лондона, – вы наверняка найдете ее на первых страницах любого учебника по программированию для начинающих. Ибо для всех, кто хоть как-то учился программированию, это уже стало традицией, можно сказать, обрядом инициации. Любой новичок получит задание написать на экране знаменитое приветствие:

HELLO WORLD

Впервые это упражнение предложил в своей знаменитой книге[1]1
  Brian W. Kernighan and Dennis M. Ritchie. The C Programming Language (Upper Saddle River, NJ: Prentice-Hall, 1978). (Керниган Б., Ритчи Д. Язык программирования С. М.: “Вильямс”, 2017).


[Закрыть] Брайан Керниган еще в семидесятых годах прошлого века, и с тех пор оно вошло в традицию. Эта книга – и, следовательно, фраза – указывает на переломный момент в истории компьютеров. Только что появились микропроцессоры, ознаменовавшие переход от прежних ЭВМ с перфокартами и перфолентами – гигантских профессиональных машин – к чему-то более похожему на привычные нам персональные компьютеры с монитором, клавиатурой и мигающим курсором. Как только мы научились обмениваться репликами с компьютером, на экране вспыхнуло приветствие HELLO WORLD.

Позже в интервью журналу Forbes Брайан Керниган рассказал, почему он выбрал именно эту фразу. В одном мультфильме он увидал сценку, где только что вылупившийся из яйца – цыпленок пропищал: “Hello world!”, и эти слова засели у него в голове.

Не вполне ясно, что здесь должен символизировать цыпленок – энергичного юнца, радостно возвестившего о своем решительном старте в программировании? Или сам компьютер, словно в полусне обрабатывавший таблицы и текстовые документы и теперь получивший новый заряд бодрости, чтобы подключить свой разум к живому миру и приступить к выполнению приказов нового хозяина? Возможно, и то и другое. Одно ясно: эти слова объединяют всех программистов и устанавливают контакт между человеком и запрограммированной – машиной.

Эта фраза нравится мне еще и по другой причине, в наши дни особенно веской и значимой. Поскольку наше будущее все больше зависит от компьютеров и компьютерных программ, дружеское приветствие напоминает нам о важности диалога человека и машины. О том моменте, когда между оператором и подконтрольной ему системой возникает неощутимая связь. Эти слова говорят о том, что мы начинаем налаживать партнерские отношения и пускаемся в совместное странствие по жизни, в котором друг без друга не обойтись.

В эру компьютеров упускать из виду этот тезис нельзя.

Введение

Все, кто хоть раз в жизни посетил Джонс-Бич на Лонг-Айленде, по пути к океану должны были проследовать под целой серией мостов. Предназначенные для съезда с автомагистрали и въезда на нее, эти мосты имеют одну удивительную особенность. Их элегантные арки очень низко нависают над машинами – кое-где просвет между сводом и дорожным полотном меньше трех метров.

Для столь странного конструкторского решения были основания. В 1920-х годах влиятельный нью-йоркский чиновник Роберт Мозес имел твердые намерения сохранить для богатых белых американцев свой новый, только что обустроенный, отмеченный наградами парк Джонс-Бич. Мозес понимал, что его целевая аудитория отправится к морю на личных автомобилях, в то время как темнокожая беднота воспользуется автобусом, поэтому он нарочно ограничил въезд, построив на протяжении всего шоссе сотни низеньких мостов. Слишком низких для того, чтобы под ними прошел четырехметровый автобус[2]2
  Robert A. Caro, The Power Broker: Robert Moses and the Fall of New York (London: Bodley Head, 2015), p. 318.


[Закрыть].

Но расистские мосты – не единственные бездушные, немые контролеры, способные тайно управлять людьми. История знает множество случаев, когда предметы и технические инновации обретали власть, которой им на самом деле никто не давал[3]3
  На эту тему написаны изумительные эссе, советую почитать. Например: Langdon Winner, Do artifacts have politics? Daedalus, vol. 109, no. 1, 1980, pp. 121–136, https://jstor.org/stable/20024652, где описаны мосты Мозеса. И ближе к современности: Kate Crawford, Can an algorithm be agonistic? Ten scenes from life in calculated publics, Science, Technology and Human Values, vol. 41, no. 1, 2016, pp. 77–92.


[Закрыть]. Бывало, что конструкторы вынашивали какие-то недобрые планы и умышленно добавляли такие свойства, но случался и простой недосмотр – вспомните хотя бы о нехватке в городе удобных пандусов для инвалидных колясок. Последствия могли быть самыми неожиданными, как в случае с ткацкими станками девятнадцатого столетия. Эти машины создали для того, чтобы упростить производство тканей со сложным рисунком, а в итоге заработки, условия труда и занятость рабочих изменились так, что станки превратились в гораздо более жестоких эксплуататоров, чем любой капиталист в викторианской Англии.

Не лучше обстоят дела и с современными изобретениями. Спросите жителей английского городка Сканторпа, которым крупнейший интернет-провайдер AOL заблокировал аккаунты, потому что название города не удовлетворяло новому фильтру ненормативной лексики[4]4
  Scunthorpe Evening Telegraph, 9 April 1996.


[Закрыть][5]5
  В английском названии города Scunthorpe выделяется нецензурное слово cunt. (Прим. перев.)


[Закрыть]. Или нигерийца по имени Чуквуэмека Афигбо, обнаружившего, что автоматический диспенсер жидкого мыла не реагирует на темную кожу, хотя аккуратно выдает положенную порцию на подставленные руки его белого друга. Или Марка Цукерберга, которому в 2004 году, когда он писал код новой соцсети Facebook в кампусе Гарвардского университета, и в голову не могло прийти, что его детище обвинят в содействии манипулированию выборами по всему миру[6]6
  Чуквуэмека Афигбо (@nke_ise) опубликовал в Twitter короткое видео с этим эффектом. Если вы еще не видели его, стоит посмотреть. Можно и в YouTube: https://youtube.com/watch?v=87QwWpzVy7I.


[Закрыть][7]7
  Из интервью Марка Цукерберга CNN: I’m really sorry that this happened, YouTube, 21 марта 2018, https://youtube.com/watch?v=G6DOhioBfyY.


[Закрыть].

В основе каждого такого изобретения лежит тот или иной алгоритм. Ленты соцсетей и поисковики, спутниковая навигация, программы подбора музыки – все это и многое другое держится на алгоритмах, невидимых фрагментах кода, винтиках и шестеренках современных технологий, и в наши дни алгоритмы – это такая же неотъемлемая часть инфраструктуры, как и привычные мосты, дома и фабрики. Алгоритмы работают в больницах, залах судебных заседаний и автомобилях. Они используются в полиции, супермаркетах и на киностудиях. Они знают, что мы любим и что ненавидим, диктуют нам, что смотреть, что читать и с кем встречаться. И при этом они обладают тайной властью, вынуждая нас исподволь, почти незаметно для себя менять представления о том, что значит быть человеком.

В этой книге мы откроем для себя самые разнообразные алгоритмы, которым мы всё больше доверяем, хотя порой и безотчетно. Мы самым внимательным образом изучим их предназначение, посмотрим, какой еще властью они наделены и какие они ставят новые проблемы. Мы увидим, по каким алгоритмам полицейские решают, кого следует арестовать, и нам придется выбирать, что для нас дороже – защита жертв преступлений или невиновность обвиняемых. Мы узнаем, на какие алгоритмы опираются судьи при вынесении приговоров преступникам – и всерьез задумаемся о том, каким должно быть правосудие. Познакомимся с алгоритмами, которые управляют беспилотными автомобилями (и заставляют нас внятно прописывать нравственные нормы), помогают медикам проверять диагнозы, влияют на наши чувства и несут в себе угрозу – демократии.

Я вовсе не утверждаю, что зло заложено в самих алгоритмах. На этих страницах вы найдете массу причин для оптимизма. Ни одна вещь и ни одна программа сами по себе ни плохие, ни хорошие. Важно, как их применяют. GPS придумали для наведения ядерных ракет, а теперь этой системой пользуются разносчики пиццы. Поп-музыка на бесконечном повторе стала орудием пытки. И даже самой прекрасной цветочной гирляндой при большом желании можно задушить человека. Чтобы составить мнение об алгоритме, необходимо разобраться во взаимоотношениях человека с компьютером. Каждый компьютер связан неразрывными узами со своими создателями и пользователями.

В сущности, отсюда следует, что эта книга – о людях. О том, кто мы, куда мы движемся, что для нас важнее всего и как на все это влияют новые технологии. О наших отношениях с вездесущими алгоритмами, которые работают вместе с нами, повышают наши возможности, исправляют наши ошибки, решают наши проблемы и заодно создают нам новые.

Это книга о том, насколько вообще полезны для общества компьютерные программы. О том, когда стоит согласиться с верховенством машины в принятии решения, а когда лучше побороть в себе соблазн свалить ответственность на нее. О том, как проникнуть в тайны работы алгоритма и узнать, где заканчиваются его возможности, о том, что мы должны внимательно посмотреть на себя и разобраться в себе. О том, как отделить добро от зла и решить, в каком мире мы хотим жить.

Потому что будущее не приходит само собой. Его создаем мы.

Власть

Гарри Каспаров прекрасно знал, как деморализовать противника. Когда ему было 34 года, его авторитет сильнейшего гроссмейстера планеты заставлял нервничать всех, кто встречался с ним за шахматной доской. Вдобавок у него в арсенале был один особенно хитрый психологический прием, который наводил на соперников благоговейный ужас. В то время как они мучительно пытались выстоять, вероятно, в самом трудном матче за всю их карьеру, русский шахматист будто бы невзначай брал свои наручные часы, лежавшие рядом с доской, и надевал их на запястье. Этот жест все понимали однозначно: Каспарову наскучило играть в игрушки. Часы показывали сопернику, что пора капитулировать. Можно, конечно, еще посопротивляться, но все равно победа останется за Каспаровым[8]8
  Из личной беседы с гроссмейстером Джонатаном Роусоном.


[Закрыть].

Однако в мае 1997 года, во время исторического матча Гарри Каспарова и компьютера Deep Blue, выяснилось, что на машину эти фокусы не действуют. Все знают, чем закончился поединок, но не всем известна любопытная предыстория уверенной победы компьютера. Символичный триумф машины над человеком, со всех сторон, как ни посмотри, отметивший наступление эры алгоритмов, объяснялся не только такой примитивной причиной, как точность расчетов. Для того чтобы обыграть Каспарова, компьютер должен был понять, как мыслит не мощный процессор, способный совершать изящные шахматные ходы, а живой человек.

Инженерам IBM пришла в голову гениальная идея – создать впечатление, будто Deep Blue сомневается больше, чем на самом деле. В том знаменитом матче из шести партий компьютер периодически “задумывался”, иногда на несколько минут, прежде чем сделать уже рассчитанный ход. Его сопернику казалось, что машина испытывает какие-то трудности и пытается произвести новые вычисления. Получалось, будто бы Каспаров прав в своих предположениях: он сумел повести игру так, чтобы компьютер запутался в море возможных вариантов и не смог выбрать верную комбинацию[9]9
  Feng-Hsiung Hsu, IBM’s Deep Blue Chess grandmaster chips, IEEE Micro, vol. 19, no. 2, 1999, pp. 70–81, http://ieeexplore.ieee.org/document/755469/.


[Закрыть]. Однако машина точно знала, что делать, и всего лишь тянула время. Тактика жульническая, но эффективная. В первой же партии Каспаров стал гадать, на что способен компьютер, и это его отвлекало[10]10
  Garry Kasparov, Deep Thinking: Where Machine Intelligence Ends and Human Creativity Begins (London: Hodder & Stoughton, 2017). Русское издание: Каспаров Г. К. Человек и компьютер: Взгляд в будущее / Пер. с англ. И. Евстигнеевой. – М.: Альпина Паблишер, 2017.


[Закрыть].

Первую партию он выиграл, зато во второй Deep Blue уже целиком завладел его мыслями. Каспаров старался заманить машину в ловушку, чтобы она взяла некоторые фигуры, позволив ему через несколько ходов высвободить ферзя и атаковать[11]11
  TheGoodKnight, Deep Blue vs Garry Kasparov Game 2 (1997 Match), YouTube, 18 Oct. 2012, https://youtube.com/watch?v=3Bd1Q2rOmok&t=2290s.


[Закрыть]. И сам Каспаров, и наблюдавшие за игрой специалисты полагали, что Deep Blue попадется на удочку. Но компьютер каким-то образом учуял подвох. К вящему удивлению Каспарова он разгадал гроссмейстерский маневр и заблокировал его ферзя, что лишило человека шансов на победу[12]12
  Ibid.


[Закрыть].

Каспаров явно был шокирован. Ошибочное суждение о способностях компьютера стоило ему победы. Как он сказал в интервью через несколько дней после игры, “в какой-то момент Deep Blue вдруг заиграл как бог”[13]13
  Steven Levy, Big Blue’s Hand of God, Newsweek, 18 May 1997, http://newsweek.com/big-blues-hand-god-173076.


[Закрыть]. Много лет спустя, вспоминая свое тогдашнее состояние, он напишет, что ходы компьютера казались неожиданными, но очень сильными, и это была ошибка[14]14
  Каспаров. Человек и компьютер, С. 271.


[Закрыть]. Как бы там ни было, победил алгоритмический гений. Он угадал ход мыслей человека, увидел его слабые стороны, перехватил инициативу, и слишком уж человеческий гений потерпел поражение.

Вторую партию обескураженный Каспаров сдал без борьбы за ничью. После этого его самоуверенность потихоньку улетучилась. Третья, четвертая и пятая партии закончились вничью. К шестой Каспаров сломался. Итог матча – 3½: 2½ в пользу Deep Blue.

Это был непонятный проигрыш. Каспаров запросто мог бы найти выход из любой сложившейся на доске позиции, но сначала недооценил возможности машины, а затем позволил ей запугать себя. “Игра Deep Blue произвела на меня колоссальное впечатление, – писал он в 2017 году об этом матче. – Я мог думать лишь о способностях компьютера и от этого не сознавал, что мои проблемы вызваны скорее моей плохой игрой, нежели хорошей игрой машины.”[15]15
  Там же, С. 277.


[Закрыть].

Как мы еще не раз увидим в этой книге, важно, чего мы ждем. Победа компьютера над знаменитым гроссмейстером показывает, что потенциал алгоритма не ограничивается содержанием строк программы. Чтобы оставаться у руля, мы должны понимать, где и в чем мы уязвимы, – а также знать слабые места программы.

Но если даже Гарри Каспаров не сумел справиться с этой задачей, на что остается надеяться нам, обычным людям? Далее мы увидим, как алгоритмы проникают буквально во все аспекты современной жизни, от здравоохранения и борьбы с преступностью до транспорта и политики. При этом мы умудряемся одновременно и относиться к ним с пренебрежением, и преклоняться перед их силой. В результате мы понятия не имеем, много ли власти мы им уступили и как далеко все зашло.

Назад к основам

Прежде чем мы углубимся в изучение этой темы, возможно, стоит ненадолго отвлечься и поговорить о том, что же такое алгоритм. Хотя этот термин у всех на слуху, смысл самого слова довольно туманный. Формально определение таково[16]16
  Согласно словарю Merriam-Webster. В “Оксфордском словаре английского языка” дается определение, в котором подчеркивается математическая природа алгоритма: “последовательность действий или набор команд, которые необходимо выполнить при расчетах или поиске решения задачи, особенно с помощью компьютера”.


[Закрыть]:

Алгоритм (сущ.): порядок действий, которые необходимо совершить для решения той или иной задачи или достижения заданной цели, особенно с помощью компьютера.

Всего-то. Алгоритм – это просто набор инструкций, которые помогают шаг за шагом дойти от исходных данных до решения задачи. В широком смысле рецепт пирога – тоже алгоритм. Под это определение подпадают и советы, которые вы даете заблудившемуся приезжему. Инструкции из IKEA, видео с YouTube, где вам показывают, что и как сделать, даже всевозможные практические руководства – теоретически алгоритмом можно считать любой перечень инструкций, в котором содержится полная информация о том, как достичь конкретной цели.

Однако область применения этого термина несколько иная. Обычно алгоритмом называют нечто более специальное. Алгоритм действительно представляет собой набор пошаговых инструкций, но при этом почти всегда речь идет о математическом объекте. Используя уравнения, арифметические и алгебраические действия, матанализ, логику и теорию вероятностей, алгоритм превращает ряд математических операций в компьютерную программу. Ему предоставляют данные из жизни, ставят задачу и запускают его, чтобы дальше он сам продирался через формулы к ответу. Именно алгоритмы делают информатику настоящей наукой, и благодаря им машины сотворили за последние десятилетия массу самых удивительных чудес.

Существует несметное множество всевозможных алгоритмов. Каждый из них имеет свое предназначение, свои отличительные особенности, свою изюминку и свои недостатки, и до сих пор неясно, как их лучше классифицировать. Но в целом удобно выделить четыре основные категории задач, которые выполняют алгоритмы[17]17
  Классифицировать алгоритмы можно по-разному, и я не сомневаюсь, что специалисты по компьютерным наукам будут недовольны столь упрощенным подходом. Более подробный перечень действительно включил бы в себя еще несколько категорий: например, алгоритмы картирования, сведения одних задач к другим, регрессивного анализа и кластеризации. Но я все-таки остановилась на этой классификации, потому что она покрывает все основные случаи и, что немаловажно, помогает дать представление об этой огромной и сложной области науки. См. Nicholas Diakopoulos, Algorithmic Accountability Reporting: On the Investigation of Black Boxes (New York: Tow Center for Digital Journalism, Columbia University, 2014)


[Закрыть]:

1. Расстановка приоритетов – составление упорядоченного списка

Исходя из ранжирования результатов поиска, Google подсказывает вам, какую страницу открыть в данный момент. Netflix предлагает вам очередной фильм. Навигатор выбирает для вас кратчайший путь. Все они упорядочивают колоссальное множество вероятных опций, производя вычислительный процесс. Deep Blue, в сущности, тоже занимался приоритизацией, то есть анализировал все возможные ходы фигур на доске и находил те, что гарантировали самые высокие шансы на победу.

2. Классификация – выбор категории

Когда мой возраст приблизился к тридцати годам, Facebook завалил меня рекламой колец с бриллиантами. И как только я наконец вышла замуж, отовсюду в интернете посыпались предложения тестов на беременность. Такими маленькими неудобствами я обязана алгоритмам классификации. Любимые алгоритмы рекламщиков, руководствуясь вашим личным профилем, исподтишка записывают вас в группу лиц с определенными интересами. (Пусть даже они угадывают верно, но если во время деловой встречи на экране вашего компьютера неожиданно всплывает реклама тестов на овуляцию, это действует на нервы.)

Именно такие алгоритмы автоматически отсортировывают и удаляют посторонние ролики на YouTube, подписывают ваши отпускные фотографии и, сканируя рукопись, идентифицируют закорючки на странице как буквы.

3. Ассоциирование – выявление связей

Ассоциирование – это поиск и описание взаимосвязи между объектами. Например, сайты знакомств, вроде OkCupid, ищут связи между пользователями и подбирают пары, используя алгоритмы поиска ассоциаций. Примерно так же устроена рекомендательная система Amazon – она находит нечто общее между вашими интересами и интересами предыдущих покупателей. Вот почему пользователь сайта Reddit с ником Kerbobotat, купив на Amazon бейсбольную биту, получил интересное предложение: “Возможно, вам понравится эта балаклава”[18]18
  Kerbobotat: “Зашел на Amazon купить бейсбольную биту и получил интересные предложения аксессуаров”, Reddit, 28 Sept. 2013, https://reddit.com/r/funny/comments/1nb16l/went_to_buy_a_baseball_bat_on_amazon_they_have/.


[Закрыть].

4. Фильтрация – выделение важной информации

Алгоритмы нередко помогают изъять часть информации, чтобы обратить внимание на главное, поймать сигнал среди шумов. Иногда они делают это в буквальном смысле слова – так, в голосовых помощниках, например Siri, Alexa и Cortana, чтобы расшифровать вашу речь, алгоритмы распознавания, предварительно должны выделить из шумового фона ваш голос. Иногда это не шум как таковой, а метафора: Facebook и Twitter заполняют вашу ленту, уже зная, что вас обычно интересует, и подбирая соответствующую информацию.

Можно придумать огромное множество алгоритмов, совмещающих эти функции. Так устроен, например, сервис UberPool, который подбирает потенциальных попутчиков для совместных поездок на такси. Зная начальную и конечную точки маршрута, программа должна перебрать все возможные пути к вашему дому, найти других пользователей, которым надо ехать в ту же сторону, и определить вас в одну машину – и при этом в первую очередь предложить такие маршруты, чтобы водителю пришлось как можно меньше крутиться по улицам[19]19
  Sarah Perez, Uber debuts a “smarter” UberPool in Manhattan, TechCrunch, 22 May 2017, https://techcrunch.com/2017/05/22/uber-debuts-a-smarter-uberpool-in-manhattan/.


[Закрыть].

Алгоритмы все это умеют. Другой вопрос: как они это делают? Опять-таки мы можем выделить суть, хотя вариантов не счесть. В общем и целом все алгоритмы делятся на два основных типа в зависимости от принципа их работы, и далее в этой книге мы познакомимся с обоими.

1. Алгоритмы, основанные на системе правил

Работа алгоритмов первого типа основана на совокупности правил. Инструкции для них, четкие и недвусмысленные, составляет человек. Такой алгоритм подобен рецепту пирога. Шаг первый: сделать то-то. Шаг второй: если то, тогда это. Алгоритм вовсе не обязательно будет простым – есть масса возможностей для создания сложнейших программ такого типа.

2. Алгоритмы машинного обучения

Принцип действия алгоритмов другого типа сродни обучению живого существа. Для аналогии представьте себе, как можно было бы научить собаку давать лапу. Нет смысла проводить с ней подробный инструктаж. Вам как дрессировщику надо самому четко понимать, чего вы хотите добиться от собаки и как вы ее поощрите, когда она выполнит команду. Надо только закрепить правильную реакцию, игнорируя ошибочную, и дать собаке потренироваться, чтобы она сама выработала нужный рефлекс. В программировании такая схема называется алгоритмом машинного обучения и подпадает под более широкое понятие искусственного интеллекта, ИИ. Вы вводите в компьютер данные, ставите цель, обеспечиваете обратную связь, если алгоритм выбирает верный путь, – и предоставляете ему самостоятельно искать оптимальное решение.

Оба варианта имеют свои плюсы и минусы. Алгоритмы, основанные на системе правил, просты для восприятия, поскольку инструкции для них пишут люди. Теоретически кто угодно может прочитать правила и аккуратно выполнить все пункты по порядку[20]20
  Слово “теоретически” я употребила неслучайно. Так бывает не всегда. Над некоторыми алгоритмами не один год трудились сотни, а то и тысячи разработчиков, и каждый из них на том или ином этапе добавлял свои операции. С каждой новой строкой кода система становится все более сложной, до тех пор пока логические нити не переплетутся на манер порции спагетти. В конце концов алгоритм приобретает настолько разветвленную структуру, что человеческий разум уже не в силах разобраться в ней и уследить за всеми переходами.
  В 2013 году компания Toyota должна была выплатить три миллиона долларов компенсации после автокатастрофы с участием одного из ее автомобилей. Машина неконтролируемо разогналась, хотя сидевшая за рулем женщина жала на педаль тормоза, а вовсе не газа. На суде выступавший свидетелем специалист сказал, что виновата случайная команда, скрытая где-то в путаной схеме программного обеспечения. См. Phil Koopman, A case study of Toyota unintended acceleration and software safety (Pittsburgh: Carnegie Mellon University, 18 Sept. 2014), https://users.ece.cmu.edu/~koopman/pubs/koopman14_toyota_ua_slides.pdf.


[Закрыть]. Однако в этом преимуществе кроется их изъян. Основанные на системе правил алгоритмы решат задачу только в том случае, если люди знают, какую инструкцию для них написать.

Алгоритмы машинного обучения, как выяснилось в последнее время, напротив, отлично справляются и тогда, когда набор команд не помогает. Они могут распознать объект на картинке и слова, которые мы произносим, могут перевести текст на другой язык – сделать то, что алгоритмам с инструкциями не по зубам. Минус в том, что если предоставить машине самой искать решение, то, скорее всего, человек не поймет, каким путем она пришла к конечному результату. Даже для гениального программиста ее внутренняя логика может остаться тайной за семью – печатями.

Предположим, ставится задача распознать изображение. Не так давно группа исследователей из Японии продемонстрировала, как необычно, с точки зрения человека, видит вещи машина. Может быть, вам встречалась известная оптическая иллюзия, когда трудно с первого взгляда сказать, что вы видите – вазу или два лица (если нет, загляните в примечания, приведенные в конце книги)[21]21
  Эта иллюзия называется “ваза Рубина”, по имени придумавшего ее Эдгара Рубина. (Здесь приведен пример со страницы https://commons.wikimedia.org/wiki/File:Vase_of_rubin.png). Это пример двойственного изображения, или обратимых фигур – вы видите два темных профиля и белую вазу. На этом рисунке очень легко переключиться с одной формы на другую, но, чтобы сместить равновесие в ту или иную сторону, достаточно добавить пару штрихов. Скажем, подрисовать тонкие контуры глаз или оттенить ножку вазы.
  Из той же серии пример с распознаванием изображения собаки и машины. Программисты подобрали картинку на стыке двух категорий, внесли одну маленькую поправочку, и, по мнению компьютера, картинка переместилась из одной категории в другую.


[Закрыть]. Вот вам аналогичный пример из мира компьютеров. Ученые показали, что достаточно изменить один пиксель переднего колеса на изображении, приведенном ниже, чтобы алгоритм машинного обучения передумал и увидел собаку там, где прежде видел автомобиль[22]22
  Jiawei Su, Danilo Vasconcellos Vargas and Kouichi Sakurai, One pixel attack for fooling deep neural networks, arXiv:1719.08864v4 [cs.LG], 22 Feb. 2018, https://arxiv.org/pdf/1710.08864.pdf.
  На русском языке см. https://habr.com/ru/post/498114/ (Прим. науч. Ред.).


[Закрыть].

Кое-кто считает, что оставить алгоритм без четких инструкций – это прямой путь к катастрофе. Как же контролировать то, чего мы не понимаем? Что, если наделенная разумом машина превзойдет по интеллекту своих создателей? Можем ли мы быть уверены, что загадочный для нас ИИ, который нам не подчиняется, не превратится в нашего врага?

Все эти гипотезы заслуживают внимания, и о нависшей над нами угрозе апокалипсиса, который может устроить нам ИИ, написано уже немало книг. Простите, если обманула ваши ожидания, – моя книга о другом. Несмотря на то, что в последнее время ИИ стремительно развивается, “умным” его можно назвать лишь с большими ограничениями. Тому, с чем мы столкнулись, скорее подошло бы определение революции не в области интеллекта, а в вычислительной статистике. Я понимаю, что это не так возбуждает – если только вы не питаете особые чувства к статистике, – однако текущее положение вещей такая формулировка описывает гораздо точнее.

Пока что волноваться из-за злых козней ИИ – все равно что волноваться из-за перенаселения на Марсе[23]23
  Перефразированный комментарий, который дал в 2015 году программист и пионер в области машинного обучения Эндрю Ын. См. Tech Events, ‘GPU Technology Conference 2015 day 3: What’s Next in Deep Learning’, YouTube, 20 Nov. 2015, https://www.youtube.com/watch?v=qP9TOX8T-kI.


[Закрыть]. Возможно, когда-нибудь компьютерный разум окажется сильнее человеческого, но пока об этом даже речи не идет. Честно говоря, нам еще довольно далеко до создания интеллекта хотя бы уровня ежиного. И червяка-то до сих пор никому не удалось превзойти[24]24
  Международный научный проект OpenWorm преследовал именно такую цель – смоделировать мозг червя. Ученые хотели создать искусственную сеть из 302 нейронов, как в мозге червя C. elegans. Для сравнения, у человека примерно 100 000 000 000 нейронов. См. сайт OpenWorm: http://openworm.org/.


[Закрыть].

Кроме того, вся эта шумиха из-за искусственного интеллекта отвлекает нас от куда более насущных и, по-моему, более интересных тем. Забудьте ненадолго о всемогущих умных машинах и верните свои мысли из далекого и неясного будущего в наше с вами настоящее, ибо алгоритмы, которым даны полная свобода действий и право самостоятельно принимать решения, уже существуют. Они назначают курс лечения онкологическим больным и сроки тюремного заключения, действуют в аварийной ситуации на дороге. Они уже на каждом шагу делают за нас роковой выбор.

Вопрос вот в чем: если мы делегируем алгоритмам такие полномочия, можно ли им доверять?