Книга: Homo Roboticus? Люди и машины в поисках взаимопонимания - Джон Маркофф

«Лучший способ получить ответ на вопрос о контроле в мире, полном умных машин, – понять ценности тех, кто фактически создает эти системы.»

Самая главная концепция, на которую неустанно обращает внимание Джон Маркофф на протяжении всей книги, это концепция двух ветвей развития цифровых технологий (замена или расширение возможностей человека):

«Не существует «слепого часовщика», определяющего эволюцию машин. Куда мы пойдем – в сторону расширения возможностей человека или замены его автоматами – зависит от решений конкретных разработчиков. <…> То, как мы разрабатываем все более автономные машины и взаимодействуем с ними, определяет характер нашего общества и экономики. От этого все в большей мере зависит каждый аспект современного мира, начиная с того, будем ли мы жить в более или менее стратифицированном обществе, и заканчивая тем, какой смысл мы будем вкладывать в понятие «человек».

Соответственно, у каждого направления есть свои сторонники и противники. Более того, один и тот же разработчик может начинать с работы над полностью автоматизированным роботом, а потом перейти в команду, работающую над программой-помощником (расширение возможностей). Приверженность тому или иному сообществу формирует соответствующие ценности и приоритеты.

«В компьютерном мире сложились два технических сообщества со своими традициями, ценностями и приоритетами. Одно из них – сообщество искусственного интеллекта – стремится к автоматизации различных аспектов деятельности человека. Другое – сообщество человеко-машинного взаимодействия – в большей мере занято развитием идеи «человеко-машинного симбиоза», который предвидел психолог-новатор Джозеф Ликлайдер на заре современной компьютерной эры.»

Два указанных выше направления характеризуют и два взгляда на искусственный интеллект: либо, как отдельный самостоятельный алгоритм, формирующий независимое поведение управляемого им механизма (классический робот), либо, как расширение человеческой деятельности, объединяющее усилия многих ради общей большой цели (например, «коллективный IQ»).

«Большинству Дуг Энгельбарт известен как изобретатель мыши, однако его гораздо более грандиозная идея заключалась в использовании компьютерных технологий с тем, чтобы небольшие группы людей могли работать над «загруженными» проектами, используя мощные программные средства организации деятельности и создавая, как он выражался, «коллективный IQ», превосходящий возможности отдельного человека. Мышь была просто гаджетом, облегчавшим взаимодействие с компьютером.»

Кстати, стать участником «коллективного IQ» и напрямую, не выходя из дома, помочь науке, можно благодаря некоторым современным ресурсам, предоставляя вычислительные мощности своего домашнего компьютера по ночам для сложных научных расчетов. Смотрите, например, foldingathome.org. Сегодня мы оцениваем ИИ, как правило, по его эффективности и стоимости. Однако, чем сложнее ИИ, чем теснее наше взаимодействие с ним, тем больше потребностей в регулировании моральных аспектов этого взаимодействия.

«Хотя автомобили без водителей приведут к потере миллионов рабочих мест, они также сохранят множество жизней. Сегодня решения о применении технологий принимаются в основном на основе выгодности и эффективности, но очевидно нужна и новая система оценки с точки зрения морали. Дьявол, однако, кроется в деталях.»

Стоит отметить и то, что ИИ – это не только сам по себе искусственный разум, но и в немалой мере то, что «мы о нем думаем»:

«Интеллектуальные» машины никогда, возможно, не станут интеллектуальными в человеческом смысле или обладающими самосознанием. Дело не в этом. Искусственный интеллект быстро совершенствуется и приближается к уровню, когда он все в большей степени будет казаться интеллектом.»

Безусловно, Кремниевая долина – это «место силы» высокотехнологичных инноваций. Но в истории робототехники есть еще один очень важный игрок, эффективно стимулирующий своими конкурсами-смотрами (Grand Challenge) развитие машинного зрения, ИИ и прочих областей робототехники, и это - Управление перспективных исследовательских проектов Министерства обороны США (DARPA). Примечательно, что государственное военное агентство работает в целом по тем же принципам, что и сама Кремниевая долина (особенно обращаю внимание на культуру «вознаграждения за неудачи»):

«Став директором, Тетер начал менять культуру агентства, имевшего легендарную репутацию как участник изобретения всего – от интернета до истребителей-невидимок. Он быстро отобрал деньги у университетов и направил их военным подрядчикам, занимавшимся секретными разработками и поддерживавшим войны-близнецы в Ираке и Афганистане. Агентство переориентировалось с «фантастики» на «результаты». Публично Тетер доказывал, что инновации возможны и в условиях секретности, пока вы придерживаетесь конкурентной культуры Кремниевой долины с ее вихрем новых идей и вознаграждением за перспективные попытки, даже если они не удаются.»

А в целом, «дух Долины» Джон Маркофф формулирует так:

«Одно из самых старых преданий Кремниевой долины связано с тем, как Стив Джобс переманил генерального директора компании Pepsi Джона Скалли в Apple, поинтересовавшись, устраивает ли того перспектива провести остаток жизни, продавая сладкую воду. Возможно, это покажется наивным, но дух Долины – изменение мира. Эта идея лежит в центре концепции «масштаба», которая объединяет программистов, разработчиков железа и венчурных капиталистов. Недостаточно получить прибыль или создать что-то прекрасное. Это должно изменить мир. Это должно быть тем, что окажется под 95 % новогодних елок в мире или даст чистую воду или электричество миллиардам людей.»

Очевидно, что для смелых инноваций нужна смелая и свободная мысль, и потому неудивительно, что у Google есть т.н. «Правило 70-20-10» (о том, что такое последние 10% читайте в конспекте ниже). В своей книге Джон Маркофф акцентирует внимание на следующих больших темах: автопилот, независимый ИИ, интернет, роботы, автоматизация, голосовые помощники. Автопилот больше всего интересовал военных. Оно и понятно. Но вылилось все в разработку работающих образцов и происходящее на наших глазах изменение транспортной парадигмы. Электромобиль + автопилот + отсутствие личных автомобилей – всё это новое лицо транспорта будущего. А проблемы машинного зрения (а как следствие и создания автопилота) хорошо описывает эта цитата:

«Как признался один из инженеров компании, когда проект уже запустили, команда Google была обескуражена динамичностью реального мира. «Из-за дорожных работ постоянно появляются и исчезают не только полосы движения на трассах, "движутся даже мосты"», – сказал он.»

Есть у автопилота и другие проблемы, например, скучающие водители, теряющие скорость реакции (про это подробнее в конспекте ниже), а также технологические ошибки. Но велика ли их цена? Давайте посмотрим:

«В программу, конечно, можно заложить принцип выбора меньшего из зол, но постановка вопроса представляется неправильной на других уровнях. Поскольку 90 % ДТП случаются из-за ошибок водителей, переход к использованию беспилотных автомобилей должен привести к резкому снижению травматизма и гибели людей на дорогах. Это явно будет значительным благом, несмотря на небольшое количество ДТП в результате чисто технологических сбоев. В определенной мере автомобильная промышленность уже согласилась с этой логикой. Подушки безопасности, например, спасают больше жизней, чем уносят из-за ошибочного срабатывания.»

Одно из оптимистических правил робототехники – надежда на постепенное удешевление применяемых материалов и технологий. Именно это позволяет более смело заглядывать вперед, не обращая внимания на маркетинг на начальном этапе.

«Трун всегда полагал, что нужно заниматься более надежными системами в расчете на последующее удешевление в процессе массового производства. Дорогостоящие системы лазерного наведения содержат не так уж много компонентов, а значит, нет оснований считать, что их цены не могут быстро снизиться. Так было в случае радара, который некогда считался сложной военной и авиационной технологией, но в последние годы начал появляться в детекторах движения и дорогих автомобилях.»

Давайте посмотрим, в чем заключается суть роботизации производства:

«Автоматизированные заводы с выключенным освещением или роботизированные безлюдные производства создают ситуацию из разряда «есть хорошая и плохая новость». Для минимизации себестоимости товаров имеет смысл размещать заводы или возле источников сырья, трудовых ресурсов и энергии, или возле потребителей конечной продукции. Если роботы могут производить что-то дешевле, чем рабочие, то выгоднее приблизить предприятия к обслуживаемым рынкам, а не к источникам дешевой рабочей силы. И действительно, предприятия уже возвращаются в Соединенные Штаты. Завод по производству солнечных батарей компании Flextronics сейчас расположен в Милпитасе, к югу от Сан-Франциско, где большая растяжка гордо провозглашает: возвращаем рабочие места и производство в Калифорнию! Но если пройтись по ее заводу во Фримонте, быстро понимаешь, что речь идет скорее о высокоавтоматизированных производствах, а не о создании рабочих мест – меньше десятка рабочих заняты на сборочной линии, выпускающей почти столько же батарей, сколько сделали бы сотни работников на предприятии компании, если бы она разместила его в Азии. «В какой момент цепная пила приходит на смену легендарному лесорубу Полу Баньяну? – спрашивает руководитель Flextronics. – Все определяет цена, и мы вплотную подошли к этому моменту».

Одной из главных страшилок роботизации стало мнение о том, что она критично сократит количество рабочих мест, выбросив значительное количество людей «на улицу». Но так ли это? Уже есть некоторые расчеты, опровергающие это мнение. О том, что люди в любом случае останутся на каждом успешном производстве, говорит недавний поступок руководства Toyota, одной из самых высокотехнологичных и автоматизированных компаний мира (см. интересную историю в конспекте ниже).

«Основанная в 1987 г. Международная федерация робототехники со штаб-квартирой в Гамбурге, Германия, в отчетах, выпущенных в 2013 г. и позже, не без своекорыстия доказывает, что производственные роботы реально стимулируют экономическую активность и вместо повышения безработицы прямо и косвенно увеличивают общее количество рабочих мест. В исследовании, обнародованном в феврале 2013 г., подчеркивается, что робототехническая промышленность прямо и косвенно создаст в мире к 2020 г. от 1,9 до 3,5 млн рабочих мест. В уточненном на следующий год отчете отмечено, что внедрение каждого робота привело к созданию 3,6 рабочего места.»

Помимо технопессимизма с рабочими местами, существует и технооптимизм:

«В 1980–1990-х гг. сообщество искусственного интеллекта в целом верило, что можно создать машину с умственными способностями по крайней мере ребенка детсадовского возраста путем простого накопления практических правил.»

Технооптимисты постоянно подвергаются критике скептиков. Вот пример такой критики:

«Роберт Гордон также отметил, что технологии автоматизации, расхваливаемые теми, кого он позже назвал «технооптимистами», не дали такого же эффекта, как промышленные инновации XIX в. «Связанная с компьютерами и интернетом революция началась примерно в 1960 г. и достигла кульминации в эру доткомов в конце 1990-х гг., но ее влияние на производительность сошло на нет в последние восемь лет, – пишет он. – Многие из изобретений, связанных с компьютеризацией скучного и однообразного труда офисных работников, были сделаны еще в 1970-х и 1980-х гг. Изобретения с 2000 г. касаются главным образом миниатюризации, расширения возможностей и быстродействия средств развлечения и связи и не меняют фундаментально производительность труда или уровень жизни так, как это сделали электричество, автомобили, водопровод и канализация». В каком-то смысле это была разгромная критика веры Кремниевой долины в «просачивание благ сверху вниз» от экспоненциального развития в области интегральных схем. <…> По мнению Гордона, лучше всех потенциальное воздействие начавшейся в 1960 г. «третьей промышленной революции» – компьютеризации и интернета – предвидел Норберт Винер, когда говорил, что автоматизация ради автоматизации будет иметь непредсказуемые и, вполне возможно, негативные последствия.»

Цифровая индустрия интересна еще и тем, что в ней нередки случаи, когда продукт внезапно переориентируется на другое назначение, успешность которого, оказалась случайностью. Так, у Лизл Каппер из виртуального собеседника ненароком получился чат-бордель (подробнее в конспекте ниже). Едва ли не сразу человечество устремилось моделировать искусственный разум, сходный с человеческим, и относительно недавно, стала очевидна сложность моделирования не только интеллектуальных способностей человека, но и плавности его движений. Наибольших успехов на сегодня в этом достигли роботы Boston Dynamics.

«Несмотря на финансирование со стороны военных, Райберт не считал, что его фирма занимается созданием оружия. Почти всю свою карьеру он посвятил одной из самых сложных проблем в мире искусственного интеллекта и робототехники: строительству машин, движущихся по пересеченной местности с легкостью животных. Если исследователи искусственного интеллекта на протяжении десятилетий пытались моделировать человеческий интеллект, то Райберт пытался воспроизвести ловкость и изящество движений человека. Он давно считал, что создание подвижных машин – более трудная задача, чем многие другие аспекты искусственного интеллекта. «Воспроизвести ловкость прыгающей с ветки на ветку белки или взлетающей и садящейся птицы, – говорил Райберт, – так же сложно, как и создать интеллектуальную программу». Роботы Boston Dynamics, получившие имена LittleDog, BigDog и Cheetah, вызвали оживленную и временами истеричную интернет-дискуссию о сходстве современных роботов с Терминатором.»

Одним из проявлений искусственного интеллекта, работающего на расширение наших возможностей, является внедрение электронного документооборота:

«Эра PC преобразовала компании, которые перешли на электронную почту, отказавшись от бумажного документооборота. Этот переход позволил создать недорогую систему, которая просто «проглатывала» каждое отправление, посланное на определенный адрес электронной почты. Ей не нужен был ни веб-мастер, ни ИТ-специалист. Система Intraspect всасывала корпоративную переписку и документы и делала их доступными для любого сотрудника компании через персональный компьютер. Значки папок на мониторе по-прежнему воспринимались как символ систематизированных документов, поэтому инженеры Intraspect создали Windows-программу с ориентированным на папки интерфейсом. В представлении Грубера именно так и должно было выглядеть будущее искусственного интеллекта. То, что начиналось как попытка смоделировать человеческий мозг, закончилось моделированием взаимодействия группы людей. В некотором смысле это различие составляло основу культурного разрыва между двумя научными сообществами. Сообщество искусственного интеллекта пыталось создать копию разума человека, а нарождающееся сообщество человеко-машинного взаимодействия следовало традиции усиления интеллекта Энгельбарта.»

Джон Маркофф выделяет следующую главную цель автоматизации в современном мире:

«Чтобы создать культурный фон компании, Адам Чейер купил рамки для фотографий и раздал их всем сотрудникам с просьбой выбрать себе героя и поставить его портрет на стол. Затем он попросил всех подобрать цитату, показывающую, почему эта личность так важна. Чейер надеялся убить таким образом двух зайцев: посмотреть, кто кого выбрал, и получить некоторое представление о каждом сотруднике. Сам Чейер выбрал Энгельбарта и добавил к портрету одно из его давних обязательств в SRI: «Максимально расширять возможности людей по коллективному решению сложных, неотложных задач». С точки зрения Чейера, эта цитата идеально показывала разницу между автоматизацией и расширением возможностей человека.»

Понятное дело, столь значимые и стремительные процессы, как роботизация и информатизация не могли не затронуть экономику. Некоторые мысли знаменитого экономиста Джона Мейнарда Кейнса о «технологической безработице»:

«Зачем набирать рабочих, если заменяющая их технология стоит дешевле? Отчет, выпущенный в 2014 г. Национальным бюро экономических исследований, подтвердил эту тенденцию, но Генри Сиу, профессор Университета Британской Колумбии и один из авторов отчета, придерживается стандартного кейнсианского представления о технологической безработице. Он объясняет: «В очень отдаленной перспективе технический прогресс хорош для всех, но на более коротких временны́х горизонтах выигрывают не все». Стоит, наверное, напомнить слова Кейнса, который также говорил, что в долгосрочной перспективе все мы умрем. Статистическая логика Кейнса безупречна, но его экономическая логика вызывает немало критики. Среди научно-технических работников и некоторых экономистов все больше распространяется мнение, что кейнсианские допущения в отношении технологической безработицы (сокращение индивидуальных рабочих мест при сохранении общего объема работы) больше не выполняются. Системы искусственного интеллекта, которые могут двигаться, видеть, осязать и рассуждать, существенно изменяют уравнение создания рабочих мест. Сегодня споры идут не о том, появятся ли системы искусственного интеллекта, а о том, когда это произойдет.»

Одним из проявлений ИИ, с которым большинство из нас сталкивается каждый день – это алгоритмы поиска в поисковых системах, а также алгоритмы формирования рекомендуемого контента в соцсетях и развлекательных ресурсах. Это непосредственно влияет на нашу жизнь. Более того, уже видны некоторые новые тенденции в обществе:

«Не так давно ветеран венчурного бизнеса Кремниевой долины Рэнди Комисар был на конференции и слушал выступление, описывавшее конкурента Siri – сервис Google Now. «Похоже, людям до смерти хочется, чтобы какой-то интеллект подсказывал им, что надо делать, – сказал он. – Что они должны есть, с кем должны встречаться, на какие вечеринки должны ходить». На его взгляд, для сегодняшнего молодого поколения мир перевернулся вверх ногами. Вместо того чтобы использовать компьютеры для получения свободы и возможности мыслить масштабно, для установления близких отношений, для реализации своей индивидуальности и творческого потенциала, молодые люди настолько жаждут указаний, что готовы передать эту ответственность искусственному интеллекту в облаке. То, что начиналось как интернет-технологии, позволившие людям совместно использовать возникшие возможности, быстро превратилось в растущий массив алгоритмов, которые все больше диктуют им, что делать. Теперь интернет незаметно для пользователя определяет образ жизни.»

*** Эта книга была написана пять лет назад, в 2015 году. С тех пор появилось много интересных инноваций. Тем не менее, мы и сейчас стоим все перед той же развилкой: замена человека или расширение его возможностей. Радует то, что, анализируя материалы этой книги, можно сказать, что разработчики в целом все больше склоняются к варианту расширения возможностей человека. Этот путь хорош тем, что изменения могут быть постепенными и нет необходимости делать сразу готовый цельный разумный аппарат, способный жить своей «жизнью». Но это не значит, что разработка полноценных роботов никому не нужна, ведь есть много мест, где независимая от человека сложная работа просто необходима. Такие машины могли бы нам очень помочь в Чернобыле и на Фукусиме, и, будем надеяться, смогут помочь в будущем на Луне и Марсе. А что касается расширения наших возможностей, то в этих продуктах кроется определенная опасность: тесно взаимодействуя с ними, мы становимся одним целым, ведя созависимую жизнь, последствия которой в долгой перспективе пока ещё не ясны. Как бы то ни было, последний выбор всегда за человечеством.

«На заре компьютерной эры Норберт Винер отчетливо понимал значимость отношений между людьми и их созданиями – умными машинами. Он видел благо автоматизации в избавлении людей от тяжелой работы, но беспокоился, что эта же самая технология может поработить человечество. Прошедшие десятилетия лишь обострили двойственность, на которую он первым обратил внимание. Это проблема нас как людей и мира, который мы создаем. Это не проблема машин.»

КОНСПЕКТ-ЦИТАТНИК: Правило Google «70-20-10» (10% оплачиваемого «полёта мысли»):

«Google славилась своим правилом 70-20-10, предполагавшим предоставление инженерам времени для ведения собственных проектов. Сотрудникам разрешалось использовать 10 % своего времени на проекты, совершенно не связанные с основным бизнесом компании. Основатели Google Сергей Брин и Ларри Пейдж верили в масштабное мышление. Они называли это «стрельбой по луне»: не чистая наука – исследовательские проекты, которые запускаются в расчете на коммерческий, а не чисто научный результат.»

И еще немного о свободе и мышлении: интересная и смелая инициатива по онлайн-обучению (в 2020-м уже довольно популярному формату образования). Подумайте, для того, чтобы двигать индустрию вперед, было решено сделать специфические знания максимально доступными и рассекреченными!

«Осенью 2011 г. Трун и Питер Норвиг взяли на себя один из бесплатных дистанционных курсов в Стэнфорде – «Введение в искусственный интеллект». Инициатива получила большой резонанс. Более 160 000 студентов зарегистрировались на курсе, что почти в 10 раз превышало количество невиртуальных студентов Стэнфорда. Хотя этот курс окончили далеко не все из тех, кто записался на него, он стал глобальным «событием интернета». Класс Труна и Норвига стал прообразом новой дешевой формы обучения, которая не только уравнивает правила игры, делая лучших преподавателей мира доступными для любого человека, но и угрожает бизнес-моделям дорогостоящих элитных университетов. Зачем платить за обучение в Стэнфорде, если можно пройти аналогичный курс в Городском колледже?»

«Проблема скучающих водителей» в автомобилях с автопилотом:

«Это назвали проблемой «передачи управления». Надо было решить, как быстро возвращать «к реальности» человека, который может читать электронную почту, смотреть фильм или даже спать. Понятное дело, люди в беспилотниках клюют носом гораздо чаще, чем думают. Именно с этим столкнулась автоиндустрия в 2014 г., когда появились системы помощи в пробках. Водитель должен держать руль хотя бы одной рукой с перерывами не более 10 секунд. Если он не демонстрирует «присутствие», система подает звуковой сигнал и выходит из режима автопилота. Но ДТП происходят за доли секунды. По мнению Google, выходило, что в будущем эту проблему, возможно, удастся решить, но с существующими технологиями она неразрешима.»

Философия Тойоты и возвращение людей в производственный процесс (о том, почему так важны люди для успешного развития предприятия):

«В индустриальном мире такого еще не наблюдалось, но одним из любопытных сдвигов, указывающих на существование пределов автоматизации, стало недавнее решение компании Toyota о постепенном возврате людей в производственный процесс. В сфере массового производства Toyota давно является мировым лидером по применению средств автоматизации с ее корпоративной философией кайдзен (по-японски – «положительное изменение»), или непрерывного совершенствования. Достигнув почти полной автоматизации производства, компания поняла, что без людей заводы не могут улучшать себя. Некогда Toyota располагала штатом суперквалифицированных работников, известных как ками-сама, т. е. «боги», которые, по словам президента Toyota Акио Тоёды, могли создать все что угодно. Эти работники имели также свойственную человеку способность подходить к делу творчески и, таким образом, улучшать производственный процесс. Так вот, чтобы вернуть гибкость и креативность на свои заводы, Toyota решила восстановить 100 производственных зон с активным участием людей.»

Пример того, как из одного цифрового продукта случайно получается совсем другой:

«Лизл Каппер столкнулась почти на десятилетие раньше. Каппер, в то время генеральный директор занимавшейся разработкой виртуального собеседника австралийской компании My Cybertwin, просматривала регистрационный журнал созданного ею сервиса My Perfect Girlfriend с растущим ужасом. My Perfect Friend должен был стать чат-ботом, демонстрирующим технологии обработки естественного языка, предлагаемые компанией Каппер. Но эксперимент пошел не в ту сторону. Прочитав сообщения веб-сайта, Каппер обнаружила, что стала оператором цифрового борделя.»

МОЕ МНЕНИЕ ОБ ИЗДАНИИ: Качественное издание в традиционном для «АНФ» оформлении. Формат стандартный (145x215 мм), твердый переплет, без суперобложки, 406 страниц. Достоинства издания: хорошее качество печати; белая бумага; твердый переплет, наличие колонтитулов, информация об авторе, комментарии, предметно-именной указатель, иллюстрации с подписями. Недостатки издания: не обнаружено. ПОТЕРЯЛ БЫ Я ЧТО-НИБУДЬ, ЕСЛИ БЫ ЕЕ НЕ ЧИТАЛ: Больше да, чем нет. Джон Маркофф хороший журналист, не первое десятилетие наблюдающий за развитием Кремниевой долины и ультрасовременных технологий. В его книге много имён, компаний, событий… но, к сожалению, не так много более глубокого анализа, отражающего характерные для индустрии тенденции и концепции. Тем не менее, из книги можно почерпнуть интересные идеи, а тема ее для каждого из нас с каждым днём становится актуальнее. КОМУ ПОРЕКОМЕНДОВАЛ БЫ: Тем, кому интересна история создания искусственного интеллекта и разумных машин, кому интересна история Кремниевой долины и кого волнует информатизация, все больше и больше поглощающая мир. ВИДЕО В ТЕМУ: Сейчас в автомобилях все шире и шире применяются различные системы автопилота. Одна из самых успешных и эффективных систем у автомобилей Tesla. Более того, теперь мы можем буквально увидеть дорожную ситуацию «глазами» машинного зрения. Ниже – один из таких примеров.