Текст книги "Роботы-убийцы против человечества. Киберапокалипсис сегодня"

Владимир Овчинский, Елена Ларина
Роботы-убийцы против человечества. Киберапокалипсис сегодня

© Е. С. Ларина, 2016

© В. С. Овчинский, 2016

© Книжный мир, 2016

Введение

Как только человечество стало говорить и писать о роботах, возникло две тенденции. Одна описывала светлое будущее, где роботы заменяют человека на самых тяжелых работах и являются другом человека. Другая – рисовала мрачные картины роботов-убийц и автоматизированных систем вооружения. Иными словами, роботов как врагов человека. И та, и другая тенденции благодаря Четвертой производственной революции реализованы в XXI веке. Мы наблюдаем невиданный взлет роботизации. Роботы уже способны заменять врачей, космонавтов, геологов. Но роботы одновременно в разных концах света убивают людей, участвуют в совершении преступлений. Выдающиеся умы человечества рисуют апокалиптические картины власти роботов над людьми как высшей стадии развития искусственного интеллекта.

Не удивительно, что при упоминании о роботах первым делом вспоминается не трудяга Бакстер, вкалывающий на окрасочной или сборочной линиях, а грозный Терминатор и всемогущий Скайнет. Одной из самых больших страшилок начавшегося XXI века стал искусственный интеллект.

Самыми покупаемыми и читаемыми в Америке книгами нехудожественной тематики стали книги об угрозах искусственного интеллекта. Они издаются на бумаге и в электронном формате. Им посвящены многочисленные электронные ресурсы в интернете. О них говорят на ток-шоу и специальных программах телевидения. Подавляющее большинство американцев и европейцев прочли такие книги, как «Superintelligence: Paths, Dangers, Strategies» Н. Бострома, «Smarter Than Us: The Rise of Machine Intelligence» С. Армстронга, «Rise of the Robots: Technology and the Threat of a Jobless Future» М. Форда. Чего стоят одни названия этих книг. «Последнее изобретение человечества», «Умнее, чем мы», «Опасности суперинтеллекта» и т. п.

Все эти и им подобные книги и статьи, число которых множится не по дням, а по часам, объединяет один, достаточно простой посыл: вот-вот будет создан искусственный интеллект, который сделает машины умнее, а значит и могущественнее людей. Соответственно, не машины будут прислуживать людям, а люди, в лучшем случае, будут служить машинам или превратятся в них. Именно о последнем говорит одно из самых популярных движений на Западе, под названием – «трансгуманизм».

Суть трансгуманизма в том, что скоро люди смогут переселиться из белковых тел в компьютерные программы, размещенные на сменяемых носителях, для начала железных, а потом любых иных. Сегодня это уже не маргинальное течение мысли интеллектуалов-извращенцев, а вполне себе авторитетное международное движение, во главе которого стоит вице-президент корпорации Google Рей Курцвейл. Не отстают и россияне. Они палят как всегда непонятно как заработанные деньги на трансгуманистический проект «Россия 2045». Этот проект предусматривает создание в России к 2045 году полностью искусственного существа, в которое может быть пересажен разум обычного человека.

Уверенность в грядущем могуществе искусственного интеллекта, который видится как более мощный, бессмертный и умный, по сравнению с человеческим, охватила не только обывателей, политиков и айтишников, но и отдельных биологов, специалистов в области когнитивных наук, психологии и т. п. Они все чаще и чаще в своих научных работах начинают уподоблять человека компьютеру, софт – сознанию, а хард – мозгу.

Понемногу эта точка зрения становится, что называется, господствующей, общепринятой и даже не подлежащей обсуждению. Между тем, прежде чем написать несколько слов о роботах, пора посмотреть, а действительно ли грядущее торжество искусственного интеллекта столь уж гарантировано?

Есть основания полагать, что, сравнивая человеческий и машинный интеллекты, мы затушевываем реальную проблему, делаем ее для нас более привычной, а соответственно и воспринимаемой. Если уж писать совсем на чистоту, то подобный взгляд на искусственный интеллект, как это ни удивительно, не преувеличивает опасность, а преуменьшает ее. Ведь господствующая точка зрения состоит в том, что искусственный интеллект и обладающие им роботы будут в основном такими же, как люди, только прочнее, мощнее и умнее.

Однако мы предлагаем читателям поразмышлять над парадоксом, который забывают все авторы книг об искусственном интеллекте. В них предполагается, что искусственный интеллект будет создан на основе нейросетей. А нейросети – это копия нейронов и прочих компонентов человеческого мозга. Т. е. искусственный интеллект – это своего рода кремниевый мозг и загруженные в него программы. Однако, вся проблема в том, что хотя для психики мозг и необходим, более того, сознание без мозга невозможно, в мозге само по себе сознание не содержится. Более того, мозг изначально не содержит человеческого интеллекта.

Доказать это очень просто. В истории зафиксировано более 100 задокументированных случаев, когда удавалось найти детей, подростков или молодых людей, которые были лишены человеческого общения и воспитывались животными или вообще находились в изоляции. Так вот, ни в одном из этих случаев, совершенно нормальные по своим физиологическим характеристикам люди, имеющие целостный, неповрежденный мозг, не мыслили по-людски. В лучшем случае, они были способны к звериному мышлению. Более того, в последние годы всплыли документы о экспериментах с подобного рода детьми и подростками, проведенными в 20-40-е годы прошлого века в нескольких странах мира. Суть этих экспериментов состояла в следующем. Параллельно основам человеческого языка и навыкам общения с человеком обучались своеобразные «Маугли» и представители тех животных, среди которых эти «Маугли» были воспитаны. Как ни парадоксально, лучше дело шло у обезьян и волков, чем у детей, попавших в группы обезьян и волков, и воспитанных ими.

Таким образом, вопрос о взаимосвязи мозга и мышления не так прост, как может показаться на первый взгляд. Также не прост вопрос о взаимосвязи уровня интеллекта и здоровья мозга, и человека в целом. Как уже отмечалось, дети с совершенно здоровым мозгом, но воспитанные животными, не то что не могли овладеть логикой, но их крайне сложно было обучить человеческому языку и навыкам социальной коммуникации. Между тем, в 60-70-е годы прошлого века в СССР под руководством великого философа Э. Ильенкова был проведен выдающийся по любым меркам эксперимент. В Загорской школе-интернате психологам – профессору И.А. Соколянскому и доктору наук А.И. Мещерякову – удалось вернуть к полноценной жизни слепо-глухо-немых детей. Все они, лишенные природных рецепторов, были обучены человеческому языку и мышлению. Пятеро из этой группы не просто окончили школу, а поступили в МГУ, а один – защитил докторскую диссертацию и стал профессором ЮНЕСКО.

Другая российская научная школа великих советских психологов С.П. Рубинштейна и А.Е. Буршлинского в результате длившихся десятилетия экспериментов неопровержимо установила, что человек одновременно использует два типа мышления. Один – применяемый человеком в привычной, стабильной обстановке – это так называемое алгоритмическое мышление, т. е. мышление по правилам. Второй тип мышления, используемый человеком, когда он сталкивается с неизвестным, это – неалгоритмическое мышление. Его называют по-разному – творчество, интуиция, мышление ассоциациями, метафорами и т. п. Если алгоритмическое мышление имеет много общего с вычислительным интеллектом, то творческое мышление пока никому в программно-аппаратном виде воспроизвести не удалось. Оно базируется на принципиально иных основаниях, нежели «да-нет» логика и двузначная система счисления, лежащая в основе любой современной компьютерной программы.

Мозг, конечно, важен, но человеческий мозг и психика – это не хард и софт, а нечто иное, наукой до конца не понятое. Как ни стараются специалисты в области нейрофизиологии, когнитивной психологии и т. п., непосредственно свести психику к мозгу, идеальное к материальному, информацию к материи – им это не удается. Остается что-то, что наука пока объяснить и разгадать не может.

Более того, в процессе обучения компьютеров играм удалось выявить еще одно весьма принципиальное отличие человеческого мышления от машинного интеллекта. Человек, это уже установлено неопровержимо, думает, что называется, мыслео-бразами. Он как бы мыслит глазами. Первичным является образ, а вторичным – слово или цифра. Тому есть множество подтверждений. Машина же всегда является вычислительной. Любая, самая сложная программа, включая знаменитого Watson, это, в конечном счете, огромный вычислитель. Он определенным образом преобразует двоичный код, или «да-нет» в определенные числовые программы. Вычисления и представляют собой, если можно так выразиться, компьютерное мышление или более точно – вычислительный интеллект.

Соответственно там, где действуют строгие правила, вычисления оказываются гораздо более эффективными, чем образы. Это в частности доказала история соперничества человека и компьютера в шахматах. После проигрыша в 90-е годы прошлого века чемпиона мира по шахматам Гарри Каспарова компьютеру IBM, машинный интеллект в шахматах навсегда доказал свое первенство перед человеческим. Но шахматы – это счетная игра, игра по правилам. Соответственно там, где устанавливаются четкие правила, и решается задача выбора наилучшего решения в рамках этих жестких правил, компьютеры уже стали или в ближайшее время станут принимать решения лучше, чем человек.

Люди тоже во многих случаях принимают решения по правилам. Просто у нас правила называются привычками, стереотипами, навыками и т. п. Каждый может вспомнить, как те или иные действия он выполнял машинально, или говорил, принимая то или иное решение: «Я действовал на автомате». Однако человеческое поведение не исчерпывается автоматизмом. Отличительной особенностью человека является способность менять правила, выходить за них, действовать за пределами привычек, стереотипов и навыков.

Вспоминая о шахматах, нужно держать в голове не только итог поединка Гарри Каспарова с Deep Blue, но и сеанс одновременной игры, который дал Остап Бендер в Васюках или боксера из песенки Высоцкого о поединке на звание чемпиона мира.

В человеческом мышлении, безусловно, присутствует, более того, занимает значительное место вычислительная компонента. Иначе бы люди не создали никакой математики, а соответственно не появились бы ни программирование, ни компьютеры, ни интеллектуальные роботы. Но вычислительная компонента у человека является не единственной. Как минимум не менее, а вероятно и более важным является не вычислительная, а образная, базирующаяся не на анализе, а на синтезе. Не зря поэты, которые зачастую видят проблему раньше и лучше ученых, написали строки типа: «мысль изреченная есть ложь». А ведь слово и цифра – это одно и то же, просто в разных языках.

К чему эти, казалось бы, далекие от темы роботов размышления? Все очень просто. Мышление, интеллект, подавляющее большинство современных исследователей из самых различных отраслей знаний – от математики до психологии, от военной стратегии до практики продаж – понимают как процесс принятия решений, т. е. выбор из различных альтернатив единственной в условиях неопределенности. Последнее означает, что по условиям, ни одно из имеющихся решений не является однозначно лучшим и очевидным.

Теперь мы подходим к главной цели нашего вступления, без которого невозможно понять ни текстов, напечатанных в книге, не послесловия к ним. Если понимать интеллект так, как изложено выше (а именно такое понимание соответствует и повседневному опыту и здравому смыслу и современной науке), искусственный интеллект – это не будущее. Он уже существует. Но слово «искусственный» затемняет суть дела, По сути это – иной интеллект. Это – вычислительный интеллект. Соответственно по-английски его правильно обозначать не привычной аббревиатурой IA, a QI (вычислительный интеллект), или OI (иной интеллект).

Главным является слово «вычислительный». Именно здесь содержатся огромные возможности и возможно еще большие угрозы для человеческого рода. QI может либо дополнить человеческий интеллект и соответственно породить принципиально новый, гибридный интеллект, либо помочь людям уничтожить себя и вместе с собой цивилизацию.

Проблема здесь вот в чем. Современные, а тем более будущие роботы, уже наделены зачатками, а в отдельных случаях и полноценным QI. При этом великий провидец, мыслитель и фантаст, кстати, имеющий российские корни, Айзек Азимов еще в 1942 году сформулировал три знаменитых закона робототехники. «Законы гласят:

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам».

Хитрость состоит в следующем. Поскольку роботы обладают не просто интеллектом, тем более не человеческим интеллектом, а именно QI, то в их программах должны быть прописаны жесткие правила. В них должно быть четко и главное однозначно определено, кем является человек. Если в программе под человеком понимаются все люди, без исключения, то тогда никакие военные, криминальные или разведывательные роботы невозможны в принципе.

Они не были возможны и раньше. Но сегодня в эпоху прокси-, гибридных, асимметричных, городских войн, использование роботов в военных и иных целях становится в соответствии с законами А. Азимова совершенно немыслимым.

Одной из главных особенностей вооруженных конфликтов является то, что в них теперь сложно определить, когда они начинаются и когда заканчиваются. Противники и союзники постоянно меняются местами. Фронт и тыл больше не существуют. В рамках одного города может идти мирная, повседневная жизнь и происходить вооруженные столкновения. Мирные граждане днем, могут становиться повстанцами ночью и т. п. Не зря наиболее точным названием вооруженных конфликтов современности является термин «нечеткие войны» или «войны без правил», «войны всех против всех».

Это войны, где контекст зачастую важнее того, что непосредственно видно и распознается. Это войны, где зачастую важно не считать, а понимать, где чутье и интуиция на малейшие признаки перевешивает сложные расчеты и многомерные модели. Оно и понятно. Это войны, где решения надо принимать не просто в условиях неопределенности, а по постоянно меняющимся правилам.

Теперь, мы надеемся, понятно, почему роботы, обладающие не искусственным, а вычислительным интеллектом, становятся чрезвычайно опасными, почему в этих условиях не роботы становятся угрозой для людей, а люди, взявшие на вооружение роботов с вычислительным интеллектом, создают невообразимые риски и огромные угрозы всему человечеству.

Не просто с каждым годом, а с каждым месяцем роботы и автономные автоматизированные системы все шире применяются в военном деле, в экономике, в быту. Однако, сама по себе концепция роботов и более того, ее программно-аппаратное воплощение – это не достижение сегодняшнего дня. Первые роботы современного типа появились еще в США, в Советском Союзе. Мало кто помнит, но в последние годы существования СССР робототехникой и полностью автоматизированными линиями, соответствующим лучшим мировым образцам, оснащались предприятия многих отраслей народного хозяйства. Советские беспилотники на рубеже 70-80 гг. прошлого века превосходили по оценкам западным экспертов, своих собратьев-роботов на Западе.

В то же время нельзя не признать, что как бы ни были совершенны роботы XX века, это были роботы прошлого в полном смысле этого слова. Информационная революция, появление интернета, прорывы в области электронных схем и процессоров, микроминиатюризации и производства новых материалов создали все предпосылки для появления роботов, способных реализовать возможности вычислительного интеллекта.

При этом запрещать что-то уже поздно. Джин выпущен из бутылки. Бывший министр обороны США Ч. Хейгел на презентации Третьей стратегической инициативы инвестиций и инноваций, нацеленной на перевооружение армии США, и активно реализуемой Пентагоном, сказал: «Любая высокая технология имеет тройное – гражданское, военное и криминальное – применение».

Роботы – не исключение. Более того, они – самое яркое и опасное правило. Смертоносные роботы с вычислительным интеллектом – это уже не персонажи фантастических книг и блокбастеров. Они берутся на вооружение армиями, террористическими группировками и транснациональными преступными формированиями. Это реальность, в которой нам предстоит жить и от которой не уклониться. Поэтому лучше не погружаться в сладкий дурман пропагандистских опусов и публицистических агиток, а узнать информацию о реальном положении дел, что называется, из первоисточников.

В книге собраны тексты, опубликованные во второй половине 2014-го и в 2015 г. ведущей американской «фабрикой мысли» – Центром новой американской безопасности. В нем работает много бывших руководителей Пентагона, военачальников, высших чинов американской разведки, всемирно известных исследователей. Также в книге представлен доклад межуниверситетского коллектива в составе лучших специалистов из ведущих американских учебных заведений и научных центров, подготовленный по заданию властей США. Также в книге представлены и другие актуальные тексты о боевых роботах и о применении роботов террористическими и преступными группировками.

Материалы, которые приводятся в данной книге, показывают, насколько реальность уже превзошла все фантазии. Это касается и боевых дро-нов, и новых автоматизированных систем ведения войны, и роботов в компьютерных сетях. Уже сейчас роботы массово убивают людей. Еще одна опасная тенденция – применение роботов в преступных целях террористами, мафиозными организациями. Звучащие призывы правозащитников и парламентариев разного уровня о внесении запретов на производство и применение роботов в боевых целях тонут в вале сообщений о разработке все новых и новых автоматизированных систем вооружения. К сожалению, каскад военных конфликтов, охвативших все континенты, не даст возможности сдержать разработку и применение боевых роботов. Надо быть реалистами в оценке ситуации. Перефразируя одного известного исторического деятеля: если мы не хотим оказаться жертвами чужих роботов, необходимо научиться конструировать и производить свои, лучшие и эффективные.

Введение в военные автономные системы. Центр Новой Американской Безопасности 2015 г. Извлечения из доклада

За последние несколько лет мы стали свидетелями подлинного взрыва в исследованиях, разработках и практическом применении автономных военных систем. Наряду с исследователями, конструкторами и технологами, программистами и разработчиками, кадровыми военными и экспертами в области национальной безопасности, эту тему активно обсуждают гражданские активисты, юристы, политологи, философы и специалисты по этике.

На фоне дискуссий важно понимать, что многие уже стоящие на вооружении боевые системы включают в себя элементы автономии. Часто встречающиеся в дискуссиях аргументы о том, что автономия – дело будущего, и можно предписывать разработчикам, конструкторам и технологам различного рода, в том числе этические, ограничения при развитии вооружений, не выдерживают столкновения с практикой. Уже существующие виды вооружений и методы ведения военных действий включают в себя фактор автономии. Уже поздно рассуждать на тему, хороша или плоха автономность боевых систем по отношению к человеку, допустима ли она по этическим и моральным критериям или нет. Автономность уже состоялась.

Автономность широко используется при решении военных задач, в том числе связанных с использованием боевого, латентного оружия. К числу военных задач, где наиболее широко используются автономные системы, относятся разведка, навигация, автоматические системы огня, системы маневрирования и самонаведения на цели, системы отложенного удаленного применения неподвижного (мины) или подвижного оружия и т. п.

По имеющимся сведениям в настоящее время автономные робототехнические системы (АРС) в военном деле используются в той или иной мере 30 государствами и несколькими негосударственными акторами. В подавляющем большинстве случаев АРС используются в качестве средств разведки, логистики, транспорта, автоматизированной доставки вооружений (самонаводящиеся ракеты) и т. п. Менее распространены Боевые Автономные Роботизированные Системы (БАРС), которые предусматривают автономное принятие решений об использовании огневой мощи или других типов поражающего оружия.

В настоящее время не существует согласованного на международном уровне, а тем более юридически обязывающего определения Автономного Оружия (АО), АРС и БАРС. Министерство обороны США, Международный Комитет Красного Креста, ООН и ее специализированные структуры используют достаточно близкие определения. Однако они далеки не только от юридически обязывающей формы, но даже и от терминологической стандартизации и четкости.

Еще более неопределенное значение АО придают различного рода активисты, выступающие за запрет «роботов-убийц». Этот термин они используют для обозначения АО. Причем под данную терминологию попадают у активистов практически все виды роботов, включая гражданских. Эти люди, как их предки несколько веков назад – луддиты, пытаются остановить технический прогресс, не допустить появления каких-либо роботов, которые могут быть использованы на производстве, в быту или в военных целях.

Отсутствие ясности и четкости в терминологии и общественном восприятии усугубляется тем, что некоторые политические и общественные силы призывают к юридически обязывающему внутреннему и международному регулированию или запрещению не только АО, но и АРС, не говоря уже о БАРС, еще до того, как будут приняты стандартные определения этих систем. Поэтому, прежде чем продвигаться вперед по юридическим и регулятивным тропам, необходимо на старте договориться, по крайней мере, о единой базовой терминологии.

Это достаточно сложная задача. Сегодня имеется не слишком много очевидных, бесспорных, ясных даже неспециалисту примеров АО, АРС и БАРС. Различного рода активисты и многие политические силы в своих предложениях опираются не на фактическое положение дел, а на свои прогнозы относительно будущего автономного оружия. Именно в будущем они черпают аргументы для запрета АО. Это требование проистекает из основной тенденции развития техники вообще, и робототехники в частности, предусматривающей постоянное увеличение автоматизации и все большее исключение человека из всех процессов функционирования техники, включая и принятие решений.

Предлагается, вместо того, чтобы оперировать примерами из фантастических романов и фильмов, тщательно проанализировать природу автономности и уже имеющиеся образцы АО, АРС, и на этой основе попытаться выработать стандартные определения.

Начать надо с ответа на три ключевых вопроса:

• Что такое автономия?

• Как автономия используется в оружии сегодня?

• Что такое АО?

Представленный материал не рассматривает подробно правовые, этические и политические вопросы, возникающие относительно оружия будущего. Цель материала иная – сформировать общепринятое понимание АО, АРС и БАРС, проанализировать, как автономность используется в уже имеющихся типах вооружений и в тех разработках, которые проводятся в настоящее время и в ближайшем будущем превратятся в оружие, включенное в арсенал вооруженных сил Соединенных Штатов.

Данный материал является итогом первого этапа работ в рамках проекта Американского Центра Новой Безопасности «Этика автономии». Мы надеемся, что он поможет всем размышляющим и пишущим на тему АО, АРС и БАРС использовать общую терминологию и видение. Мы также особо хотели подчеркнуть, что, хотя подавляющая часть автономных систем имеет отношение к робототехнике, строго говоря, автономные системы могут быть реализованы и помимо робототехники в электромагнитной среде при помощи программных средств, в том числе боевых компьютерных программ, вирусов и других форм небиологических активных систем.