Текст книги "Искусственный интеллект. Большие данные. Преступность"

Вторая группа угроз сопряжена с особенностями программного обеспечения ИИ. На сегодняшний день и, видимо, в период ближайших пяти лет, алгоритмическим ядром ИИ будут выступать нейронные сети вкупе с машинным обучением. Как уже отмечалось, по сути, нейронные сети – это программная поисковая среда, которая постоянно меняется за счет перенормирования удельных весов, определенных программой, в зависимости от фактически полученных результатов.

Если в 2015–2017 гг. ИИ использовал простые нейронные сети, соответственно, и разработчики и аналитики хорошо понимали значение перенормировок на каждой итерации расчетов, то нынешние глубокие сети оказываются для человека черным ящиком. Фактически возникает ситуация, когда машины делают выводы, которые в подавляющем большинстве являются точными, но как и почему они делаются, люди не понимают. Фактически ИИ превращается в черный ящик, относительно которого известны только вход и выход.

В научных и политических дискуссиях, которые ведутся вокруг модели «ИИ как черный ящик», прежде всего, в США, а также Великобритании и Израиле, на первый план выступает стремление сделать этот черный ящик прозрачным и понятным для аналитиков. Однако если посмотреть статистику фактических инцидентов с ИИ, то заботиться надо не о вскрытии черного ящика, а о явном задании времени оптимизации.

Многие исследователи опасаются, что компьютер при решении той или иной задачи построит программу, в которой оптимизироваться должно то, что оптимизируемым с точки зрения человеческого общества ни в коем случае быть не может. Грубо говоря, существует перезагруженный авиационный маршрут. Число желающих осуществить перелет намного превышает возможности авиакомпании. Компьютер, рассмотрев различные способы решения этой проблемы, пришел к выводу, что лучшим вариантом будет серьезная авария без смертельных случаев, но с большим числом раненых самолета данной авиакомпании на данном маршруте. Модель показала падение числа желающих до нормативного уровня. У математиков эта ситуация известна как отсутствие запрета на скрытую оптимизацию.

Данный пример показывает не только появление принципиально новых угроз, но и принципиальное различие в подготовке, анализе и принятии решения у человека и компьютера. Человек отказался бы от подобной оптимизации на самой ранней стадии разработки темы. А компьютер выбрал ее как основную.

Еще одна группа угроз связана, как это ни парадоксально, с притуплением внимания и снижением ответственности лиц, принимающих решения, чьим советником является ИИ. В отличие от триллеров и фантастических блокбастеров, лица, принимающие решения, это, в подавляющем большинстве, обычные по интеллектуальным способностям средние люди. Они находятся под прессингом воздействия социальных СМИ, телевидения, интернета, которые изо дня в день вот уже на протяжении двух-трех лет рассказывают о всемогуществе ИИ. Соответственно, даже в тех случаях, когда окончательные решения остаются за человеком, а ИИ дают лишь рекомендации, то, как показали эксперименты в университетах Йокогамы (Япония) и Ванкувера (Канада), лица, принимающие решения на уровне полицейских управлений городов, более чем в 98 % случаев солидаризировались с рекомендациями ИИ и принимали те решения, которые де-факто выработал ИИ.

В одном случае опыт проводился для 70 ситуаций, в которых принимали участие три полицейских начальника, а в другом – для 300 ситуаций, где работало пять начальников. Самым удивительным итогом эксперимента стало следующее. ИИ дали неправильные ответы по оценке ситуации для Японии примерно в 20 % случаев, для Канады – в 17 %. Начальники же в тех примерно 10 % случаев, где приняли решение вопреки ИИ, правы оказались лишь в Канаде в 5 %, а в Японии – ни в одном. Данные выкладки показывают, что тема гибридного или человеко-машинного интеллекта чрезвычайно сложна. В конечном счете, мы пытаемся соединить то, в чем мы вообще ничего не понимаем, – человеческое сознание, с тем, что является техникой в первом поколении ИИ, и надеемся на базе этого соединения успешно решать все проблемы.

Рассмотрим основные сценарии злонамеренного использования ИИ

Ключевой угрозой является автоматизация социальной инженерии. С помощью ИИ на человека, являющегося целью социальных инженеров, собирается досье. При этом особое внимание обращается на его непроизвольные автоматические реакции, которые и будут использоваться социальными инженерами при фишинговых атаках, использовании телефонии и т. п. По мере развития ИИ в целях обеспечения анонимности возможно использование социальными инженерами чат-ботов, которые будут вести разговоры с жертвами. Наряду с автоматизацией социальной инженерии следует ожидать использования ИИ для улучшения выбора целей и определения приоритетов в злонамеренных атаках. Автономное программное обеспечение, внедренное в атакуемую сеть, будет в течение долгого времени обеспечивать ИИ необходимой информацией.

Следует ожидать, что уже к 2020 году практически на всех континентах будут широко использоваться беспилотные летательные аппараты, управлявмые ИИ. Наряду с бизнесовым и личным использованием дронов, следует ожидать их массовой закупки преступниками и террористами, например, для транспортировки наркотиков и доставки взрывчатых веществ.

Недооцененным, но чрезвычайно важным обстоятельством является использование элементов ИИ как способа компенсации низкой квалификации людей. Например, активное применение наводящихся с использованием ИИ снайперских винтовок дальнего действия, с джойстиками для управления, заметно снижает требования к профессиональной подготовке боевиков. Вооруженный подобной винтовкой малообразованный и не имеющий боевого опыта человек по эффективности действий может соответствовать бывалому бойцу спецназа.

ИИ позволит перейти к принципиально новым типам боевых действий. ИГИЛ в ходе боевых действий 2017 г. активно использовал шахид-мобили. В среднем цели достигала пятая часть шахид-мобилей. Если предположить, что шахид-мобили будут иметь связь с ИИ, который одновременно будет соединен с дронами, показывающими топографию местности и боевую ситуацию, то результативность шахид-мобилей может быть увеличена в два-три раза.

§ 4. ИИ и преступность будущего

Сегодня писатели, аналитики и представители СМИ основное внимание при анализе будущего преступности уделяют ИИ.

По оценкам аналитиков ФБР США в ближайшие годы главный ущерб американским домохозяйствам и корпорациям будут наносить хакеры и обычная традиционная беловоротничковая преступность. Однако это не означает, что не надо смотреть в будущее. Надо просто здраво оценить те направления, где преступники будут в первую очередь использовать систему ИИ.

Существуют три причины, по которым ИИ в ближайшие годы вызовет жгучий интерес у криминала в США. Первая причина – несомненное первенство Америки в области информационно-коммуникационных технологий. Уровень оснащенности программно-аппаратными комплексам самого различного типа домохозяйств, корпораций и государственного сектора является беспрецедентным в мире. По усредненным оценкам ведущих исследовательских центров, США в области ИКТ в сфере разработок опережают страны Большой семерки на пять-семь лет, а в фазе применения – на три-четыре года. Однако столь высокий уровень оснащенности имеет и оборотную сторону. Сегодня телекоммуникационные сети и компьютерные устройства всех типов представляют собой наиболее важную инфраструктуру США, превосходящую по своему значению коммунальную, транспортную и энергетическую. Не будет преувеличением сказать: существование США возможно только при работающих компьютерных сетях.

Любые сети нуждаются в защите. Все люди, обладающие минимальной компьютерной грамотностью, знают о стандартах информационной безопасности. Это уровень информационной безопасности, гарантирующий домохозяйства, корпорации или государственные учреждения от проникновения в сети хакеров, организации информации или даже перехват ими управления.

Если взять третью по вкладу в ВВП отрасль США – финансы, то выясняется удручающая картина. Для того чтобы американские банки и инвестиционные институты смогли модернизировать системы информационной безопасности, они должны при условии безубыточной работы и отсутствия инфляции начать выдавать кредиты под 7–9%. Это убьет американскую экономику.

Иными словами, в ближайшие годы и США, и другим странам предстоит жить в опасном мире.

Вторая причина притягательности ИИ для криминального сообщества – это характер киберпространства. Если при должной работе министерства внутренней безопасности, миграционных служб, полиции и т. п. США, по оценкам ФБР, может положить конец нелегальной миграции, то в киберпространстве, увы, стену не построишь.

Между тем, динамика такова, что из года в год доля компьютерных преступлений, а точнее преступлений, осуществленных в киберпространстве, в общем объеме преступности неуклонно растет. Если в 2000 г. на долю компьютерной преступности приходилось не более 5 % от общей криминальной добычи и ущерба, в 2007 – 12 %, в 2010 – 25 %, то в настоящее время, по оценкам Центра изучения компьютерной преступности Северо-восточного университета в Чикаго – не менее 45 %, а по данным ФБР – около 30 %. Это – экспоненциальный рост. При этом доля открываемых уголовных дел по компьютерным преступлениям в США в пять-шесть раз ниже, чем по традиционным видам преступности.

Преступность необратимо уходит и действует через киберпространство. При этом необязательно, чтобы само преступление совершалось в виртуале. С появлением интернета всего киберпространство все чаще используется для совершения традиционных преступлений при помощи нетрадиционных орудий и методов.

Как было заявлено на Всемирном экономическом форуме (ВЭФ) в январе 2017 г., растущая взаимная киберзависимость инфраструктурных сетей является одним из ключевых факторов риска в мировом масштабе. В докладе ВЭФ «Глобальные риски, 2017 год» говорится о том, что кибератаки, дефекты программного обеспечения и другие факторы могут привести к системным сбоям, которые способны «каскадно распространяться по сетям, влияя на общество самым неожиданным образом»[12]12
  World Economic Forum Global Risks Report, January 2017.


[Закрыть].

Отчет Совета национальной разведки США (январь 2017 г.), посвященный глобальным тенденциям, также содержит предостережение о том, что общество стоит перед «надвигающимся» риском киберразрушения – потенциально в массовом масштабе и с «летальными последствиями» – ввиду уязвимости критически важной инфраструктуры[13]13
  US National Intelligence Council, Global Trends: Paradox of Progress, January 2017.


[Закрыть].

В исследовании компании PwC (2018 г.) подчеркнуто, что большинство коммерческих структур, ставших их жертвами, утверждает, что не в состоянии точно установить лиц, совершивших кибератаки. Лишь 39 % участников глобального опроса заявили, что уверены в том, кому вменять киберпреступление. В России уверенность еще ниже, лишь 19 % респондентов могут определить источники кибератак[14]14
  Цифровое сообщество готовится отражать кибератаки. Исследование глобальных тенденций информационной безопасности на 2018 год. PwC, 2018, www.Ru/cybersecurity.


[Закрыть].

В мае 2017 г. лидеры стран «Большой семерки» взяли на себя обязательство сообща и вместе с другими партнерами работать над противодействием кибератакам и снижением их воздействия на критически важную инфраструктуру и общество. Спустя два месяца лидеры стран «Большой двадцатки» вновь признали необходимость обеспечения кибербезопасности и повышения доверия к цифровым технологиям.

Как отмечается в Отчете о Глобальном индексе кибербезопасности за 2017 год Международного союза электросвязи ООН, глобальное межсетевое взаимодействие способно подвергнуть киберрискам «что угодно и кого угодно», и «все что угодно, от критически важной государственной инфраструктуры до базовых прав человека может оказаться под угрозой»[15]15
  United Nations International Telecommunication Union, Global Cybersecurity, Index report, 2017.


[Закрыть].

В уже упомянутом Исследовании глобальных тенденций информационной безопасности на 2018 год (PwC) руководители организаций, использующих системы автоматизации и роботизации, отмечают осознание значительности потенциальных негативных последствий кибератак. В качестве основного возможного результата кибератаки 40 % участников опроса в мире и 37 % в России называют нарушение операционной деятельности, 39 % – утечку конфиденциальных данных (48 % – в России), 32 % – причинение вреда качеству продукции (27 % – в России); 29 % – нанесение ущерба материальному имуществу (30 % – в России) и 22 % – причинение вреда человеческой жизни (21 % – в России).

В интернете нет границ. Никакого отдельно американского, британского, китайского или русского интернета не существует. Соответственно юридическая база для работы правоохранительных органов, сложившаяся для обычного пространства не подходит для киберпространства.

Как данные ФБР и правоохранительных органов, так и результаты исследовательских тем, открытых в ведущих университетах США, позволяют говорить, что в настоящее время отсутствуют признаки целенаправленных усилий ОПГ по созданию собственных разработок в области ИИ.

Данное обстоятельство трактуется многими практиками следующим образом: в ближайшей перспективе ФБР и полиция, взяв на вооружение ИИ, получат решающее превосходство над киберпреступностью и другими видами организованного криминала.

Даже если абстрагироваться от иностранных преступников, оперирующих в киберпространстве США, американский криминал неизбежно в ближайшие годы начнет практически использовать ИИ.

Успешные преступники, работающие по-крупному в таких сферах как финансы, крупномасштабная контрабанда, нелегальная купля-продажа интеллектуальной собственности и т. п. – люди предельно рациональные. На данном уровне разработок в области ИИ у них нет необходимости привлекать внимание, вербуя в свои ряды команды наиболее продвинутых стартапов, за которыми охотятся военное и разведывательное сообщества, крупнейшее корпорации. Сегодня это не нужно. Почему?

Прежде всего, стремясь минимизировать издержки и привлечь к развитию собственного продукта максимальное количество внешних, в значительной степени бесплатных, разработчиков, большинство ведущих производителей платформ ИИ уже выпустили платформы с открытым кодом: Tensorfl ow, BigSur, Torch, SciKit, Caffe, CNTK, DMTK, Deeplearning4j, H2O, Mahout, MLLib, NuPIC, Project MalmoMicrosoft DeepMindGOOGLE.

По мнению аналитиков ФБР, использование ИИ криминалом в США в течение ближайших пяти лет будет иметь место в нескольких приоритетных сферах. Их объединяет наиболее благоприятное для криминала соотношение трех переменных: полученный преступный доход, совокупные приведенные издержки на подготовку, совершение и сокрытие преступления, и уровень риска.

1. Использование ИИ для компрометации и имплантации вредоносного софта в действующие платежные системы, в основном использующие протокол блокчейн.

Большая четверка (Visa, MasterCard, American Express и Dinner Club) вложила огромные деньги в создание инфраструктуры информационной безопасности. Тем не менее, преступники кладут в свой карман не менее одной десятой доходов процессинговых компаний. Одноранговые платежные системы вытесняют процессинговые компании. Прежде всего, за счет экономики издержек для клиентов. При этом по состоянию на 2017 г. из без малого 30 платежных сервисов, построенных на блокчейне, действующих в США, лишь семь удовлетворяют требованиям компьютерной безопасности. Соответственно, подсоединение к платежным сервисам, и добавление к каждой транзакции порядка 0,1–0,3 % принесет миллиардные доходы преступникам при отсутствии какого-либо риска.

Программы ИИ в данном случае крайне важны. Они позволяют использовать методы глубокого обучения нейронных сетей для взлома и перепрограммирования платежных протоколов, построенных на блокчейне. Эксперименты, проведенные в университете Санта-Фе и Дармурдском университете, показали, что программы ИИ справляются с этой задачей эффективнее, чем люди-программисты. Уязвимость заключена в блокчейне. Он, как любой код, базируется на правилах и алгоритмах. Именно на них построены игры – от шахмат до покера, где ИИ победил человека.

2. На долю высокотехнологичного киберкриминала, извлекающего прибыль из торговых операций крупнейших финансовых институтов, приходится 40–50 млрд, долларов ежегодно. Это – наиболее прибыльная, хотя и достаточно рискованная сфера организованной киберпреступности.

Поскольку в последние несколько лет развернулась настоящая гонка финансовых вооружений, выражающаяся в совершенствовании всеми крупнейшими финансовыми институтами своих платформ на основе ИИ, преступникам даже для того, чтобы хотя бы сохранить долю доходов, необходимо участвовать в этой гонке. В этой связи использование преступными группами ИИ для операций на финансовых рынках путем проникновения и компрометации торговых платформ не оставляет для криминала другой возможности, как использовать лучшие решения ИИ с открытым кодом. В отличие от ситуации в платежном бизнесе, где в 2017–2020 гг. следует ожидать резкого увеличения размеров и доли преступных доходов в обороте платежных систем, в алгоритмическом трейдинге в краткосрочной перспективе доля преступников будет снижаться. Вряд ли в ближайшие годы им удастся не только вырваться вперед, но и просто сохранить паритет в оснащенности программами с ИИ по сравнению с ведущими финансовым институтами.

3. Есть основания полагать, что по мере развертывания технологической гонки интерес киберпреступников к интеллектуальной собственности будет только нарастать. Известно также, что для вскрытия сегодняшних мощных систем корпоративно-информационной безопасности все шире используются многофункциональные программы, в основе которых лежат самосовершенствующиеся алгоритмические модули. Подобные модули – это ключевой элемент ИИ.

Эксперты ФБР констатируют, что США оказалась не готова к отпору хакерским группировкам, нацелившимся на интеллектуальную собственность, принадлежащую корпорациям, федеральному правительству и университетам.

Средний срок пребывания хакерского софта в корпоративных сетях в тех случаях, когда он в итоге бывает все-таки обнаружен, увеличился с 2014 по 2016 гг. с примерно 150 до 230 дней. При этом, по оценке экспертов ФБР, удается обнаружить примерно 30–40 % от общего числа активных проникновений в корпоративные сети. И это – в крупнейших компаниях.

4. Использование ИИ для разведывательной деятельности организованной преступностью против полиции и ФБР.

Колумбийский наркокартель Кали еще в начале 90-х годов прошлого века приобрел мощную компьютерную систему IBMAS/400, стоившую в те времена полтора миллиона долларов, и обзавелся штатом сисадминов и программистов, разрабатывающих специализированный софт для datamining.

Техника была нужна для того, чтобы прочесать краденые базы данных с рабочими и домашними телефонами сотрудников американских спецслужб и дипломатических работников в Колумбии, сопоставить их с полным списком всех телефонных звонков, которые совершаются в стране, и выявить потенциальных информаторов, подлежащих ликвидации.

Если ОПГ не могут уничтожить базы правоохранителей, то они, очевидно, пойдут другим путем. В любой системе самый уязвимый фактор – это человек. В течение 2016–2017 гг. ФБР внимательно отслеживало попытки на черном рынке купить те или иные базы изображений с видеокамер, установленных в кафе, торговых центрах, рядом с полицейскими участками, зданиями ФБР и т. п. Это наводит нас на мысль, что преступники начали создание собственной базы данных с использованием примерно тех же решений ИИ, что и правоохранительные органы. Первая – это база агентов под прикрытием и осведомителей. В делах, относящихся к компетенции ФБР, более чем в 70 % случаев успех был связан с работой этих отважных людей.

Также ожидаются попытки создания криминалом баз данных на сотрудников информационных центров полиции штатов и ФБР. То есть людей, допущенных в святая святых. С учетом того, что у каждого, даже самого преданного и отважного правоохранителя есть уязвимые места, создание подобных баз могло бы иметь гибельные последствия.

§ 5. Робототехника: риски и угрозы

Энциклопедия «Британика» определяет робота как «любую автоматическую машину, выполняющую работу человека». В соответствии с определением Международной федерации робототехники (International Federation of Robotics, IFR) «робот – это рабочий механизм, программируемый по нескольким осям с некоторой степенью автономности и способный передвигаться в пределах определенной среды, выполняя поставленные задачи. В представлении большинства ученых и практиков робот – «любая машина, способная воспринимать окружающую среду и реагировать на нее на основе самостоятельно принимаемых решений»[16]16
  См.: Кайснер Э. Робототехника: прорывные технологии, инновации, интеллектуальная собственность. Форсайт, т.10. № 2,


[Закрыть].

Ключевым отличием роботов от других машин считается «автономность»: робот способен интерпретировать среду, в которой находится, и адаптироваться под поставленные задачи. Роботы эволюционируют от запрограммированного автоматизма к полуавтономным и более автономным сложным системам. Полностью автономные системы могут действовать самостоятельно и принимать «решения» без участия человека.

Исходя из общего определения, дистанционно управляемые устройства не могут считаться «роботами». Тем не менее, некоторые из них все же признаются таковыми. В число «дистанционных» устройств робототехники входят роботы телеприсутствия, управляемые на расстоянии андроиды, роботизированные хирургические устройства, экзоскелеты и беспилотные летательные аппараты (БПЛА) (их также называют «дронами»). Это же относится к некоторым игрушкам и учебному оборудованию.

Полу автономные устройства частично управляются людьми, однако, в отличие от «дистанционных», предоставляют информацию, которая облегчает операторам выполнение задач и помогает в управлении такими системами. Например, в эту группу входят полуавтоматические устройства, все чаще используемые в автомобилях, и некоторые промышленные роботы, нуждающиеся в получении четких инструкций от оператора.

Полностью автономные устройства способны самостоятельно принимать «решения» в среде своего назначения и выполнять задачи без помощи человека. Как правило, они не могут творчески мыслить, хотя и проектируются для непредсказуемых ситуаций, в которых невозможно заранее прописать все решения.

Искусственный интеллект (ИИ) – самостоятельная область теории вычислительных машин и систем, изучающая возможности создания устройств, способных принимать разумные решения. В этом их принципиальное отличие от полностью автономных устройств, хотя и отчасти размытое.

В последние годы робототехника развивается поистине взрывным образом. Если в 2010 г. в промышленности была 121 тыс. роботов, и все без ИИ, то к началу 2018 г. практически использовались более 350 тыс. промышленных роботов, из которых минимум треть оснащена ИИ. Еще более внушительные цифры характеризуют использование сервисных роботов. В 2010 г. в США использовалась 41 тыс. сервисных роботов. К началу 2018 года – 5,4 млн. Только дронов в США официально зарегистрированов Федеральной авиационной администрации 670 тыс. штук. С каждым годом расширяется использование роботов в вооруженных силах США и в целом странах НАТО. Поставлена задача, чтобы к 2025 г. на каждого строевого бойца на поле боя приходилось как минимум 2 действующих робота и не менее 1,7 робота поддержки, включая связь, тыловые функции и т. п.

Как это ни парадоксально, тотальная роботизация сопровождается все большей открытостью всех робототехнических компонентов любому пользователю. Примерно 85 % софта, используемого в роботах, в том числе в военных роботах, размещено в открытых депозитариях. IBM, Samsung и Ford пошли еще дальше. Они полностью открыли спецификацию соответствующего харда своих гаджетов для любых пользователей. Если еще 2–3 года назад для того, чтобы создать боевого робота, были необходимы значительные ресурсы, как минимум 150 тыс. долларов и квалифицированные программисты, то сегодня можно уложиться в 3–5 тыс. долларов на закупку компонентов и примерно 10 тыс. долларов для программистов, которых можно нанять удаленно. Все специалисты по национальной безопасности уверены, что преступные, а возможно и террористические группировки уже располагают боевыми роботами.

Появлению новых типов БЛА у деструктивных структур будет способствовать и следующее обстоятельство. 19 апреля 2018 г. президент США Дональд Трамп утвердил новую политику США в сфере экспорта беспилотных авиационных систем (U.S. Policyon the Export of Unmanned Aerial Systems), которая будет действовать в отношении воздушных роботов всех классов и типов, разработанных и выпускаемых на территории Соединенных Штатов.

Суть новой политики, которая заменяет собой аналогичный документ, утвержденный президентом США Бараком Обамой 17 февраля 2015 года, – максимально облегчить американским компаниям экспорт продукции такого рода.

Во-первых, упрощается сама процедура продажи таких вооружений: отныне компании могут продавать свою бесчеловечную продукцию любой стране мира напрямую в рамках двусторонних контрактов, а не через сложную и забюрократизированную Программу продажи вооружений и военной техники иностранным государствам (Foreign Military Sales – FMS).

Во-вторых, радикально упрощается процесс продажи за рубеж разведывательных беспилотников, которые не обладают изначально возможностью применения различных средств поражения, но оснащены лазерными дальномерами и целеуказателями. Теперь поставлять такие беспилотники можно без дополнительных разрешений – либо в рамках программы FMS, либо и вовсе напрямую.

В-третьих, упрощается продажа беспилотников гражданского назначения, которые любая американская компания может поставлять за рубеж, просто получив соответствующую лицензию.

Существуют свидетельства, что люди неоправданно доверяют автономным мобильным роботам. Проблем здесь две. Первая – в достаточно высоком числе отказов в таких системах. Вторая, более важная – в том, что роботы, как уже указывалось выше, сами не обладают достаточным уровнем кибербезопасности. Если в прошлом склонить солдат и офицеров к измене было делом весьма сложным, а подчас и невозможным, то перепрограммировать роботов на поле боя или в тыловых системах не составляет для опытных программистов труда. Вполне может получиться, что в боевых робототехнических системах самым уязвимым элементом окажется не человек, а робот.

Вычисления ИИ и человеческое мышление на уровне логики, топологии и смысла качественно различны. Что же до вычислений ИИ и расчетов боевого робота, они либо одинаковы, либо боевой робот представляет собой своего рода внешний орган распределенного вычислительного интеллекта. При такой неоднородности система становится крайне уязвимой, а ее негативные действия – прогнозируемы.

В настоящее время существует относительно ограниченное число крупных компаний, производящих роботов. Например, DJI в настоящее время производит примерно 70 % всех продаваемых в мире дронов. Эта концентрация делает аппаратную экосистему более понятной и управляемой. Соответственно, в рамках типовых решений используются и типовые программы информационной безопасности. Поскольку ключевым вопросом для потребителя является соотношение цены и качества, то компания-производитель стремится сэкономить на всем, и прежде всего на сторонних закупках. Кибербезопасность дрона – это сфера сторонних закупок компании-производителей у компаний, специализирующихся на антивирусных программах и корпоративной безопасности.

Дополнительные проблемы для кибербезопасности создает длинная цепочка кооперации при выпуске роботизированных изделий, оснащенных ИИ. Существует множество инфраструктур с открытым исходным кодом, например, для компьютерного зрения, навигации и т. п. Соответственно, каждый производитель комбинирует в системе модули с открытым исходным кодом, дополняя ими собственные фирменные узлы и программы с закрытым исходным кодом. Однако надо понимать, что программная среда отличается от физической. Если в физической среде можно четко отделить компоненты, реализующие открытый исходный код, от компонентов с закрытым кодом, то в программной среде такого разделения нет. Соответственно, создавший эксплойт[17]17
  Эксплойт – компьютерная программа или фрагмент программного кода, которая использует уязвимости в программном обеспечении в целях проведения кибератаки.


[Закрыть] для внедрения в открытый исходный код, имеет большие шансы проникнуть и в закрытую часть программы. Сегодняшние роботы с ИИ не только бытового и производственного, но и военного значения весьма уязвимы перед атаками, а тем более атаками с использованием ИИ.

Необходимо отметить три важнейших тенденции, которые определяют будущее робототехники:

• постепенно ведущие робототехнические компании переходят от производства уникальных серий к изготовлению унифицированных блоков. Из этих блоков различной конфигурации собираются подобно игрушкам лего коммерческие, военные, сервисные роботы и т. п.;

• чем дальше, тем больше единая робототехника распадается на два уровня: высокотехнологичную и элементарную робототехнику. Элементарная робототехника производится для выполнения однородных операций, как правило, в промышленности и логистике. Высокотехнологичная робототехника, в отличие от элементарной, представляет собой системы с ИИ в сердцевине и роботами, как периферийными устройствами, применительно к которым осуществляется коллективное машинное обучение. Роботы становятся своего рода сенсорами и одновременно рабочими инструментами ИИ, подобно тому, как руки могут быть рассмотрены в качестве рабочего инструмента сознания;

• в настоящее время более 85 % роботов лишь относительно автономны. Люди продолжают играть значительную роль в управлении их поведением. Особенно это касается принятия решений в многокритериальных ситуациях. При этом тенденцией является повышение уровня автономности. Эта тенденция проявляет себя во всех трех основных сферах применения роботов: сервисном, бизнесовом и военном[18]18
  См. более подробно: Джордон Д. Роботы. М., 2017; Минделл Д. Восстание машин отменяется! Мифы о роботизации. М., 2017; Форд М. Роботы наступают: Развитие технологий и будущее без работы. М., 2016.


[Закрыть].

Обобщение полученных статистических данных о боевых роботах в зарубежных странах показывает, что на сегодняшний день:

• несмотря на то, что большинство разработанных роботов специального назначения по-прежнему представляют собой БЛА, доля специальных роботов наземного и морского применения на мировом рынке стремительно растет;

• основная часть разработанных РТК специального назначения представляет собой конструктивно новые дистанционно-управляемые образцы техники легкого и среднего класса, выполняющие разведывательные (осмотровые) задачи тактического уровня.

Специалисты прогнозируют, что в опытноконструкторских работах по созданию роботов специального назначения третьего поколения будут реализованы:

• повышенная ресурсная автономность;

• модульность построения и реконфигурируемость;

• конструктивная и технологическая унификация образцов и их ключевых функциональных компонентов;