Текст книги "Роботы-убийцы против человечества. Киберапокалипсис сегодня"

Что такое автономность?

В настоящее время термин «автономность» разные исследователи используют по-разному. Его применение различается не только по странам, но и по дисциплинам, и даже отдельным исследователям. Особое разнообразие наблюдается при рассмотрении АО. Это характерно не только для науки. Не меньшее разнообразие содержится в фантастике. Там под одним и тем же термином «автономного робота» фигурируют разнообразные железные персонажи, начиная от дружелюбного домашнего робота-слуги Айзека Азимова, подчиняющегося трем законам робототехники, до грозного Терминатора и гибельного Скайнета. Нет согласия в применении термина «автономности» даже в государственных документах. В одних из них термин «автономность» имеет собственное содержание. В других – используется исключительно как характеристика уровня автоматизации.

Однако, несмотря на то, что нет терминологического согласия, словосочетание уже прочно вошло в лексикон военных руководителей и официальных документов. Так, осенью 2014 года заместитель министра обороны США по закупкам, технологиям и логистике Фрэнк Кендалл в своем официальном выступлении, посвященном Третьей оборонной инициативе, сказал, что она будет сосредоточена в том числе на «обеспечении широкого использования автономности на всех полях боевых действий, включая воздух, землю, воду, космос и киберпро-странство». НАТО в своих официальных документах конца 2014 года отметило «необходимость максимально полного использования потенциала АРС в боевых действиях». Южная Корея в бюджете на 2015 год предусмотрела графу по финансированию разработки автономных роботизированных средств наблюдения и контроля над демилитаризованной зоной с Северной Кореей. Министр обороны России С. Шойгу в конце 2014 года заявил о необходимости «разработки и принятия на вооружение армии автономных роботизированных систем, обеспечивающих охрану ключевых военных объектов, разведку и транспортировку грузов и боевых систем».

В своей простейшей форме автономность представляет собой способность машины выполнить задачу без вмешательства человека. Таким образом, автономная система является машиной, а точнее алгоритмизированным средством. Автономными системами могут быть как аппаратные средства, так и программное обеспечение или программно-аппаратные комплексы самого различного типа. Главное, чтобы они могли после своей активации функционировать и выполнять поставленные перед ними задачи самостоятельно, без вмешательства и участия человека, за исключением в некоторых случаев контроля и управления в условиях форс-мажора.

Автономные системы (АС) не ограничиваются роботами или автоматическими транспортными средствами, типа Гуглмобиля. На самом деле, автономностью обладают многие типы промышленного, складского и транспортного оборудования и систем. Большинство автомобилей включает в себя автоматическую антиблокировочную систему тормозов, тяги и контроля безопасности, аварийную автоматическую систему ремней и подушек безопасности, круиз-контроль и т. п. Для военных самолетов уже долгое время применяются не только автопилоты, но и автоматические системы маневра в воздухе при обнаружении других воздушных судов или объектов, угрожающих столкновением. Автоматизация и роботизация производства, транспорта и быта стали не фантастикой, а повседневностью. Они обеспечили значительный рост производительности, экономию средств, возможность решения задач в сложных, вредных и деградировавших средах и т. п.

Три размерности автономности

Различное понимание автономности и терминологическая путаница в немалой степени обязаны историческому использованию слова «автономия», для обозначения трех различных явлений и процессов:

• контроля и управления в человеко-машинных системах, где автономия является характеристикой разделения функций между человеком и машиной;

• сложности машины;

• уровня автоматизации решений.

Эти три подхода различаются между собой и отражают совершенно не связанные между собой концептуальные схемы. Однако, люди, как правило, смешивают их вместе и пытаются создать термин, пригодный на все случаи жизни. Для того, чтобы выработать с одной стороны устраивающее всех определение автономии, а с другой – не превратить его в пустую абстракцию и наделить собственным, понятным содержанием, внимательно рассмотрим все три понимания автономии.

Управление и контроль в человеко-машинных системах

Первый способ употребления термина «автономия» относится к взаимоотношениям между человеком и машиной в рамках гибридных человеко-машинных систем. В тех случаях, когда машины лишь частично выполняют функции управления, а частично это делает человек, их называют полуавтономными машинами. Еще используется термин «машина с человеком в петле» (имеется в виду петля прямой и обратной связей в системах управления).

Машины, которые полностью выполняют все функции, но включают человека как контролера, и предусматривают возможность вмешательства его в управление при форс-мажорной или какой-либо иной ситуации называют автономными машинами под человеческим контролем.

Те машины, которые выполняют все функции самостоятельно и не предусматривают вмешательство людей в выполнение функций, называют полностью автономными машинами, или машинами «без человека в петле». Подчеркнем, что данное понимание автономии, строго говоря, не предъявляет никаких требований к способностям машин и тем более не говорит о наличии у них искусственного интеллекта. Оно только фиксирует распределение между человеком и машиной управляющих и контрольных функций.

Автономность как сложность

Термин «автономия» часто используется применительно к машинам как синоним сложности. Часто, независимо от распределения командно-контрольных функций, автоматические и автоматизированные системы характеризуются как автономные, если они способны выполнять сложные и/или разнообразные задачи и функции.

Исторически получилось так, что автоматические системы выполняли и выполняют очень простые, элементарные функции. Например, автоматическими являются тостеры и механические термостаты. С другой стороны, автоматическими являются и Гугломобили, и роботы-сборщики на конвейерах электромобилей «Тесла». Поскольку не только специалисты, но и далекие от производства люди понимают, что это принципиально разные устройства, для обозначения вторых стал использоваться термин «автономные». Кроме того, в последние годы термин «автономные» все чаще применяют для обозначения систем, предполагающих использование программ машинного обучения, в том числе так называемых систем «обучения без учителя».

Некоторые исследователи и практики предлагают использовать термин «автономные» только для машин, наделенных интеллектом. Однако такой подход лишь запутывает дело. Сегодня никому не понятно, что такое не только искусственный, но и естественный разум.

Термин «искусственный интеллект» вовсю применяется для выделения из общего ряда таких суперкомпьютеров, как Deep Blue, Watson и т. п. Однако, поскольку никому не понятно, что такое человеческий разум, а тем более психика, сознание, подсознание, то эти категории не могут использоваться не только для выработки юридически обязывающих соглашений, но и для образования стандартных общепринятых терминов. Нельзя что-то неизвестное определить через другое неизвестное. В этом плане мы считаем совершенно бесперспективной дискуссию на тему: когда компьютеры или роботы обретут разум. Поскольку мы не знаем, что такое разум в строгом смысле этого слова, то мы не можем с уверенностью сказать, когда его обретут или уже обрели компьютеры и роботы. К тому же мы не можем сказать, является ли вообще разум свойством отдельного индивидуума, либо он может быть реализован, сформирован и функционировать только в определенной общности. Пример детей, воспитывавшихся у животных, заставляет сомневаться в том, что единичный разум существует вообще. Тогда вполне может оказаться, что каждый отдельный компьютер и робот никаким разумом и сознанием не обладали и не обладают, а в системе, вполне вероятно, уже являются сознательными и разумными. Другое дело, мы должны понимать: это будут не человеческие сознание и разум, которые не вполне сможет распознать человек, если на это не будет желания иного разума. Кстати говоря, как это ни парадоксально, по этому же критерию и сетевой машинный разум и психика могут не распознать человеческий разум и психику, и считать их в этом смысле неразумными, со всеми вытекающими последствиями.

Возвращаясь к рассматриваемому подходу, подчеркнем лишь, что при использовании автономии, как синонима сложности, мы не имеем сколько-нибудь внятного не только количественного, но и фактографически определяемого разграничения автономных и неавтономных систем. Это разграничение в данном подходе становится полем произвола и выбора самостоятельно для каждого исследователя или просто человека.

Тип автоматизированных функций

В конечном счете, бессмысленно использовать термины «автономный», «полуавтономный» и «неавтономный» без указания на задачи и функции, которые автоматизируются. Каждая из функций имеет не только свой уровень сложности, но и свой уровень риска и последствий. Понятно, что совершенно различные риски возникают, если мы используем полностью автономный тостер, и боевого робота, оснащенного мощным электромагнитным оружием.

По крайней мере, на сегодняшний день любая поддающаяся автоматизации функция, так или иначе, может быть выполнена человеком или зависит от него. Поэтому в строгом формальном смысле, полностью автономных систем пока не существует. Даже автоматизированный Гугломобиль, не требующий от пассажиров навыков вождения, и сам выбирающий маршрут, тем не менее, требует от человека задания исходной и конечной точек маршрута. Правда, необходимо помнить известную поговорку «никогда не говори никогда». Нет гарантий, что в итоге не появится в той или иной сфере, причем возможно и в военной, полностью автономная система, в формальном смысле, где единственной функцией человека окажется отключение системы или ее уничтожение.

Разбор термина «автономия»

На наших глазах происходит вторжение коллективного бессознательного в научную и инженерную культурную среду. Одним из свидетельств подобного стала практика рассмотрения автономии в рамках научно-фантастического мема «человек против машины». Между тем, всем профессионалам понятно, что следует говорить не о подобном противопоставлении, а о том, какие задачи и функции в рамках системы выполняет человек, а какие – машина. В недавнем политическом документе НАТО сделан близкий вывод. В нем рекомендуется главное внимание обратить не на создание «полностью автономных систем, а на автоно-мизацию определенных функций в транспортных и боевых системах».

На наш взгляд, это наиболее перспективный подход. Изучая вопрос автономии мы, прежде всего, должны выделить конкретные функции и задачи, применительно к которым мы и определяем, что выполняется машиной, а что делается человеком. Кроме того, важно посмотреть, а что происходит в военной сфере уже сегодня. При этом мы должны помнить, что в строгом формальном плане полностью автономных систем в настоящее время на вооружении армии США и ее союзников не стоит. Зато по большей части с точки зрения функций контроля и управления распространены частично автономные роботизированные системы.

В той или иной форме автономность в военных системах используется более 70 лет. Первые самонаводящиеся боевые системы применялись во Второй мировой войне. Примером тому Фау-1 и Фау-2. После Второй мировой войны автономные системы, в основном связанные с функциями самонаведения, наблюдения, разведки и т. п. использовались многими странами мира, и прежде всего, Соединенными Штатами Америки и Советским Союзом.

Анализ практики автономизации в военной сфере позволяет выделить три типа вооружений:

1. Человек «присутствует в цикле управления или принятия решения». Это, как правило, различного рода ракетные вооружения, где человек выполняет функцию коррекции курса и окончательного принятия решения о поражении того или иного объекта. В военном деле гораздо более известны самонаводящиеся ракетные системы с разделяемыми боеголовками.

2. «Человек в петле» – контролер за транспортировкой боезаряда. В этом случае человек контролировал полет ракет или иных автономных средств, и на протяжении всего полета мог принять решение о ликвидации ракеты. Эти системы были наиболее распространены в Соединенных Штатах Америки.

3. Полностью автономные системы вооружений, где человек исключен из цикла управления, за исключением момента приведения в действие системы. Такие автономные системы в основном применялись в ракетных войсках стратегического назначения США и СССР. В отличие от Соединенных Штатов Советский Союз в начале 80-х годов завершил создание первой и единственной в мире до сегодняшнего момента полной автономной боевой роботизированной системы в строгом формальном смысле слова. В этом плане система, слабо известная на Западе, может выступать в качестве эталона полной автономной системы. Речь идет о комплексной боевой автономной роботизированной системе «Мертвая рука». Система включала в себя баллистические стратегические ракеты в особо глубоких шахтах. Ракеты имели автоматизированную, исключающую человека, систему запуска. Ракеты обладали самонаводящимися блоками и системами подавления помех ПВО и ПРО стран НАТО. Каждая баллистическая ракета с разделяющейся боеголовкой стартовала вместе с несколькими, сопровождающими ее противоракетами, которые на рискованных участках баллистической траектории – на старте и на выходе на цель, были способны автоматически распознавать и поражать противоракетные системы США и их союзников. Подземная система автоматического управления стартом ракет была соединена с полностью защищенной системой датчиков, расположенных на поверхности территории Советского Союза.

Свое название система «Мертвая рука» получила, поскольку в случае нанесения поражающего удара и уничтожения политического и военного командования Советского Союза, а также основных его городов и промышленных центров и большей части населения, датчики уже после гибели командования, большей части вооруженных сил и населения, сигнализировали о нанесенном ударе и по сигналу отдавалась команда на автоматический старт ракет, чья мощность – от 6 до 12 раз превосходила количество потребных боезарядов для уничтожения всего военного и гражданского потенциала США.

Впервые массовое использование боевых систем, имеющих автономные функции, имело место во время Второй мировой войной. Первой такой системой стала немецкая самоуправляющаяся торпеда. После пуска с подводной лодки, либо корабля она быстро шла прямым курсом примерно полкилометра, затем активизировалась головка ее самонаведения, соединенная с расположенными на торпеде миниатюрными гидроакустическими датчиками. Эти датчики распознавали шум винта судна или подводной лодки на значительном удалении и направляли торпеду к распознанному объекту для его уничтожения. Союзники такого класса оружия в течение Второй мировой войны не имели.

В настоящее время существует множество типов управляемых боеприпасов. Они используются всеми ведущими странами мира. Также ими располагают многие негосударственные группы и формирования. При всех различиях, вооружения, объединяемые этим типом, имеют одну общую характеристику. В них присутствует электронный, акустический, механический или иной блок самонаведения, который позволяет обнаруживать цель и направить в нее боеприпасы. Участие человека здесь связано с тем, что он заранее одобряет применение данного вооружения против данного класса целей. На практике, во время Второй мировой войны и после, торпеды поражали не только военные, но и гражданские суда. Более того, в послевоенный период известно как минимум два случая, один – с ВВС США, другой – с противовоздушной обороной Украины, когда самонаводящиеся ракеты классов воздух-воздух и воздух-земля поразили соответственно итальянский и российский воздушные гражданские лайнеры с большим числом пассажиров на борту.

В отличие от самонаводящихся боеприпасов, не предназначенных для поражения заранее определенной цели в конкретном месте и в конкретное время, не так давно появились GPS-управляемые автономные боеприпасы. Они предназначены для поражения определенной точки в определенный момент времени на основе сигналов от глобальной спутниковой группировки. В основном в качестве таких систем применяются крылатые ракеты любых типов базирования. Кроме того, появились в наиболее технологически продвинутых армиях бомбы и ракеты с лазерным наведением, которые поражают цель в соответствии с командами, передаваемыми при помощи лазерной указки. К современным типам таких вооружений надо отнести и стратегические ракеты, способные выходить на цель не только по баллистической, но и сменяемой траектории в соответствии с командами космических спутниковых группировок.

Выявление, приоритизация и отслеживание эффективности поражения цели

Современные военные все шире используют различного рода автоматизированные и роботизированные системы для выполнения функций, связанных с разведкой. В этих целях используются не только хорошо известные радары и тепловизоры, но и самые разнообразные приборы, позволяющие обнаружить противника во всех средах с использованием всех частот электромагнитного спектра.

Высокая автоматизация функций распознания, обнаружения, наведения и даже детонации позволяет создавать и использовать высоко автономные системы, где за человеком остаются в основном функции, связанные с принятием решения о поражении боевой силы или техники.

Рассмотрим с этих позиций автономность типовой ракеты воздух-воздух, находящейся на вооружении вооруженных сил США. В настоящее время визуальное или электромагнитное обнаружение цели осуществляется в автоматическом режиме. Идентификация цели производится компьютером, который передает данные пилоту. Пилот принимает окончательное решение о запуске ракеты. Дальше ракета летит в автономном режиме. По сути, участие человека сводится к принятию решения о запуске ракеты. При этом надо иметь в виду, что в подавляющем большинстве случаев пилот не может проверить данные компьютера, поскольку распознавание происходит не оптическим путем, а на основе данных радаров. Помимо данных радара, пилот опирается на данные систем распознавания «свой-чужой», а также самостоятельную оценку общей боевой ситуации. В случае, если все показатели говорят о том, что запуск целесообразен, он нажимает соответствующую кнопку и далее ракета действует в автономном режиме. При этом он получает в случае поражения ракетой противника соответствующий сигнал, удостоверяющий в достижении цели. Таким образом действуют пилоты во всех странах, а не только в США.

Пока такой подход приносит успех. Однако подобная ситуация будет сохраняться лишь до тех пор, пока какая-то из стран не перейдет к полностью автономной боевой воздушной системе, где не будет места пилоту. В этом случае, согласно данным многочисленных экспериментов с пилотируемыми и беспилотными летательными аппаратами США, случится следующее. Беспилотник, который обнаружит при помощи тех или иных систем цель, примет решение быстрее, чем летчик. Могут сказать, что выигрыш может составить даже не секунды, а миллисекунды. Но в бою все решают именно эти миллисекунды. За это время беспилот-ник может нанести удар и изменить место дислокации. Таким образом, пилот с более замедленной, хотя возможно и более адекватной реакцией, окажется в проигрышном положении и есть вероятность, что его самолет будет сбит, а беспилотник не только уничтожит врага, но и сохранит живучесть. Иначе говоря, в данном случае наличествует типичная ситуация столкновения двух критериев. Уже сегодняшние боевые автономные роботизированные системы могут действовать и наносить удары быстрее, чем гибридные системы с «человеком в петле управления». В то же время гибридные системы имеют на сегодняшний день преимущества над полностью автономными по критерию качества решения. У них гораздо меньше ошибок. Однако, если одной из сторон неважны ошибки и их последствия, то в битве уже сегодняшних, а тем более завтрашних БАРСов и гибридных систем в воздухе и не только, победят БАРСы.

Высокоточное оружие увеличивает человеческий контроль над военными действиями

Одной из самых ранних известных систем контроля за распознаванием целей была автоматизированная идентификация целей в рамках операции «Лайнбакер» во Вьетнамской войне. Тогда впервые были созданы и использованы на полях сражений системы точного целенаведения. Они позволили американским вооруженным силам отказаться от ковровых бомбардировок и использовать высокоточные боеприпасы, поражающие не только здания вместо отдельных кварталов, но и отдельные этажи или участки зданий. Надо прямо сказать, что в ходе Второй мировой войны не только Германия, но и союзники, лишенные возможности использовать высокоточное оружие, осуществляли ковровые бомбардировки городов. В их ходе вместе с промышленными объектами и военными базами стирались с лица земли целые жилые кварталы. Многие до сих пор полагают, что это были преступные в юридическом смысле действия командования военно-воздушных сил и бомбардировочной авиации Великобритании и США.

С каждым следующим поколением вооружений повышалась точность оружия, и появлялись новые системы распознавания, контроля и наведения оружия на цель в размерности уже не на уровне зданий, а отдельных движущихся мишеней, типов автомобилей и даже отдельных людей. Несмотря на то, что некоторые активисты не только на Ближнем Востоке, но и в Соединенных Штатах и Европе выступают против такого рода высокоточных автономных систем, они делают войну не более жестокой, а более гуманной. Активисты приводят в пример дроны, поразившие в Афганистане мирные деревни. Однако в подавляющем большинстве подобных случаев ошибки были связаны не с электронными или автономными элементами системы, а с человеком-оператором, который в условиях эмоционального, когнитивного и поведенческого стрессов делал ошибки, выбирая неправильные цели. В подавляющем большинстве случаев не машина, а человек является уязвимым звеном гибридной системы. Данный вывод базируется не на страшилках средств массовой информации и домыслах ангажированных активистов, а на сухих фактах в опубликованных отчетах.