Текст книги "Управление риском ИТ. Основы"

Руководству компании, необходимо провести дополнительные подготовительные мероприятия по данным вопросам.

Затем, проведя экспертный анализ областей, указанных выше, руководство компании через экспертный совет может провести ранжирование отрицательных ответов и расставить приоритетность реакции, используя метод описанный в разделе «Метод взвешенных коэффициентов».

Этап оценки поставщиков программного обеспечения

На данном этапе можно оценить ключевые факторы, присущие как поставщику, так и поставляемому ПО, которые потенциально могут увеличивать риск непредвиденных расходов компании и, как следствие, оказать прямое влияние на выбор ПО и поставщика. Рекомендуется выбирать и проводить оценку не менее двух поставщиков.

Пример 2. Лист анализа разработчика/поставщика и самого ПО

Для более наглядной демонстрации проблемных областей вопросы разделены на блоки:

• Непрерывность сервиса и поддержки (НСП).

• Информационная безопасность (ИБ).

⠀

По аналогии с самодиагностикой, выполнив предварительный анализ поставщика и ПО, при наличии отрицательных ответов в вопросах с 1 по 9 компания с большой долей вероятности может столкнуться с незапланированными издержками вследствие реализации различных инцидентов в области кибербезопасности, и руководству компании необходимо провести более детальный анализ угроз в области ИБ.

При наличии отрицательных ответов в вопросах с 10 по 15 компания с большой долей вероятности может понести незапланированные издержки на всем протяжении жизненного цикла ПО вследствие наличия угроз в области непрерывности сервиса и поддержки внедряемого ПО.

Указанные выше перечни вопросов и рекомендаций являются примерами и не претендуют на полноту, однако уже в текущем объеме позволяют выявить наиболее часто встречающиеся проблемы, не принимая во внимание отраслевые нюансы или специфику определенного бизнеса. Для более точной диагностики руководству компании необходимо оценить достаточность данных вопросов с точки зрения целей и приоритетов, доступных ресурсов и времени, дополнить при необходимости и провести анализ уже с учетом специфики, присущей компании-заказчику ПО.

Проведя оценку каждого критерия через экспертный совет, используя метод, описанный в разделе «Метод взвешенных коэффициентов», руководство компании сможет принять более взвешенное решение относительно доступного выбора, а также более точно и осознанно расставить приоритеты, приложить максимальные усилия компании и команды на устранение потенциальных угроз.

Результаты апробации описанного подхода

Разработанные здесь опросные листы «Лист анализа готовности компании к новому ПО» и «Лист анализа разработчика/поставщика и самого ПО» были отправлены руководителям и экспертам нескольких организаций, после чего прошли их экспертизу и апробацию. По мнению автора, особенно ценно, это то, что на основании собранных мнений экспертов были внесены корректировки в разделы данной книги, таким образом представленный материал является не только теорией, но и передает опыт и отражает реально существующие процессы и процедуры в различных организациях.

3.8. ПОДВОДЯ ИТОГИ

Весь опыт автора в вопросах управления рисками, внутреннего контроля и аудита, а также информации и точек зрения из различных изученных тематических зарубежных и отечественных источников дали возможность представить авторское определение рекомендаций как разработанного плана действий, предназначенного для анализа и выработки мер, призванных снизить вероятность издержек компании, вследствие возможной реализации рисков, присущих жизненному циклу программного обеспечения.

В качестве наиболее предпочтительного подхода к управлению рисками и снижению издержек рекомендуется подход, сочетающий следующую последовательность этапов:

1. Самодиагностика и диагностика поставщика и ПО.

2. Идентификация угроз и рисков.

3. Оценка и ранжирование угроз и рисков.

4. Выработка минимизирующих и снижающих издержки мероприятий.

Таким образом, используя результаты, предлагаемые в этой главе, менеджмент, отвечающий за цифровую трансформацию компании или автоматизацию процессов, будет способен более эффективно управлять рисками и снижать потенциальные незапланированные издержки, присущие всем этапам жизненного цикла программного обеспечения, что может способствовать большей операционной эффективности компаний.

Также немаловажным аспектом помимо операционной эффективности выступает и повышение конкурентоспособности компании вследствие лучшего понимания и более эффективного управления рисками.

Глава 4.
Риски, присущие работе искусственного интеллекта

Создание искусственного интеллекта может стать последним технологическим достижением человечества, если мы не научимся контролировать риски.

Стивен Хокинг

Рассуждая о теме управления рисками, нельзя не затронуть перспективные технологии, технологии, которые стремительно входят в наш обиход и будут повсеместно использоваться в будущем. Одна из таких технологий – это искусственный интеллект.

Задаваясь вопросом о том, что можно почитать на тему управления рисками ИИ и каковы наработки по управлению рисками в этой области, автор удивился тому, насколько мало информации по этому поводу опубликовано. В основном найденные тексты касались морально-этических норм и будущего человечества. Автор решил чуть более детально изучить вопрос, а результатом этого небольшого исследования с радостью делится с вами.

Сейчас, в 2024 году, тема искусственного интеллекта продолжает набирать популярность, так как человечество осознало потенциал использования искусственного интеллекта в различных областях своей жизнедеятельности.

Эта глава не затрагивает социальные и этические проблемы ИИ и не претендует на полноту охвата области рисков, присущих искусственному интеллекту, а служит в первую очередь отправной точкой для последующих исследований, является попыткой автора затронуть данную тему и понять возможные риски, присущие всему тому, что называют искусственным интеллектом (ИИ aka AI).

Для этого в первую очередь давайте разберемся, что такое ИИ и какой ИИ существует, какие цели перед ним ставятся.

4.1. ЧТО ТАКОЕ ИИ?

Компания IBM считает2626
  What is artificial intelligence (AI)? – https://www.ibm.com


[Закрыть], что искусственный интеллект – это имитация возможностей человеческого разума по решению проблем и принятию решений с помощью компьютера или автоматизированных машин.

То есть термин «искусственный интеллект» (ИИ) относится к моделированию человеческого интеллекта с помощью машин и алгоритмов, реализованных путем использования программного кода.

Хорошо, это звучит так, что ИИ может быть разнообразным и применяться в различных областях и разными способами как следствие вариантов того, что что-то может пойти не так, также может быть весьма много. Тем не менее, чтобы не пытаться охватить неохватываемое, давайте остановимся на основных типах ИИ и попробуем понять, что может пойти не так, то есть какие риски присущи работе подобных типов ИИ.

Какие типы или категории ИИ существуют? Для ответа на этот вопрос взял, на мой взгляд, наиболее популярный перечень, опубликованный на сайте компании Forbes, так как, на взгляд автора, данный перечень наиболее всеобъемлющий и дающий простое и точное описание типам ИИ.

Для удобства читателя здесь стоит привести адаптированные под нужды данного материала выдержки из статьи, опубликованной на сайте компании Forbes2727
  Naveen Joshi, 7 Types Of Artificial Intelligence – https://www.forbes.com


[Закрыть]. Публикация дает следующие определения:

Реактивные машины (Reactive Machines)

Это старейшие формы систем ИИ, возможности которых крайне ограничены. Они имитируют способность человеческого разума реагировать на различные виды стимулов.

Эти машины не имеют функций, основанных на памяти. Это означает, что такие машины не могут использовать ранее приобретенный опыт для использования в своих текущих действиях, то есть эти машины не обладают способностью «обучаться».

Эти машины можно было использовать только для автоматического реагирования на ограниченный набор или комбинацию входных данных. Их невозможно использовать, полагаясь на память, для улучшения операций таких машин.

Популярным примером реактивной машины искусственного интеллекта является IBM Deep Blue, машина, которая победила шахматного гроссмейстера Гарри Каспарова в 1997 году.

Вывод: машина не обучается, но есть данные, с которыми работает ИИ, его модель и алгоритм, параметры, то есть от корректности используемых данных, заданных параметров, правильности применяемой модели, корректности самого алгоритма и его исполнения зависит итоговый результат работы данной машины, то есть это те области, где что-то для такой машины может пойти не так.

Ограниченная память

Машины с ограниченной памятью – это машины, которые помимо возможностей реактивных машин также способны учиться на исторических данных для принятия решений.

Почти все современные программные приложения с применением искусственного интеллекта, от чат-ботов и виртуальных помощников до беспилотных транспортных средств, управляются искусственным интеллектом с ограниченной памятью. Почти все существующие приложения, о которых мы знаем, подпадают под эту категорию ИИ. Все современные системы искусственного интеллекта, например, те, которые используют глубокое обучение (deep learning), обучаются на больших объемах «обучающих» данных, которые подобные системы хранят в своей памяти, чтобы сформировать эталонную модель для решения будущих проблем.

Например, ИИ, распознающий изображения, обучается с использованием тысяч изображений и их меток, чтобы научить его называть объекты, которые он сканирует. Когда изображение сканируется таким ИИ, он использует обучающие изображения в качестве эталона для понимания содержания представленного ему изображения и на основе своего «опыта обучения» маркирует новые изображения с возрастающей точностью.

Вывод: можно сказать, что машина обучается, другими словами, формирует новые данные для своей работы. Таким образом, есть

• алгоритм и модель;

• заданные параметры;

• входные данные;

• выходные данные;

• оборудование.

Это те области, от которых зависит результат и где что-то для такой машины может пойти не так.

Теория разума

Подобного типа ИИ на данный момент существуют либо в виде концепции, либо в стадии разработки. Теория разума ИИ – это следующий уровень развития систем ИИ, над созданием инноваций в которых в настоящее время работают исследователи. Теория ИИ на уровне разума сможет лучше понимать сущности, с которыми он взаимодействует, распознавая их потребности, эмоции, убеждения и мыслительные процессы.

Хотя искусственный эмоциональный интеллект уже является многообещающей отраслью и областью интересов ведущих исследователей ИИ, достижение ИИ уровня Теории разума потребует развития и в других областях ИИ.

Это связано с тем, что для того, чтобы по-настоящему понять человеческие потребности, машинам ИИ придется воспринимать людей как личностей, чей разум может формироваться под воздействием множества факторов, по сути, «понимая» людей.

Вывод: данный тип ИИ пока находится на стадии изучения и во всяком случае сложно сказать что-то конкретное о возможных рисках или о том, что может пойти не так в работе подобного ИИ, можно только делать гипотезы и учитывать их при проведении дальнейших исследований в этой области.

Самосознание

Это заключительный этап развития ИИ, который пока существует лишь гипотетически.

Самосознающий искусственный интеллект в ходе эволюции становится настолько похож на человеческий мозг, что у него развилось самосознание. По сути, риски, присущие подобному типу ИИ, чем-то, возможно, будут напоминать риски, присущие человеку.

Создание такого типа ИИ, до реализации которого остаются десятилетия, есть и всегда будет конечной целью всех исследований ИИ.

Этот тип ИИ сможет не только понимать и вызывать эмоции у тех, с кем он взаимодействует, но и иметь собственные эмоции, потребности, убеждения и, потенциально, – желания. И это тот тип ИИ, которого опасаются предсказатели этой технологии.

Хотя использование ИИ может повысить надежность бизнес-процессов, ускорить их и сделать более эффективными, тем самым через развитие самосознания может ускорить наш прогресс как цивилизации, оно также способно привести к катастрофе (вспомним фильм «Терминатор»). Это связано с тем, что, обретя самосознание, ИИ сможет иметь такие идеи, как самосохранение, которые могут прямо или косвенно означать конец человечества, поскольку такая сущность легко обойдет по скорости и объему принимаемых решений интеллект любого человека и разработать сложные схемы, чтобы предпринять действия над человечеством.

Вывод: данный тип ИИ пока тоже находится для большей части человечества, скорее всего, все еще только в теории и проходит стадию изучения, исследования. О рисках, присущих работе такого ИИ, можно только догадываться, однако необходимо изучать не только перспективы и преимущества использования подобного рода ИИ, но и последствия, и уже строить последующие исследования в этой области с учетом подобных гипотез.

4.2. АЛЬТЕРНАТИВНАЯ СИСТЕМА КЛАССИФИКАЦИИ ИИ

Нельзя не отметить и альтернативную систему классификации, которая более широко используется в техническом жаргоне – это классификация технологий:

• ограниченный искусственный интеллект (Artificial Narrow Intelligence – ANI);

• общий искусственный интеллект (Artificial General Intelligence – AGI);

• искусственный сверхинтеллект (Artificial Super Intelligence – ASI).

Ограниченный искусственный интеллект (ANI)

Этот тип искусственного интеллекта представляет собой весь существующий ИИ на текущий момент, включая даже самый сложный и мощный ИИ, который когда-либо был создан на сегодняшний день.

Ограниченный искусственный интеллект относится к системам ИИ, которые могут выполнять только конкретную задачу, автономно, используя возможности, подобные человеческим.

Эти машины не могут делать ничего, кроме того, на что они запрограммированы, и поэтому имеют очень ограниченный или узкий диапазон компетенций. Согласно вышеупомянутой системе классификации этим системам соответствуют все реактивные и ограниченные по памяти ИИ. Даже самый сложный ИИ, использующий машинное и глубокое обучение для самообучения, подпадает под ANI.

ANI2828
  https://www.mygreatlearning.com


[Закрыть] – это наиболее распространенная форма ИИ, которую на текущий момент можно найти на рынке.

Эти системы искусственного интеллекта предназначены для решения одной-единственной проблемы и могут очень хорошо выполнить одну задачу. По определению, у них ограниченные возможности, например, рекомендация продукта пользователю электронной коммерции или прогнозирование погоды.

Данный тип ИИ способен приблизиться к человеческим возможностям в очень специфических контекстах и даже превзойти их во многих случаях, но преуспевает только в строго контролируемых средах с ограниченным набором параметров.

Общий искусственный интеллект (AGI)

Общий искусственный интеллект – это способность ИИ учиться, воспринимать, понимать и функционировать полностью как человек. Эти системы смогут независимо формировать множество компетенций, связи и обобщения между областями, значительно сокращая время, необходимое для обучения. Это сделает системы искусственного интеллекта такими же способными, как и человеческий разум, за счет повторения наших многофункциональных возможностей.

AGI2929
  https://www.mygreatlearning.com


[Закрыть] все еще остается теоретической концепцией. Он определяется как ИИ, обладающий когнитивными функциями человеческого уровня в самых разных областях, таких как обработка языка и изображений, вычислительные функции, рассуждение и так далее.

Таким образом, нынешнее общество, возможно, еще далеко от создания системы AGI. Система AGI должна будет состоять из тысяч систем искусственного узкого интеллекта, работающих в тандеме и взаимодействующих друг с другом, чтобы имитировать человеческое мышление.

Даже при использовании самых передовых вычислительных систем и инфраструктур, таких как Fujitsu K или IBM Watson, им потребовалось 40 минут, чтобы смоделировать одну секунду активности нейронов. Это говорит как об огромной сложности и взаимосвязанности человеческого мозга, так и о масштабах задачи создания ОИИ с использованием наших нынешних ресурсов.

Искусственный сверхинтеллект (ASI)

Развитие искусственного сверхинтеллекта, вероятно, станет вершиной исследований ИИ, поскольку AGI станет, безусловно, самой мощной формой интеллекта на Земле.

ASI3030
  https://www.mygreatlearning.com


[Закрыть] помимо воспроизведения многогранного интеллекта человека будет намного лучше во всем, что он делает, благодаря значительно большей памяти, более быстрой обработке и анализу данных, а также возможностям принятия решений.

Развитие AGI и ASI приведет к сценарию, который чаще всего называют сингулярностью. И хотя потенциал наличия в нашем распоряжении таких мощных машин кажется привлекательным, эти машины также могут угрожать нашему существованию или, по крайней мере, нашему образу жизни.

Сейчас трудно представить состояние нашего мира, когда появятся более продвинутые типы ИИ. Однако очевидно, что до этого предстоит пройти долгий путь, поскольку нынешний уровень развития ИИ по сравнению с тем, каким он прогнозируется, все еще находится на зачаточной стадии.

Для тех, кто придерживается негативного взгляда на будущее ИИ, это означает, что сейчас еще слишком рано беспокоиться о сингулярности и еще есть время обеспечить безопасность ИИ. А для тех, кто с оптимизмом смотрит на будущее ИИ, тот факт, что мы лишь прикоснулись к его развитию, делает будущее еще более захватывающим.

ASI – здесь мы почти вступаем на территорию научной фантастики, но ASI рассматривается как логическое развитие AGI. Система искусственного сверхинтеллекта (ASI) сможет превзойти все человеческие возможности. Она будет включать в себя принятие рациональных решений и даже такие вещи, как улучшение искусства и построение эмоциональных отношений.

Как только мы достигнем общего искусственного интеллекта, системы ИИ смогут быстро улучшить свои возможности и продвинуться в областях, о которых мы даже не мечтали.

Хотя разрыв между AGI и ASI будет относительно небольшим (некоторые говорят, что всего лишь наносекунда, потому что именно с такой скоростью будет учиться искусственный интеллект), предстоящий нам долгий путь к самому AGI делает эту концепцию похожей на далекую перспективу.

4.3. ОБЩИЕ ЧЕРТЫ, ОБЩИЕ ХАРАКТЕРИСТИКИ ИИ

Вернемся к теме этой главы – «Риски, присущие работе искусственного интеллекта».

Перечень типов ИИ и классификаций ИИ, указанный выше, не претендует на исчерпывающий список всех возможных ИИ, однако как стартовая точка в рамках нашей цели по идентификации рисков ИИ вполне себе годный.

Важно понимать, что попытка сформировать исчерпывающий перечень всех возможных ИИ может нас увести не в том направлении, которое нам необходимо. В данном случае возникает «Ловушка терминологии», я так ее называю, когда одна и та же сущность, вещь называется разными именами и создается впечатление о наличии многих сущностей и вещей вместо одной.

Таким образом, на основании того, что мы сейчас понимаем о существующих ИИ, давайте подведем итог. Что же общего в каждом типе ИИ? Что может пойти не так при работе ИИ?

Наиболее популярные на текущий момент (2024 год) примеры использования ИИ:

• поиск в данных и оптимизация поиска для получения наиболее релевантных результатов;

• логические цепочки для рассуждений «если – то», которые можно применять для выполнения строки команд на основе параметров;

• обнаружение закономерностей для выявления наиболее существенных из них в больших наборах данных для получения уникальной информации;

• прикладные вероятностные модели для прогнозирования будущих результатов.

Перечень пока крайне мал, однако уже можно сделать вывод – работа ИИ обеспечивается:

• параметрами и данными;

• математическими моделями;

• самими алгоритмами;

• настройками и «железом».

Ничего сверхнового, правда?

Что необходимо для того, чтобы ИИ мог функционировать так, как этого от него ожидают?

Наиболее критичны следующие варианты, при возникновении которых могут реализоваться риски:

• Неверный выбор моделей и методик расчета, ошибки в самих алгоритмах, подходах к обучению алгоритма. Вопросы: Как происходит выбор и применение моделей? Каков контроль качества за созданием кода? Как выстроен процесс обучения? Учтены ли варианты, при которых обучение алгоритма может не дать ожидаемый результат?

• Ситуация прерывания работы ИИ вследствие остановки работы самого алгоритма из-за ошибок в коде или аппаратном сбое. Вопросы: Как ИИ продолжит работать? С какой точки прерывания? Без потерянных данных? Как об этом узнает владелец ИИ?

• Прекращение доступа ИИ к данным либо использование ИИ неполных, неточных и/или неактуальных данных. Вопросы: Как обеспечивается доступ к данным? Как обеспечивается их качество, применимость, целостность и консистентность данных?

• Несанкционированные изменения в данных, алгоритмах, настройках ИИ. Вопросы: Как обеспечивается безопасность используемых ИИ данных? Как обеспечивается надежность и корректность работы всех аспектов ИИ? Как владелец ИИ узнаёт обо всех событиях, возможных в пункте 1 и 2?

Как уже говорилось ранее, область ИИ еще недостаточно изучена, а риски, присущие ИИ, тем более.

Однако можно предположить с большой долей уверенности, что многие крупные компании уже реализуют программы, направленные на управление рисками ИИ, и в ближайшем будущем, теме управления рисками ИИ будет уделяться пристальное внимание.

При этом уже сейчас можно включить анализ и процедуры анализа того, что может пойти не так при создании ИИ, в программы обучения в университетах и других образовательных учреждениях, а также в повседневной деятельности команд разработчиков в организациях, внедряющих в свои бизнес-процессы ИИ, с тем, чтобы подобный подход стал естественным и повседневным для любого, кто вовлечен в процесс создания ИИ.

Таким образом, понимая и прогнозируя риски (Глава 1. Управление риском ИТ), можно реализовать необходимые меры (Глава 2. Внедрение контроля над ИТ), позволяющие реализовать неограниченный потенциал ИИ безопасным и надежным способом (Глава 3. Безопасная разработка, управление рисками и внутренний контроль).

Можно точно сказать, что ИИ – это область дальнейшего изучения. В настоящее время прикладной характер ИИ находится в стадии формирования, однако с каждым годом его востребованность во всех областях жизнедеятельности человека будет только возрастать. И возможно, уже в недалеком будущем «3 закона робототехники» будут не просто философским рассуждением Айзека Азимова в области фантастики, но и реальностью и повседневностью человека, взаимодействующего с ИИ.

Считаете ли вы тему управления рисками ИИ актуальной? Буду признателен, если поделитесь вашим мнением относительно рисков, присущих ИИ, и методами управления подобными рисками на адрес [email protected]