Текст книги "Инновации от идеи до рынка"

2. Уведомления, для отправления оповещений в согласованный список рассылки с помощью стандартных механизмов (электронная почта, SMS-сообщение, и т.д.).

3. База знаний, которая с помощью набора правил определяет шаги, которые необходимо предпринять при возникновении определенного события. Например, на основе результатов модели прогнозирования шлифовального станка выясняется, что диаметр шлифовального круга упадет ниже порогового значения через 24 часа. База знаний порекомендует, когда в этой ситуации нужно заменить инструмент. Также она может выполнять команду для отправки физическому объекту. Например, если нагрев шлифовального круга превышает пороговое значение, скорость его вращения снижается до тех пор, пока температура инструмента не окажется в пределах рабочего диапазона. По мере обнаружения новых эксплуатационных ситуаций в базу знаний ЦД будут добавляться новые правила или обновляться существующие правила.

4. Администрирование, которое позволяет создавать новые экземпляры конкретных цифровых двойников, запускать, останавливать и удалять работу каждого вновь созданного цифрового двойника.

Использование ЦД наиболее эффективно, если его начинают разрабатывать в процессе создания инновационного продукта. Это производство технически сложных объектов, для которых дорого и долго проводить натурные испытания (двигателей, авионики, автомобилей, устройств и машин для космоса), поэтому частично их можно заменять виртуальными испытаниями ЦД. Сюда также входят отрасли с высокими требованиями к надежности и безопасности оборудования (атомная, космическая, авиастроительная, химическая, нефтегазодобыча). Для исключения ошибок в работе систем на таких предприятиях, которые могут привести к катастрофическим последствиям, полезно отработать всевозможные сценарии на ЦД. Еще одно направление активного применения ЦД относится к производствам непрерывного цикла: нефтегазовой, химической, металлургической, стекольной промышленности. Здесь ЦД эффективно используют для прогнозирования времени, когда оборудование или система может выйти из строя, чтобы своевременно провести ТОиР и избежать финансовых потерь из-за простоя.

Основные преимущества использования цифрового двойника:

A. ЦД имеет возможность оценивать или прогнозировать ошибки или проблемы, которые могут возникнуть в реальном объекте, продукте или процессе, и помочь их предотвратить. Поддерживает эффективное использование ресурсов, задействованных в разработке продукта за счет улучшения управления его жизненным циклом.

B. Увеличивает скорость работы в процессе создания изделия для ускорения выхода на рынок. Способствует снижению общей себестоимости изготовления предметов, изделий, за счет предотвращения ряда проблем при их производстве.

C. Улучшает эффективность производства (оптимальные режимы, загрузка оборудования, своевременная смена инструмента, и др.).

D. Поддерживает превентивное техническое обслуживание.

E. Помогает в разработке сценариев планирования производства.

F. Обеспечивает мониторинг различных технологических процессов, и удаленно контролировать исходный объект.

G. Поддерживает контроль критериев соответствия требованиям к продукции.

H. Помогает обеспечению безопасности на рабочем месте.

I. Сокращает отходы за счет контроля качества изготовления деталей и узлов продукта в реальном времени, и принятия оптимальных корректирующих решений.

При внедрении цифровых потоков и цифровых двойников важно определение достижимых целей, которые повышают конкурентное преимущество на основе баланса между стоимостью разработки ЦД и полезным эффектом от его внедрения. Для создания ценности ЦД должен быть технически доступен, по разумной цене и в приемлемые сроки, чтобы помочь владельцам получить или сохранить конкурентное технологическое преимущество инноваций на рынке.

Перечислим типовые проблемы для решения, связанные с внедрением технологии ЦД в практику:

1. Обработка различных данных, связанных с ЦД, может быть сложной задачей. Неисправный датчик или разрыв связи с цифровым двойником могут привести к сбоям в работе ЦД.

2. Киберфизическая безопасность и конфиденциальность данных, вероятно, является самой важной проблемой. Если информация, поступающая от ЦД, не защищена или система не защищена от вторжений, то неспособность системы защитить свои данные может поставить под угрозу пользователя системы. Например, возможно использование компьютерного вируса для уничтожения конкурирующего промышленного объекта.

3. Для поддержки функционирования ЦД требуется обработка огромных объемов данных, которые будут поступать от системы и от ее компонентов. Чем больше датчиков ЦД будет использовано, тем больше данных будет собираться и передаваться. Может ограничивать недостаточная вычислительная мощность доступных кластеров для своевременного выполнения необходимых расчетов, хранения данных и надежного обновления ЦД.

4. Компоненты одной и той же системы могут иметь несовместимые форматы и информацию, потому что разные производители или группы в компании имеют свои процессы, процедуры и методы. Стыки между разными пакетами ПО приходится устранять с помощью «лоскутного одеяла» из ручных и полуавтоматических процессов, например, инженерные подразделения компании Airbus используют более 140 различных пакетов прикладного ПО. Унификация форматов взаимодействия между различными блоками ПО должна учитываться при разработке импортозамещенного программного обеспечения.

5. При взаимодействии систем между собой, возможность следования внутренним инструкциям может приводить к авариям. Межмашинные действия могут выйти из-под контроля, и никто из людей не сможет вмешаться для предотвращения последствий.

6. Для работы над созданием ЦД необходим персонал, обладающий специальным опытом и знаниями в области цифровых двойников. Потребуется увеличение количества квалифицированной рабочей силы для разработки адекватной модели. Например, минимальные оценки по возможному ЦД военного самолета США нового поколения NGAD дают цифру 50 млн. строк программного кода, для реализации которого потребуется девятилетний труд 20 тысяч программистов. В настоящее время создание такого ЦД может оказаться непрактичным или невозможным. Велики затраты времени и денег для решения технических проблем такой сложности, связанных с поддержкой, верификацией, валидацией и аккредитацией выбранной модели, которая постоянно развивается на протяжении ЖЦ системы.

7. Важно решать проблемы с защитой интеллектуальной собственности при распространении полученной модели за пределами корпоративных границ.

6.3 Искусственный интеллект в ОКР

Под искусственным интеллектом (ИИ) понимают способность компьютерной программы учиться и думать, моделировать фрагменты мышления человека, его сознание и творческую деятельность. Две основные ветви развития ИИ представляют системы, в которых логика принятия решений явно запрограммирована, и системы, в которых способность принятия решений базируется на основе обработки данных. Вторая ветвь сегодня является преобладающей в развитии возможностей, обеспечиваемых ИИ, посредством использования алгоритмов «глубинного обучения» с искусственными нейронными сетями. Моделирование больших многослойных сетей виртуальных нейронов позволяет компьютеру научиться распознавать абстрактные закономерности с использованием нескольких уровней обработки. Эти программы могут на основе статистических алгоритмов автоматически выявить закономерности, скрытые в больших наборах данных, и затем применять их для лучшего выполнения конкретной задачи. Поэтому, в основном, ИИ называют машинное обучение на основе искусственных нейронных сетей. Системы, использующие ИИ, не имеют умственных способностей человека и ориентированы на решение сугубо прикладных задач. Многие эксперты считают, что более правильно использовать термин «машинный интеллект», уточняя соотношение искусственного интеллекта и машинного обучения.

Достижения машинного интеллекта относятся к распознаванию образов, изучению взаимосвязей в данных и выявлению возникающих закономерностей после обучения на больших объемах данных. ИИ может находить новые темы в объемных хранилищах текстов, анализировать, например, патентную информацию. Прогнозирующие способности основаны на способности алгоритма динамически предсказывать тенденции или будущие события с помощью статистических методов. Так называемые «творческие» способности ИИ основаны на получении некоторых результатов, которые считаются новыми и понятными людям. Результаты действий ИИ часто неотличимы от объектов, созданных человеком, например, искусственные изображения (вместо фотографий), виртуальные объекты промышленного дизайна, и сочиненный компьютером относительно осмысленный текст вместо авторских трудов.

Фактически, сегодня ИИ называют цифровую программу, которая по заданным алгоритмам и стандартам конкретной предметной области сканирует базы данных и выдает стандартное решение, не понимая сути. Нейросети также не обладают ИИ. Они решают задачи распознавания образов и понимания текстов гораздо быстрее и лучше человека, но не имеют модели внешнего мира, им непонятен смысл того, что они делают. Термин «глубинное обучение» подразумевает, что машина обучается сама. Однако, предметную область, обучающие выборки, коррекционные правила и адаптацию алгоритмов машинного обучения формирует группа людей-программистов. Поэтому результат ИИ полностью зависит от вводных данных, которые заложили извне человеческие эксперты (гипотезы, предположения, взаимосвязи, параметризации, ограничения). Поэтому называть комплекс технологий интеллектом, пусть и с оговоркой «искусственный», является подменой понятия.

Последние важные события в области информатики позволяют программным системам компилировать и обрабатывать новую информацию для постоянного улучшения их функционирования. Действительно, ИИ становится все более мощным и ценным дополнением к человеческим возможностям: улучшается медицинская диагностика, прогнозирование погоды, управление цепочками поставок, транспортом. Его используют для финансового и биржевого анализа, генерации речи, изображений, текстов, распознавания образов, речи, технической диагностики, юриспруденции, автоматического управления, и др. ИИ становится инструментом на службе людей, который делает нашу жизнь значительно лучше.

Расширяется круг пользователей средств разработки решений на базе ИИ как инструмента для профессиональных разработчиков приложений ПО. Средства разработки решений на основе ИИ получают дополнительные функции, автоматизирующие часть задач человека. Дополненная аналитика, автоматическое тестирование, автоматическая генерация программного кода и разработка решения позволяют ускорить процесс создания ПО. Средства программирования ИИ эволюционируют к автоматизации деятельности, относящейся к высоким уровням сложности процессов разработки за счет встроенной системы экспертных знаний предметной области.

Однако, следует признать драматическое различие между обработкой информации и человеческим мышлением. ИИ является специфичным для каждой конкретной задачи, а не представляет общий интеллект. Кроме того, программное обеспечение и человеческий разум являются совершенно разными системами. Человеческий мозг является самым сложным объектом в известной вселенной. Он состоит примерно из ста миллиардов клеток, называемых нейронами, которые соединяются друг с другом посредством миллиардов связей. Помимо невероятной сложности, активность мозга позволяет ему «думать». Память и мозг человека включают обобщенный опыт прожитых лет в форме, до сих пор неосвоенной исследователями. Кроме того, человек использует при размышлениях и принятии решений такие нечеткие факторы как предчувствие, тренированную интуицию, внутреннее понимание, прошлый опыт в невербальной форме всплывающего из памяти набора действий. Наложение разных человеческих психотипов на единый набор исходных данных приведет к разным выводам для консерватора, прогрессивного ума или авантюриста, и не гарантирует, что эти выводы окажутся в той или иной степени приемлемыми в конкретной ситуации.

До сих пор в ИИ не продемонстрирована присущая человеку оригинальность мышления, порой сложная и совершенно непонятная даже самим творческим людям. Программирование ИИ не может отразить индивидуальность каждого специалиста, организовать плодотворную дискуссию между двумя и более точками зрения. Все это нельзя воспроизвести буквально, а личный разум является вообще неповторимым. Например, феномен возникновения в мозгу психически нормальных людей воспоминаний из прошлой, иногда и не единственной другой жизни, непонятен самим субъектам этих видений. Наращивание мощности компьютеров пока не приближает человечество к разгадке процессов мышления.

Поэтому человек и машина преуспевают каждый в своем пространстве деятельности. Человеческий интеллект сегодня является уникальным в выполнении задач, требующих здравого смысла, контекстуальных знаний, креативности, новых многофункциональных идей, адаптивности или эмоционального сопереживания. Машинный интеллект связан с располагаемыми объективными данными и алгоритмами. Он является быстрым, эффективным, дешевым и масштабируемым в части своих основных способностей распознавания образов, прогнозирования, генерации текстов и изображений.

Маловероятно, что ИИ в ближайшие годы сможет реализовать ситуации, типичные для ОКР, то есть полновесно отображать сложные бизнес-проблемы в организационном контексте, параллельное решение нескольких задач, или автономное создание новых результатов там, где не существует четких критериев решения или выбора. Например, при сравнении двух вариантов архитектуры новой системы типовым является случай, когда пятьдесят лучших критериев оценки делятся между опциями примерно поровну. Менеджеры обсудят разные варианты многокритериальной задачи, прежде чем выработают основной принцип для выбора предпочтительного варианта. В рассмотрение попадут рыночные, экономические, технологические, стоимостные, производственные возможности, прежде чем будет определена главная цель выбора варианта. ИИ моментально решит задачу после оценки критериев в баллах, и окажется в положении буриданова осла при отсутствии четких алгоритмов оптимизации. То есть, в таких случаях решение ИИ полностью зависит от внешней режиссуры.

Исходя из реальных возможностей, сегодня машинный интеллект должен помогать человеку принимать решения, то есть осуществлять перебор, делать выводы, обрабатывать большое количество данных, снижать число альтернативных решений. В предметной области человек, пользующийся нейросетью, может достичь заметно больших успехов, или существенно быстрее.

Машинный интеллект может и должен дополнять человеческие инновационные команды, объединив лучшее в виде некоего гибридного интеллекта, который сможет достигать сложных целей при взаимодействии сильных сторон человеческих и машинных возможностей, формируя человеко-машинную «систему систем». При этом получаемые результаты за счет синергетического эффекта должны превосходить достижения сторон по отдельности. В рамках гибридизации человек и компьютер смогут активно использовать общение для совершенствования путем взаимного обучения. В настоящее время это наиболее эффективный и вероятный сценарий развертывания машинного интеллекта в компаниях в течение следующих нескольких десятилетий. Идея сотрудничества состоит в том, чтобы закрепить тесную связь между передовыми когнитивными механизмами анализа и реакции в нечетких и неопределенных задачах, и интеллектуальными системами компьютера. При этом человеческий и машинный интеллект адаптируются и сотрудничают друг с другом, поддерживая двусторонний обмен информацией и контроль.

Очевидные преимущества использования ИИ (стоимость реализации оставлена за кадром):

• Снижение количества человеческих ошибок. Компьютеры не допускают ошибок, если они правильно запрограммированы. При использовании ИИ решения принимаются на основе ранее собранной информации с применением определенного набора алгоритмов. Появляется возможность достижения результатов с большей точностью.

• ИИ рискует вместо людей, делая за них опасную работу. Ему можно поручить экспедицию на Венеру, исследование глубин океанов, добычу угля и нефти, использовать при любых природных или техногенных катастрофах.

• ИИ доступен 24 часа в сутки, 7 дней в неделю, тогда как обычный человек эффективно работает 8 часов в день, не считая перерывов.

• ИИ может помочь в повторяющихся заданиях, представляющих монотонную и скучную работу: отправке писем с благодарностью, проверке определенных документов на наличие ошибок, и др.

Рассмотрим, что нового может привнести эта тема при исполнении ОКР. Первые попытки использования ИИ начались с развитием экспертных систем, которые представляли собой вариант системы управления знаниями, оформленный в виде разветвленной цепи вопросов и ответов. Подходы XX века к внедрению машинного интеллекта в разработку продуктов преимущественно включали участие человека в процессе сбора знаний от экспертов, их кодификации в какой-либо форме, понятной машине (например, база знаний по теме или экспертная система). Системе предоставлялись возможности интерпретировать кодифицированные знания, чтобы принимать требуемые оптимальные решения. Эти подходы включали участие человека в выполнении всего спектра действий, от сбора знаний до программирования системы для их использования. Руководящие технические материалы (РТМ) эпохи СССР представляли собой упрощенную разновидность экспертных систем, с описанием детальных алгоритмов разработки сложных изделий и их компонентов. Обычно в основу ответов при построении дерева экспертной системы заносили статистически выверенный опыт разработок предыдущего поколения.

Напомним основы построения экспертных систем. Экспертной называют систему, предназначенную для решения трудно формализуемых задач, у которых отсутствует или неизвестен алгоритм решения, или он имеет достаточно большую размерность. Она включает базу знаний с набором правил, и позволяет на основании предоставляемых пользователем фактов распознать ситуацию, поставить диагноз, сформулировать решение или дать рекомендацию для выбора действия. Экспертная система моделирует механизм рассуждения применительно к решению задач в конкретной проблемной области, не уступающих по качеству и эффективности решениям, которые принимает эксперт.

Экспертные системы могут решать задачи, которые относятся к достаточно узкой, специальной области знаний и не требуют для решения использования того, что принято называть здравым смыслом (нет возможности формализовать это понятие). В экспертную систему закладывают декларативные знания, непосредственно доступные для использования после обращения к соответствующему полю памяти. Кроме того, используют процедурные знания, хранящиеся в памяти системы в виде описания процедур, с помощью которых их можно получить. Обычно процедурные знания используются для представления информации о способах решения задач в проблемной области, включают различные инструкции, методики, и т. п.

Процесс наполнения и извлечения знаний в виде, понятном экспертной системе, сложен и длителен, так как эксперт часто не осознает, какими знаниями он пользуется, или не может их содержательно выразить. Наиболее важным средством для структурирования знаний в экспертной системе является иерархия классов, описывающих понятия промежуточного уровня.

В практических задачах часто приходится оценивать гипотезы, по которым имеется неполная или недостаточная информация. При этом, несмотря на сложность точных оценок в условиях неопределенности, человеком принимаются разумные решения. Чтобы экспертные системы были полезными, они тоже должны уметь это делать. Классическим примером такой задачи является медицинская диагностика. Всегда существуют некоторые сомнения в четкости проявления симптомов того или иного заболевания. Сомнения в наличии у пациента конкретного заболевания сохраняются даже в том случае, когда все его симптомы отчетливо выражены. Для подобных ситуаций система предоставляет варианты развилок возможных решений.

В экспертной системе представления знаний основаны на правилах. Правила обеспечивают представление рекомендаций, указаний или стратегий, когда знания предметной области возникают из эмпирических ассоциаций, накопленных за годы работы по решению задач в данной области. Правила легко читаются, их просто понять и модифицировать, эксперты без труда могут сформулировать новое правило или указать на ошибочность какого-либо существующего. Помимо правил база знаний должна включать простые факты, поступающие в систему через интерфейс пользователя или выводимые в процессе поиска решения задачи.

Существуют два основных способа выполнения правил в экспертной системе: прямая цепочка рассуждений (прямой вывод) и обратная (обратный вывод). Обратный вывод используют, когда для заданной ситуации необходимо определить условия, к ней приводящие. Например, определить условия, при которых клиент банка может получить кредит. Обратная цепочка применима также для объяснений, как было получено решение.

Основные шаги применения экспертной системы включают:

1) интерпретацию смысла исходных данных в части их согласованности и корректности;

2) планирование последовательности осуществления работы;

3) прогнозирование последовательности событий, с возможностью обнаружения новых факторов;

4) проектирование новой информации об объекте, без участия эксперта;

5) диагностику состояния системы на основе имеющихся факторов;

6) обучение пользователя, а также самообучение системы за счет пополнения базы знаний новыми цепочками вывода.

В процессе разработки экспертной системы предъявляются особые требования к доказательству корректности (верификации) и соответствия разрабатываемой системы предъявляемым требованиям (валидации). Для тестирования экспертной системы необходимо привлекать эксперта в данной предметной области, и определить диапазон изменения входных данных, в котором система работает корректно. В практике автора, при передаче иностранной компании прикладного ПО сначала пришлось отвечать на множество вопросов, почему система не работает. Коллеги использовали для тестирования системы студентов, которые формально задавали исходные данные для ПО из несуществующих в реальности областей. Например, в задаче оптимизации обтекания аэродинамического профиля задавали исходный вариант профиля в виде ромба, расчет которого сразу останавливался из-за наличия острой кромки на входе. Очевидно, что наборы данных, используемых при тестировании, должны покрывать область возможных ситуаций, распознаваемых экспертной системой.

Для проверки общей структуры системы и учета в ней всех аспектов решаемой задачи проводят логическое и концептуальное тестирование с привлечением конечных пользователей прикладной системы. Важной типовой проблемой при создании экспертных систем является нахождение выхода в ситуации, когда нужно обсудить цепочку вывода для подтверждения заключения в условиях неопределенности. Прозрачность выводов обеспечивает успешное и эффективное использование экспертной системы для создания инновационных продуктов.

Приведенное изложение призвано показать, что даже достаточно отработанные алгоритмы экспертных систем конкретной области знаний являются весьма сложным объектом построения, при этом несут очевидный отпечаток предвзятости привлеченных к экспертизе специалистов. Экспертные системы эффективно используют на предприятиях, формализуя их собственный опыт, накопленный за годы деятельности.

Перечисленные моменты разработки экспертных систем в том или ином виде перешли на уровень систем ИИ, при этом сложность обработки имеющихся данных и непрозрачность процессов контроля и прослеживаемости выводов увеличились на порядки. К экспертным системам стали аккуратно добавлять верифицированные результаты обучения ИИ при обработке расширяющихся баз экспериментальных данных. В ряде областей знаний такой подход вполне обоснован. Человек собирает необходимые данные и программирует систему так, чтобы она могла учиться и создавать знания на основе предоставленных сведений. Достижения ИТ-индустрии расширили доступность больших объемов исходных данных и соответствующих вычислительных ресурсов, что позволяет осуществлять интенсивную обработку и обучение на основе данных. В процессе применения машинного интеллекта человек участвует в верификации результатов, полученных системой, и принятии сознательного решения об одобрении развития алгоритмов.

Инженеры могут использовать ИИ, например, для оптимизации топологии деталей автомобилей или самолетов, которые должны соответствовать высоким стандартам безопасности, одновременно минимизируя вес и стоимость конструкции. После задания определенных целей проектирования (соответствующие силы, масса, параметры материала, или другие ограничения) ИИ автоматически оптимизирует объекты для достижения этих целей, что значительно сокращает время разработки компонента с новой функциональностью. Проекты, созданные ИИ, не только намного быстрее и дешевле, чем человеческие, они также часто имеют новое качество дизайна с точки зрения функциональных характеристик (причем иногда, на первый взгляд, они кажутся людям непонятными). Сегодня такие задачи успешно решают на международном уровне команды в Санкт-Петербургском политехническом университете имени Петра Великого. Далее инженеры могут использовать результаты работы машины как промежуточную итерацию, продвигаясь на основе своего опыта и интуиции для создания более качественного решения.

Системы ИИ более сложны, чем традиционное ПО, где параметры встроены, в значительной степени определены и понятны. Машинное обучение позволяет ИИ постоянно корректироваться и совершенствоваться на основе его опыта. Однако сложно оценить изменения вследствие того, как переменные оцениваются и взвешиваются в компьютерных моделях. Непрозрачность алгоритмов может скрыть предубеждения при формировании выводов и привести к неверным результатам (например, по типу дискуссий вокруг контроля системы электронного голосования). Системы ИИ не являются независимыми от своих разработчиков и, что более важно, от организаций, которые их используют. Поэтому любая алгоритмическая система ИИ следует человеческим инструкциям или полагается на наборы данных, которые могут отражать намерения человека, причастного к ее созданию. ПО может совершать действия, которые невозможно было предсказать, однако оно работает в рамках и ограничениях, наложенных его создателями, зависит от того, как ПО спроектировано, кем и для какой цели формируются его возможности, и как построены отношения с людьми, которые его используют.

Аналогично развитию любых технологий (например, освоению энергии атома), в использовании ИИ существуют риски, поэтому нужно иметь возможности для смягчения и управления ими. Проблемной является определенная предвзятость при разработке ИИ для конкретных областей знаний. Его алгоритмы создаются людьми, человек может намеренно или невольно внести в систему некоторые сомнительные предположения, которые ИИ принимает к исполнению. Это накладывает ограничения на результаты обучения, и может привести к последствиям, препятствующим достижению правильных или наиболее эффективных результатов. Алгоритмы ИИ конкретны, они сфокусированы на доступных текущих данных, и, как правило, нацелены на получение результата, актуального в краткосрочном периоде (на момент программирования ИИ). Алгоритмы ИИ не точны, потому что статистические корреляции, использованные при обучении, не отражают существующую в реальности причинно-следственную связь. Поэтому алгоритмы дают лишь наиболее вероятные для полученных данных предсказания, но не руководства к действию. И, наконец, алгоритмы ИИ относятся к «черным ящикам». В результате анализа получается ответ на вопрос «что» (что произойдет, какую информацию люди будут искать, какие сотрудники с наибольшей вероятностью получат продвижение по карьере), но алгоритмы не дадут ответ на вопрос «почему» (что именно послужит причиной того или иного события). Пример оригинального статистического обобщения из собственной практики, где ИИ не использовался. При обсуждении результатов эксперимента, две дискутирующие группы проводили по одной и той же совокупности облака экспериментальных точек на графике две разные корреляционные кривые. У одних данные по обобщающей кривой возрастали при движении слева направо, у других они убывали. Каждая из сторон приводила аргументы в пользу своей позиции, консенсус был найден не сразу.

Растущее применение ИИ в создании систем создает проблемы получения доброкачественных результатов. Нужно обеспечить уверенность будущих пользователей разработанной системы в том, что ее функции и характеристики соответствуют их требованиям. То есть поведение системы должно валидироваться с помощью набора действий, которые проверяют ее соответствие системным требованиям. Необходимость верификации и валидации представляет собой проблему для проектирования систем с помощью ИИ, поскольку виды отказов, наблюдаемые в таких системах, могут отличаться от системного подхода к жизненному циклу проектирования. Машинный интеллект будет настолько хорош, насколько хороши данные, которые использовались для его обучения.

Для дальнейшего внедрения в ответственные разработки нужно решать ключевые проблемы развития ИИ. Нужно научиться парировать новые виды отказов, ранее не встречавшиеся при проектировании систем, из-за которых системы машинного интеллекта ведут себя небезопасно и непредсказуемо. Эти режимы включают негативные побочные эффекты, масштабируемый надзор причин появления результатов, небезопасное исследование данных, сдвиг в распределении статистических обобщений.

Также следует изыскивать способы повышать доверие к результатам работы систем ИИ, и их надежность, в частности, контроль возможно предвзятого алгоритма, отраженного в поведении системы. Ключевым аспектом валидации при принятии решения о приемлемости соответствия выходных данных ИИ является экспертное заключение. Его результаты должны быть объяснимы, что для поведения систем ИИ часто бывает проблематично.

Другие типовые риски использования ИИ включают:

a) ошибки в заложенной информации;

b) риск кибератак (эти два пункта характерны для любых ИТ-систем);