Текст книги "Душа машины. Радикальный поворот к человекоподобию систем искусственного интеллекта"

Чтобы убрать шумы, Wayfair добавила информацию о поведении покупателей на каждом этапе воронки: выбор товара, добавление его в корзину и оформление заказа. Поскольку каждый этап связан с предыдущим, их можно «взвесить и умножить», получив достаточно достоверную оценку вероятного количества заказов.

Чтобы спрогнозировать возможное изменение привлекательности, Wayfair использует данные о заказах за день, а не полагается только на массив постоянно меняющихся больших данных. Кроме того, компания ежедневно случайным образом меняет порядок представления товаров, отслеживая, однако, чтобы наиболее привлекательные оказывались на самом видном месте. Сейчас Wayfair пытается применить эти методы работы с данными для решения других задач оптимизации и ранжирования.

Когда обучающих данных изначально мало

Каждый раз, когда искусственный интеллект с глубоким обучением берется за новую задачу, он должен снова обучиться на огромном количестве данных. В последние годы исследователи добились больших успехов в разработке методов, позволяющих обучать новым задачам на гораздо меньшем количестве данных: это обучение на нескольких примерах (few-shot learning), на одном примере (one-shot learning) или вообще без примеров (zero-shot learning). Эти методы способны помочь инновациям в области искусственного интеллекта выйти за пределы IT-гигантов.

Обучение на нескольких примерах

Почему дети легко отличают яблоко от апельсина, увидев их всего несколько раз, а моделям машинного обучения для надежной идентификации объектов требуется на порядок большее количество единиц размеченных данных? Специалисты по обработке данных в таких различных организациях, как шведская компания по производству мини-пиццы и американская Национальная футбольная лига, используют один метод искусственного интеллекта: few-shot learning – «обучение на нескольких примерах».

Dafgårds – шведское семейное предприятие, которое более 80 лет производит фрикадельки и мини-пиццы для продажи по всему миру. Чтобы соответствовать высоким стандартам, компания считает необходимым убедиться, что в каждой пицце популярной линейки достаточно сыра. Команда из двенадцати IT-специалистов предполагала использовать для этого более интеллектуальный и эффективный метод, но оказалось, опыта в машинном обучении у них недостаточно. И тогда Dafgårds заключила партнерское соглашение с Amazon Web Services (AWS), перепоручив создание системы машинного обучения для автоматизированного контроля качества[65]65
  Swami Sivasubramanian, VP of AI and Machine Learning at AWS, AWS Machine Learning Summit, Opening Keynote, June 2, 2021, https://www.youtube.com/watch?v=dRcA_2Xw2FU.


[Закрыть].

Используя сервис Amazon Lookout for Vision компании AWS, клиенты вроде Dafgårds могут выявлять изъяны в рабочих процессах с помощью всего 30 изображений для обучения модели: 10 изображений с дефектами или аномалиями и еще 20 – нормальных (эталонных). Однако сложность заключается в том, что современные производственные процессы часто бывают отлично отлажены и доля дефектности редко достигает 1 %, а сами отклонения могут быть очень незначительными. В результате набор данных для контроля качества оказывается небольшим и часто не соответствует реальному положению на производстве.

Чтобы преодолеть проблему недостатка реальных данных о дефектах, AWS решила сымитировать разные производственные ситуации, для чего построила макет завода с детализацией вплоть до системы конвейерных лент. Таким образом были созданы искусственные наборы дефектов: на обычных изображениях объектов просто дорисовали реалистичные аномалии – недостающие компоненты, царапины, обесцвечивание и прочие изъяны.

Таким образом метод обучения на нескольких примерах позволил иногда работать вообще без изображения дефектов, что значительно ускорило контроль качества пиццы.

Национальная футбольная лига (НФЛ) с помощью компьютерного зрения облегчила и ускорила поиск среди записей игр. Стало возможным отыскать релевантные ролики с наиболее яркими моментами среди тысяч видео. Ручная разметка в масштабах страны потребовала бы непомерно много времени и денег.

Однако команды по созданию контента НФЛ использовали функцию Custom Labels в Amazon Rekognition, сервисе для автоматизированного анализа изображений и медиа. В коллекции медиаресурсов были расставлены теги и другие метаданные для игроков, команд, номеров, футболок, мест и событий, таких как пенальти и травмы. Автоматизированный процесс занял в разы меньше времени и потребовал гораздо меньшего количества примеров, чем понадобилось бы при ручной обработке.

Для идентификации объектов и сцен система сочетает имеющиеся у Rekognition возможности обучения искусственного интеллекта на больших массивах данных, содержащих десятки и миллионы рассортированных по многочисленным категориям изображений, с предоставленным пользователям небольшим датасетом, включающим всего десять изображений для каждой категории.

Пользователь загружает свой датасет в систему и может начать его анализ несколькими кликами мыши. «В современном медиаландшафте объем неструктурированного контента, которым управляют организации, растет экспоненциально, – говорит Брэд Боим, старший директор по постпроизводству и управлению активами NFL Media. – Используя традиционные инструменты, пользователи могут столкнуться с трудностями при поиске среди тысяч медиаактивов одного конкретного элемента. Новые инструменты позволяют нашим командам напрямую использовать данные и предоставлять клиентам улучшенные продукты на всех медиаплатформах»[66]66
  “Amazon Rekognition Custom Labels”, AWS, https://aws.Amazon.com/rekognition/custom-labels-features/; “Building Your Own Brand Detection and Visibility Using Amazon SageMaker Ground Truth and Amazon Rekognition Custom Labels – Part 1: End-to-End Solution”, AWS Machine Learning Blog, January 25, 2021, https://aws.Amazon.com/blogs/machine-learning/part-1-end-to-end-solution-building-your-own-brand-detection-and-visibility-using-Amazon-sagemaker-ground-truth-and-Amazon-rekognition-custom-labels/.


[Закрыть].

Роботы учатся рассуждать

Когда у роботов, как у людей, есть концептуальное понимание мира, их легче обучать, используя гораздо меньше данных. В Vicarious, засекреченный стартап из Кремниевой долины, инвестируют Питер Тиль, Марк Цукерберг, Илон Маск и Джефф Безос. Разработчики трудятся над созданием искусственного общего интеллекта для роботов, который позволил бы делать обобщения на основе небольшого количества примеров. Компания уже разработала роботизированные руки, которые с опытом все лучше сортируют предметы[67]67
  Tom Simonite, “These Industrial Robots Get More Adept with Every Task”, Wired, March 10, 2020, https://www.wired.com/story/these-industrial-robots-adept-every-task/.


[Закрыть].

Они уже были задействованы в подборе пробников продукции косметической компании Sephora, эту работу раньше приходилось выполнять исключительно вручную из-за большого количества стремительно сменяющих друг друга тюбиков, пакетов, коробочек и флаконов. Система снизила стоимость решения этой труднейшей комбинаторной задачи на 80 %[68]68
  “How Case Mason Deployed Vicarious Robots to Pack over 500,000 Sephora PLAY! Kits”, Vicarious x Case Mason case study, n. d., https://f.hubspotusercontent30.net/hubfs/8180830/Case%20Studies/Vicarious%20x%20Case%20Mason%20Case%20Study.pdf.


[Закрыть].

Примеры подобной сложности часто встречаются в компаниях с большим ассортиментом и быстрым оборотом, таких, как склады Amazon, где товары часто представлены бессистемно, не структурированы, постоянно меняют свое место в зависимости от спроса, но их необходимо находить быстро и со стопроцентной точностью[69]69
  “Replace Pick-to-Light Systems with Smart Robots Powered by Neuroscience-Inspired AI”, Vicarious blog, March 2021, https://www.vicarious.com/posts/replace-pick-to-light-systems-with-smart-robots-powered-by-neuroscience-inspired-ai/.


[Закрыть].

Модели Vicarious, созданные по образу и подобию неокортекса человеческого мозга, имеют ряд преимуществ перед моделями глубокого обучения, способными обучаться только на больших датасетах. Так, искусственный интеллект Vicarious лучше умеет обобщать на относительно малом количестве примеров (как и человеческий мозг) и лучше справляется с так называемыми состязательными примерами (adversarial examples) – оптическими иллюзиями для машин[70]70
  “Attacking Machine Learning with Adversarial Examples”, OpenAI, February 24, 2017, https://openai.com/blog/adversarial-example-research/.


[Закрыть], способными обмануть нейросеть[71]71
  Tony Peng, “Vicarious.ai Is Teaching Robots to See the World Like Humans”, Synced Review, November 10, 2017, https://medium.com/syncedreview/rvicarious-ai-is-teaching-robots-to-see-the-world-like-humans-8f0464202e5.


[Закрыть].

Дилип Джордж, один из основателей компании, кратко указывает на ограниченность моделей глубокого обучения: они не могут рассуждать, понимать причины или делать что-либо за пределами своего опыта. «Если просто расширить глубокое обучение, эти фундаментальные ограничения не исчезнут, – говорит он. – Мы приняли сознательное решение найти и устранить эти проблемы»[72]72
  Simonite, “These Industrial Robots Get More Adept with Every Task”.


[Закрыть].

Исследование компании Vicarious показывает, как использование человеческого умения расставлять акценты и решать проблемы с помощью факторизации объектов и постановки подцелей может позволить системам искусственного интеллекта вывести из изображения высокоуровневую концепцию и затем применять ее в разных обстоятельствах.

Авторы утверждают, что такие когнитивные методы начинают приближаться к алгоритмам общего обучения человеческого разума и способны значительно улучшить производительность искусственного интеллекта и его объяснимость при решении сложных задач, включающих огромное количество перестановок[73]73
  Daniel P. Sawyer, Miguel Lazaro-Gredilla, and Dileep George, “A Model of Fast Concept Inference with Object-Factorized Cognitive Programs”, arXiv: 2002.04021, https://arxiv.org/pdf/2002.04021.pdf.


[Закрыть].

Рассмотрим нагромождения букв и цифр, используемые на сайтах, чтобы отличить человека от робота. Это CAPTCHA (Completely Automated Public Turing tests to tell Computers and Humans Apart), тест, который людям решить легко, а компьютерам – сложно. Опираясь на вычислительную нейробиологию (науку, изучающую работу мозга с помощью компьютерного моделирования и математического анализа), исследователи из компании Vicarious разработали модель, способную преодолевать CAPTCHA намного быстрее глубоких нейросетей и обрабатывать их данные в 300 раз эффективнее[74]74
  D. George, W. Lehrach, K. Kansky, M. Lázaro-Gredilla, C. Laan, B. Marthi, X. Lou, Z. Meng, Y. Liu, H. Wang, et al., “A Generative Vision Model That Trains with High Data Efficiency and Breaks Text-Based CAPTCHAs”, Science, October 27, 2017, https://media.theobjective.com/2017/10/science.aag-CAPCHA.pdf; Ivan Y. Tyukin, Alexander N. Gorban, Muhammad H. Alkhudaydi, and Qinghua Zhou, “Demystification of Few-Shot and One-Shot Learning”, arXiv, May 29, 2021, https://arxiv.org/pdf/2104.12174.pdf; Jun Shu, Zongben Xu, and Deyu Meng, “Small Sample Learning in Big data Era”, arXiv, August 22, 2018, https://arxiv.org/pdf/1808.04572.pdf.


[Закрыть].

Чтобы разобрать CAPTCHA с точностью почти 67 %, модели Vicarious потребовалось всего пять обучающих примеров на каждый символ. Современной глубокой нейросети нужно в 50 000 раз больше обучающих данных из-за миллионов возможных комбинаций букв, причем эти данные должны содержать реальные строки CAPTCHA.

Модели типа Vicarious с их способностью обучаться быстрее и обобщать шире, чем позволяют более распространенные сегодня методы, приведут нас к созданию роботов, обладающих подобным человеческому концептуальным пониманием мира.

От нескольких снимков к одному

Компания Google DeepMind Technologies использует «сети соответствия» (matching networks) – нейросети, основанные на последних достижениях в области изучения внимания и памяти, – для быстрого обучения модели новым концепциям на основе всего одного помеченного элемента данных. Это то же самое, как если бы ребенку показали изображение жирафа, чтобы в будущем он мог узнавать всех жирафов.

Исследователи разработали новую архитектуру и стратегию обучения, которая дополняет систему небольшой матрицей памяти – эдаким вспомогательным датасетом с размеченными данными, полезными для решения проблемы. В отличие от других подходов, этот основан всего на одном размеченном примере. Метод значительно повысил точность идентификации изображений из гигантских датасетов ImageNet и Omniglot[75]75
  Oriol Vinyals, Charles Blundell, Timothy Lillicrap, Koray Kavukcuoglu, and Daan Wierstra, “Matching Networks for One Shot Learning”, arXiv, December 29, 2017, https://arxiv.org/pdf/1606.04080.pdf.


[Закрыть]. (Датасет Omniglot представляет собой энциклопедию систем письма и языков, содержащую 1623 разных рукописных символа из 50 алфавитов, и предназначен для разработки более близких к человеческим алгоритмов обучения.)

Инженеры и исследователи из Центра искусственного интеллекта Samsung в Москве и инновационного центра «Сколково» недавно разработали динамическую модель лица, которая хорошо обучается и на нескольких примерах, и даже на одном[76]76
  Egor Zakharov, Aliaksandra Shysheya, Egor Burkov, and Victor Lempitsky, “Few-Shot Adversarial Learning of Realistic Neural Talking Head Models”, arXiv, September 25, 2019, arXiv:1905.08233v2.


[Закрыть]. Модель, названная «Говорящие головы», сначала обучается на большом наборе видеороликов с лицами и демонстрирует сочетание подходов, основанных на больших и малых данных.

В результате она может идентифицировать и извлекать лицевые характеристики всего из нескольких примеров какого-нибудь нового лица и представлять его в виде реалистичного аватара, который выглядит как подлинное видео. В поразительном демонстрационном ролике лицо рассказчика двигается одновременно с расположенным рядом аватаром, и разница между ними почти незаметна[77]77
  Zakharov et al., “Few-Shot Adversarial Learning of Realistic Neural Talking Head Models”.


[Закрыть]. ИИ-модель создала аватар рассказчика, увидев всего 8 кадров из его видео.

Аватар актера Нила Патрика Харриса, созданный на основе 32 кадров, получился практически идеальным. Система способна генерировать аватары всего из нескольких селфи, которые резко отличаются от видеокадров качеством исходного материала.

Модель «Говорящие головы» может похвастаться впечатляющей способностью к обучению и на одном примере. Используя отдельные знаковые фотопортреты знаменитых людей, включая Мэрилин Монро, Сальвадора Дали, Федора Достоевского и Альберта Эйнштейна, она создала очень убедительные аватары. Система даже добилась определенного успеха в создании аватаров на основе классических картин, как «Мона Лиза».

Особо впечатляет видео с Достоевским: великий русский романист умер в 1881 году, до эры кинематографа. В совокупности же подобное «оживление» знаменитостей порождает предчувствие дипфейков, фальшивых видео, на которых люди правдоподобно делают и говорят то, чего они на самом деле никогда не делали и не говорили, – от секс-видео до возмутительных политических заявлений.

Создатели «Говорящих голов» признают опасность таких подделок, но отмечают, что инструменты для их обнаружения сейчас разрабатываются быстро. В некоторых приложениях используются генеративно-состязательные сети (GAN). В них генерирующий изображение алгоритм сражается с алгоритмом, пытающимся установить подлинность или поддельность изображения. Оба алгоритма-антипода постоянно совершенствуются, что делает обнаружение дипфейков все более сложным.

Если отбросить злонамеренное использование технологии, то в недалеком будущем реалистичное телеприсутствие может преобразить мир, особенно когда пользователи получат возможность самостоятельно создавать аватары[78]78
  Egor Zakharov, Aliaksandra Shysheya, Egor Burkov, and Victor Lempitsky, “Personal Statement”, https://www.youtube.com/watch?v=p1b5aiTrGzY.


[Закрыть]. Очевидные потенциальные преимущества включают в себя сокращение числа дальних поездок и даже вынужденных поездок на короткие расстояния, демократизацию образования и повышение качества жизни людей с ограниченными возможностями и хроническими заболеваниями.

Очки виртуальной реальности уже позволяют хирургам проникать в точные 3D-модели мозга конкретного пациента. Сегодня в больнице Оттавы в Канаде этот подход помогает с точностью до миллиметра имплантировать в мозг микроэлектроды тоньше человеческого волоса[79]79
  Elizabeth Payne, “Ottawa Hospital Team Pioneers Virtual Reality to Treat Parkinson’s Patients”, Kingston Whig-Standard, March 19, 2019, https://www.thewhig.com/news/local-news/ottawa-hospital-team-pioneers-virtual-reality-to-treat-parkinsons-patients/wcm/24914de3-697f-4964-b106-db0877dc0730?fb_comment_id=2004219489677092_2174866382612401.


[Закрыть].

Дистанционные операции на мозге – это не фантастическая и даже не футуристическая идея. В марте 2019 года Лин Чжипей впервые в Китае дистанционно оперировал с помощью технологии 5G мозг пациента, находящегося на расстоянии 3000 километров. Студенты-медики Стэнфордского университета теперь используют иммерсивные (с эффектом присутствия) системы для исследования внутричерепных осложнений. Под руководством аватара-инструктора они могут рассмотреть опухоли и аневризмы под разными углами и пройти все этапы хирургических процедур[80]80
  Mandy Erickson, “Virtual Reality System Helps Surgeons, Reassures Patients” (Stanford University Medical Center), Medical X Press, July 12, 2017, https://med.stanford.edu/news/all-news/2017/07/virtual-reality-system-helps-surgeons-reassures-patients.html.


[Закрыть].

Как сделать больше, используя меньше данных

По мере развития искусственного интеллекта исследователи и организации разрабатывают методы, позволяющие быстро добиваться большего, используя меньше данных. Эти методы хороши в ситуациях, когда компании могут воспользоваться лишь небольшими датасетами из-за ограниченного количества доступных для изучения размеченных примеров, а также в пограничных случаях с небольшими объемами посторонних данных, содержащих редкие дефекты или характеристики. К таким методам работы с малыми данными относятся следующие.

Эхо данных. Исследователи Google Brain изучают технику повторного (подобно эху) использования данных для того, чтобы ускорить обучение искусственного интеллекта[81]81
  Dami Choi, Alexandre Passos, Christopher J. Shallue, and George E. Dahl, “Faster Neural Network Training with Data Echoing”, arXiv, January 4, 2020, https://arxiv.org/abs/1907.05550.


[Закрыть]. В типичном процессе обучения система сначала считывает и декодирует входные данные, затем перемешивает их, применяя набор преобразований для их дополнения, после чего собирает примеры в партии и итеративно обновляет параметры для уменьшения ошибок. Эхо данных добавляет к процессу этап, на котором используются выходные данные предыдущего этапа, тем самым повышая эффективность и позволяя системе использовать незадействованные вычислительные мощности[82]82
  Kyle Wiggers, “Google’s New ‘Data Echoing’ Technique Speeds Up AI Training”, Ven-tureBeat, July 15, 2019, https://venturebeat.com/2019/07/15/Googles-new-data-echoing-technique-speeds-up-ai-training/.


[Закрыть].

Динамическая фильтрация. Presto применяет распределенный механизм для анализа больших данных, который рассматривает запрос, распределяет его между несколькими «рабочими» и создает оптимальный план для ответа на него. Он собирает данные из разных источников, задействует как большие, так и малые датасеты и определяет, является ли один из источников значительно меньшим, чем другой. Затем механизм динамически фильтрует данные, чтобы пропустить сканирование нерелевантных данных из большего источника. Это позволяет значительно повысить производительность при объединении данных из разных источников[83]83
  Shai Greenberg, “Querying Multiple Data Sources with a Single Query using Presto’s Query Federation”, BigData Boutique, May 26, 2020, https://blog.bigdataboutique.com/2020/05/querying-multiple-data-sources-with-a-single-query-using-prestos-query-federation-veulwi.


[Закрыть].

Одновременное обучение. Google одновременно обучил одну глубокую нейросеть восьми разным задачам. Она может параллельно распознавать объекты на изображениях, составлять подписи, распознавать речь, переводить между четырьмя парами языков и анализировать предложения. Исследователи показали, что при обучении сразу нескольким задачам можно не только добиться хороших результатов, но и повысить производительность в решении задач с ограниченным объемом данных[84]84
  Lukasz Kaiser, Aidan N. Gomez, Noam Shazeer, Ashish Vaswani, Niki Parmar, Llion Jones, and Jakob Uszkoreit, “One Model to Learn Them All”, arXiv, June 16, 2017, https://arxiv.org/pdf/1706.05137.pdf.


[Закрыть].

Активное обучение. При таком подходе к искусственному интеллекту алгоритм сам выбирает, на каких данных учиться. Нью-Йоркский университет Шанхая использовал алгоритмы активного обучения для разработки вычислительной структуры, которая персонализирует оценку изменений в зрении человека[85]85
  James Devitt, “A. I. Could Give Eye Charts a Personalized Overhaul”, Futurity, August 29, 2019, https://www.futurity.org/eye-charts-artificial-Intelligence-2146852/.


[Закрыть]. Система быстро оценивает, как результаты тестов соотносятся с большой библиотекой возможных результатов, учитывает предыдущие ответы пациента и приходит к набору оптимальных для него запросов. Исследователи считают, что усовершенствование стандартной оптометрической таблицы с помощью искусственного интеллекта поможет раньше обнаруживать и лечить заболевания глаз, такие как глаукома и катаракта.

Локальные данные. Глобальные компании создают географически релевантные продукты и каналы обслуживания клиентов, поэтому важно, чтобы данные, собранные на местах, использовались для обучения алгоритмов, определяющих подход компании к взаимодействию с местными клиентами. Локальные данные воплощают культуру, поведение и ценности, которые можно использовать, чтобы адаптировать подход компании к продажам и обеспечить более высокую удовлетворенность клиентов. Модели радикально очеловеченного ИИ – это не готовые системы «для всех», это модели, которые обучаются на данных, актуальных именно для тех групп населения, для которых предназначены.

Федеративное обучение. В сочетании с периферийными вычислениями федеративное обучение помогает уменьшить объем данных. При федеративном обучении каждое периферийное устройство загружает модель машинного обучения из облака, обновляет ее и отправляет обратно, где она затем усредняется вместе с другими обновлениями из других источников. Таким образом, модель обучается на локально хранящихся данных. Этот подход позволяет отказаться от централизованного хранилища больших данных, способствует разработке алгоритмов и особенно полезен в сценариях, где есть проблемы с задержками при беспроводной связи.

Синтетические (искусственные) данные. Стартапы и исследовательские команды, в отличие от IT-гигантов, не всегда имеют доступ к данным, необходимым для обучения алгоритмов. Но с помощью синтетических данных – искусственной информации, генерируемой компьютерами и имитирующей реальные данные, – инженеры могут научить систему искусственного интеллекта реагировать на новые ситуации. Синтетические данные способны помочь уравнять правила игры для стартапов, конкурирующих с IT-гигантами. Молодой стартап AiFi использует синтетические данные, чтобы создавать решения для ретейла без касс по примеру Amazon Go[86]86
  Evan Nisselson, “Deep Learning with Synthetic Data Will Democratize the Tech Industry”, TechCrunch, May 11, 2018, https://techcrunch.com/2018/05/11/deep-learning-with-synthetic-data-will-democratize-the-tech-industry/.


[Закрыть]. Но и технологические гиганты не дремлют[87]87
  Yashar Behzadi, “Why Synthetic Data Could Be the Ultimate AI Disruptor”, Upside, June 28, 2019, https://tdwi.org/articles/2019/06/28/adv-all-synthetic-data-ultimate-ai-disruptor.aspx.


[Закрыть]. Waymo, беспилотный автомобиль компании Alphabet, каждый день преодолевает почти 5 миллионов километров в моделируемой среде, что позволяет протестировать опции, прежде чем выпустить его на дорогу[88]88
  Nisselson, “Deep Learning with Synthetic Data Will Democratize the Tech Industry”.


[Закрыть].

Создание современной базы данных

Чтобы научиться использовать большие и малые данные для получения выгод от искусственного интеллекта, нужен надежный фонд данных. Сейчас компании из любой отрасли добиваются успехов не благодаря таким фондам, а вопреки. Данные заперты на устаревших стационарных платформах, часто изолированных друг от друга, что затрудняет, а иногда и делает невозможной их совместную работу. Это еще больше усложняет поиск и использование данных, необходимых для принятия решений.

Для создания современных фондов нужно вывести данные из устаревших разрозненных хранилищ, чтобы их можно было объединять в облаке по разным параметрам и обрабатывать с помощью современных аналитических инструментов. Как мы увидим в главе 4, для этого необходима правильная архитектура (элемент A в концепции IDEAS): правильные хранилища, правильные компьютеры, правильный доступ – все в облаке, чтобы обеспечить гибкие возможности работы с данными, которые создают конечные результаты.

Компании, которые делают все правильно, получают значительные конкурентные преимущества. Как мы уже отмечали во введении, согласно недавнему исследованию Accenture, лидеры в этой области росли в пять раз быстрее[89]89
  Paul Daugherty, Bhaskar Ghosh, Annette Rippert, Ramnath Venkataraman, and H. James Wilson, “Make the Leap, Take the Lead: Tech Strategies for Innovation and Growth”, Accenture, April 2021, https://www.accenture.com/us-en/insights/technology/scaling-enterprise-digital-transformation.


[Закрыть]. Кроме того, значительное число компаний, использующих прорывные технологии, во время пандемии увеличили инвестиции в облачные вычисления и искусственный интеллект – не только чтобы оставаться на плаву, но и чтобы создать «преимущества второго плана».

Как им удалось совершить скачок? Ключевыми являются три возможности: современная инженерия данных, управление данными с помощью искусственного интеллекта и демократизация данных.

Современная инженерия данных

В современную базу данные поступают из разных внутренних и внешних источников и проходят через ряд механизмов, включая пакетную обработку и обработку в режиме реального времени, а также программные интерфейсы приложения (API). Они объединяются в тщательно отобранные и повторно используемые датасеты, которые можно применять для разных аналитических целей.

Хорошая база основана на многократно используемых структурах для ввода данных и процессах ETL (извлечения, преобразования, загрузки), которые поддерживают разные типы данных. Эти структуры (фреймворки) регулируют качество, стандартизацию и классификацию данных, сбор метаданных, а также обеспечивают основанный на конфигурации подход к вводу, обработке и курированию данных. Это позволяет быстро и масштабно разрабатывать в облаке новые конвейеры данных для аналитики и продуктов их обработки.

Управление данными с помощью искусственного интеллекта

Облачные инструменты искусственного интеллекта предоставляют расширенные возможности и масштабирование, позволяющие автоматически очищать, классифицировать и защищать данные по мере их загрузки в облако. Это способствует повышению качества и достоверности данных, а также их корректному использованию.

Демократизация данных

Современная база предоставляет больше данных максимальному числу желающих. Это делает данные доступными и удобными для использования, а также позволяет оперировать ими разными способами, включая самообслуживание, искусственный интеллект, бизнес-аналитику и науку о данных. Как мы увидим в главе 6, новейшие облачные инструменты демократизируют данные и позволяют большему количеству людей легко и быстро находить и использовать сведения, соответствующие их бизнес-потребностям.

Вместе эти три возможности помогают компаниям преодолеть наиболее распространенные барьеры – доступность, надежность, подготовленность и актуальность данных – и позволяют объединять данные из больших и малых датасетов в режиме реального времени, создавать гибкую отчетность, использовать аналитику и искусственный интеллект для формирования широко доступных сведений о клиентах, рынках и операционной деятельности, тем самым обеспечивая значимые бизнес-результаты.

Если у вас надежный фонд данных – они собраны из большого числа источников, управляются с помощью искусственного интеллекта – и все больше ваших сотрудников оперируют все большими объемами данных, то вы перестанете находиться в заложниках у данных и начнете использовать их все более умело. Как и в случае с ИИ, более похожим на человеческий, такой подход к данным превращает механистические процессы в деятельность, требующую большего, а не меньшего участия людей. Это позволяет раскрыть потенциал экспертного знания (человеческого опыта) – элемент E в концепции IDEAS, к которому мы перейдем в следующей главе.