Текст книги "Ценность ваших решений: Как современные технологии и искусственный интеллект меняют наше будущее"

Развитие технологий работы с данными

Использование гибких облачных хранилищ позволяет обеспечивать высокий уровень интеграции, качества и готовности данных к дальнейшему использованию. Необходимо констатировать, что в настоящее время существует множество разнообразных данных, как структурированных, так и неструктурированных, находящихся буквально везде. Каждая, даже самая маленькая информационная система генерирует, хранит или обрабатывает какую-то информацию. При этом лишь небольшая часть используемых данных организована структурированным образом. В то же время специалисты тратят огромное количество времени на фактически ручную обработку данных: изучение и описание, установление взаимосвязей между ними, источники поступления и правила формирования, дальнейшая обработка, включая внесение необходимых изменений как в сами данные, так и в их описание для приведения их в эталонный вид. С учетом специфики разнообразной информации и ошибок в ней этот процесс без предварительной подготовки данных невозможно привести к единым алгоритмам обработки и последующей тиражируемости.

Для решения этих трудоемких задач специалисты все чаще прибегают к типизации используемых хранилищ (базы данных временных рядов, графовые базы данных, базы данных работы с документами, базы данных SQL и NoSQL, специализированные инструменты для работы с транзакционными данными Hadoop), что позволяет разделить многообразие данных на различные типы, обеспечивающие некую унификацию работы с ними, а также обеспечивать взаимосвязи как в рамках одной экосистемы (неструктурированные, полуструктурированные и структурированные данные), так и для взаимодействия между ними. Такие технологии работы с базами данных, позволяют использовать огромные массивы данных для решения различных прикладных задач, в том числе, и в области искусственного интеллекта (рис. 18).

Рис. 18. Перечень технологий работы с базами данных

Использование гибких и гибридных хранилищ, то есть объединений хранилищ, каждое из которых оптимально подобрано для своего типа данных, в сочетании со специфическими технологиями обработки данных и аппаратным обеспечением, архитектура которого оптимизирована для работы с огромными массивами данных, позволяет создавать платформенные решения для работы с информацией в отдельных предметных областях, таких как «Цифровой профиль клиента», «Цифровой профиль изделия», «Цифровой профиль здания» и многие другие цифровые двойники. В будущем все эти сущности будут жить в единой информационной среде. Один из примеров этого приведен на иллюстрации «Цифровой профиль гражданина». Помимо решения многочисленных актуальных задач, облегчающих повседневную деятельность граждан и организаций, подобные платформы позволяют проводить качественный и всесторонний анализ для задач формирования предиктивной аналитики[206]206
  Предиктивная (прогнозная) аналитика включает в себя различные статистические методы, такие как интеллектуальный анализ данных, прогнозное моделирование и машинное обучение, которые анализируют текущие и исторические факты для прогнозирования будущих или неизвестных событий (https://mccoy-partners.com/updates/to-predict-or-not-to-predict).


[Закрыть] и на ее основе предоставлять бесчисленное количество новых сервисов, а также выполнять сложнейшие исследования с использованием различных допущений и симуляций, все больше обращаясь к решениям на основе искусственного интеллекта.

Также одним из главных вызовов в работе с данными является все возрастающий их объем и необходимость обработки в режиме реального времени. Для использования этих данных необходим инструментарий для описания как их появления, так и самих данных (метаинформация), способов их обработки, анализа, предоставления для смежных сервисов, визуализации для конечных пользователей. Все это отнюдь не тривиальная с технологической точки зрения задача, требующая использования самых передовых технологий в этой области, как с аппаратной, так и с программной точки зрения, включая сложнейшие математические модели и предобученные нейросети, позволяющие работать с гигантскими объемами данных без участия человека, что уже рассматривается многочисленными экспертами в этой области как единственно возможное развитие всех без исключения технологий, обеспечивающих работу с данными.

Накопленные к настоящему моменту данные огромного многообразия информационных систем, как актуальные, так и устаревшие, являются основной ценностью многих организаций, но они зачастую не рассматриваются с этой точки зрения, а относятся к ним по-прежнему как к мусору, занимающему место и требующему средств для хранения. Либо присутствует боязнь, что если от них избавиться, то в этой «корзине» окажется и что-то весьма ценное, но осознание этой ценности придет впоследствии. Вместе с тем зачастую у данных отсутствует владелец, который обеспечивает хранение, актуальность, непротиворечивость, регулярное обновление накапливавшейся годами информации. Все это требует правил, стандартов, регламентов и инструментов постоянной работы с ними, а их отсутствие приводит к тому, что исторические данные довольно быстро превращаются в мусор, требующий существенных затрат на его хранение «на всякий случай» в разрозненных и дорогостоящих средах, и не позволяет использовать их в повседневной операционной деятельности. Данные имеют универсальную ценность. Инструменты работы с ними обеспечивают их корректность, актуальность, безопасность, методы хранения и возможности интеграции, обмен со всеми приложениями как внутри организации, так и с внешними решениями, позволяя легко и многократно использовать их для различных задач, задействуя в первую очередь технологии искусственного интеллекта, выходя далеко за рамки подразделений, отвечающих за политику информационных технологий. То есть в настоящее время информационные технологии становятся гораздо более узкой областью по отношению к технологиям работы с данными.

В этой связи происходит изменение представлений о специалистах, обеспечивающих работу с данными. Если раньше они были сотрудниками структурного подразделения блока информационных технологий, зачастую с непонятным функционалом – «какой-то отдел, который занимается серверным оборудованием, где хранятся базы данных, требующий огромных бюджетов на разработку различных интеграционных сервисов, без каких-либо гарантий качества этих самых данных». Теперь же они – сотрудники отделов, формирующих существенную добавленную стоимость всей организации, ее внутренних и внешних сервисов и практически всех бизнес-процессов, позволяющих оценить экономический эффект использования этих данных за счет оптимизации внутренних процедур, монетизации созданных сервисов и формирования стратегий развития на основе объективной и всесторонней информации. Кроме того, сами данные позволяют зарабатывать исключительно на предоставлении качественных, актуальных и востребованных сведений, помогая создавать уникальные продукты, обеспечивая существенный синергетический эффект подобного взаимодействия.

Один из ключевых вопросов в политике повсеместного использования качественных наборов данных лежит в области безопасности и конфиденциальности. И здесь наиболее востребованными становятся политики и регламенты, обеспечивающие, с одной стороны, доступность данных, а с другой стороны – четко описанные рамки доступа и использования отдельных наборов данных, что также должно быть переведено из текущего «ручного» процесса (а как мы знаем, участие человеческого фактора всегда увеличивает риск ошибки) к автоматически настроенным решениям, описывающим и регламентирующим все этапы активности пользователей в этом направлении, с их обязательным журналированием (или, как принято говорить в профессиональной среде, – логированием). Вся эта область организационной работы «вокруг данных» получила название Data Governance (руководство данными). Одним из наиболее авторитетных и полных изданий, на взгляд автора, является перевод на русский язык всеобъемлющей методологии работы с данными «DAMA-DMBOK»[207]207
  DAMA-DMBOK: Свод знаний по управлению данными. – М.: Олимп-Бизнес, 2020. – 828 с.


[Закрыть]. Если говорить кратко об этой области, то это упорядочивание и узаконивание политик работы с данными в организации, назначение ролей – ответственных за их ведение и использование.

Именно внедрение унифицированных правил, заложенных в основу алгоритмов, обеспечивающих устойчивость, восстановление, копирование данных в различных условиях, как при работе с ними, так и при аварийных ситуациях различной природы, позволит обеспечить использование информации в режиме реального времени с минимальным риском их утраты, похищения, внесения недекларируемых изменений и воздействия на них другими способами. Эти правила активно внедряются не только на корпоративном уровне, но и на уровне государственного регулирования. В качестве примеров можно привести уже существующие отдельные нормативные акты, такие как Закон о защите данных потребителей штата Вирджиния (VCDPA – Virginia Consumer Data Protection Act), европейский Общий регламент по защите данных (GDPR – EU's General Data Protection Regulation), калифорнийский Закон о правах на неприкосновенность частной жизни (CPRA – California Privacy Rights Act) и калифорнийский Закон о конфиденциальности потребительских данных (CCPA – California Consumer Data Privacy Act). Уже сейчас разрабатываются и внедряются различные платформы, позволяющие автоматизировать предоставление разнообразных наборов данных с помощью предопределенных сценариев, чтобы безопасно и надежно, с учетом требований законодательства, предоставлять пользователям и приложениям доступ к данным в реальном времени, используя в том числе API с четко описанными правилами их функционирования.

Квантовые технологии – новая цифровая реальность

Если немного скорректировать закон Мура[208]208
  Закон Мура (Moore's law) – эмпирическое наблюдение, изначально сделанное Гордоном Муром, согласно которому (в современной формулировке) количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца.


[Закрыть] применительно к технологиям работы с данными, то по мере увеличения объемов данных, которые можно использовать в тех или иных решениях, необходимость в технологиях, базирующихся на новых научных методах в различных науках (таких как математика, физика, химия, биология и т. п.), будет возрастать кратно. Более того, некоторые технологии могут дополнять имеющиеся, например работы над созданием квантового компьютера. По мнению автора, несколько технологических направлений совершат беспрецедентный рывок в своем развитии в ближайшие годы как раз благодаря резко возросшей необходимости работы с надвигающимся океаном разнообразных данных. Можно с уверенностью сказать, что такими прорывными направлениями станут искусственный интеллект, квантовые компьютеры и коммуникации, высокоскоростные сети передачи данных, облачные технологии… и этот перечень со временем будет только расширяться. Начнем с первых двух перечисленных, дополняющих друг друга гораздо больше, чем может показаться на первый взгляд.

Квантовые вычисления – это новая технология, которая использует законы квантовой механики для обеспечения экспоненциально более высокой производительности для определенных типов вычислений, предлагая возможность научно-технологических прорывов во многих направлениях науки и наукоемкой продукции.

Основные направления использования квантовых технологий:

 Квантовые сенсоры (Quantum sensors) – это сверхчувствительные и сверхточные датчики нового поколения, основанные на использовании квантовых технологий, позволяющих обеспечивать всевозможные измерения с гораздо большей (на порядки) точностью и чувствительностью по сравнению с классическими устройствами в различных сферах применения.

 Квантовые коммуникации (Quantum communications) – защищенная (на основе явлений квантовой механики) среда передачи данных в квантовых состояниях фотонов, или, можно сказать, квантовой информации (хранящихся в кубитах), в пространстве с помощью квантовой криптографии (шифрования сообщений на основе квантовомеханического явления запутанности) в условиях неограниченных объемов вычислительных мощностей.

 Квантовые вычисления/компьютеры (Quantum computing) – новые перспективные вычислительные устройства, принцип действия которых предложил Юрий Манин[209]209
  Юрий Иванович Манин (род. в 1937 г.) – советский и американский математик, алгебраический геометр, педагог. Один из основоположников некоммутативной алгебраической геометрии, теории квантовых вычислений и квантовой информатики, член-корреспондент Российской академии наук, член Королевской академии наук Нидерландов, Французской академии наук, почетный доктор Сорбонны, заслуженный профессор Математического института Макса Планка.


[Закрыть] в 1980 г.[210]210
  Манин Ю. И. Вычислимое и невычислимое. – М.: Сов. радио, 1980. – С. 15.


[Закрыть], а одну из первых моделей квантового компьютера описал Ричард Фейнман в 1981 г. в своем докладе на конференции в MIT[211]211
  Feynman R. P. Simulating physics with computers // International Journal of Theoretical Physics. – 1982. – Vol. 21, iss. 6. – P. 467–488. – doi:10.1007/BF02650179.


[Закрыть], в котором для обработки и передачи данных используются законы квантовой механики. Технология основана на вычислениях с кубитами, которые могут представлять 0 и 1 одновременно. При этом классические вычисления используют транзисторы, которые представляют либо 0, либо 1. В квантовых вычислениях мощность увеличивается экспоненциально, пропорционально количеству кубитов; при классических вычислениях мощность увеличивается в соотношении 1:1 к количеству транзисторов. Другими словами, в то время как классические компьютеры работают в бинарной системе хранения и обработки информации, основанной на 1 и 0, квантовые системы могут одновременно быть 1 и 0, то есть смесью 1 и 0. Эта так называемая суперпозиция освобождает вычисления от бинарных ограничений и позволяет использовать огромные вычислительные возможности. Для перевода кубита в состояние суперпозиции необходимо преобразовать его с помощью гейта Адамара, который при следующем применении вернет кубит в одно из базисных состояний.

То есть рассматривая одновременно два кубита, мы отмечаем сразу четыре состояния: 1/1, 0/0, 1/0, 0/1, следовательно, два кубита могут находиться в том же количестве состояний, что и четыре классических бита. У каждого есть определенный вес (или амплитуда) который может играть роль нейрона. Если добавить еще один (третий) кубит, можно представить уже восемь нейронов (по числу возможных состояний: 0/0/1, 0/1/1, 1/1/1, 1/1/0, 1/0/0, 0/1/0, 0/0/1, 0/0/0); четыре кубита – в том же количестве, что и 16 бит, 16 кубитов – в том же, что и 65 536 бит и т. д. Емкость системы растет экспоненциально. Когда вы изменяете состояние четырех кубитов, вы обрабатываете 16 нейронов одновременно, в то время как традиционному компьютеру пришлось бы последовательно, по одному, обрабатывать эти действия. Компьютер, основанный на битах, никогда не сможет обработать такой объем информации, поэтому квантовые вычисления представляют собой настоящий «квантовый скачок» с точки зрения вычислительных возможностей.

Кроме того, результаты квантовых вычислений отличаются от их бинарных аналогов. В силу их квантовой природы эти результаты являются вероятностными, а не детерминированными, следовательно, они могут меняться, даже если входные данные одинаковы, то есть одно и то же вычисление должно выполняться несколько раз, чтобы убедиться, что его выходные данные сходятся к среднему значению.

Также одной из ключевых характеристик квантовых состояний является способность кубитов запутываться[212]212
  Квантовая запутанность – квантовомеханическое явление, при котором квантовые состояния двух или большего числа объектов оказываются взаимозависимыми.


[Закрыть]. Это состояние позволяет воздействием на один кубит влиять на другой на существенном расстоянии между ними в пространстве. Запутанность кубитов – это состояние, при котором кубиты не рассматриваются по отдельности, так как их состояние становится общим, то есть изменение любого из них влечет за собой и изменения всех кубитов системы, а соответственно, и всей системы.

Аналогично, как и суперпозиция, запутанность имеет решающее значение для мощи квантовых вычислений. Суперпозиция позволяет кубитам вести себя не как классические биты, а иметь возможность находиться в множественных состояниях, что дает возможность квантовым программистам одновременно выполнять эквивалент множества вычислений. Запутанность кубитов позволяет им находиться в суперпозиции, генерируя при этом дополнительную информацию за счет взаимодействия, без чего невозможно обеспечить вычисления, поскольку состояние каждого кубита остается независимым от других. Основой ценности кубитов является эффективное управление суперпозицией и запутанностью.

Вместе с тем, используемые сегодня алгоритмы квантовых вычислений возможны для довольно ограниченного круга задач, позволяющего достичь существенного ускорения вычислений. Наиболее популярными квантовыми алгоритмами, доказавшими свою эффективность, являются: алгоритм Гровера[213]213
  Grover L.K. A fast quantum mechanical algorithm for database search // Proceedings, 28th Annual ACM Symposium on the Theory of Computing. – May 1996. – P. 212. https://arxiv.org/pdf/quant-ph/9605043.pdf


[Закрыть], алгоритм Дойча – Йожи[214]214
  Deutsch D., Jozsa R. Rapid solution of problems by quantum computation. In Proceedings of the Royal Society of London, volume A439, pages 553–558, 1992. https://www.isical.ac.in/~rcbose/internship/lectures2016/rt08deutschjozsa.pdf


[Закрыть], алгоритм Залки – Визнера[215]215
  Zalka Ch. Efficient Simulation of Quantum Systems by Quantum Computers (1996). https://arxiv.org/pdf/quant-ph/9603026.pdf


[Закрыть], алгоритм Саймона[216]216
  Simon D. On the Power of Quantum Computation (1997). https://www.researchgate.net/publication/2822536


[Закрыть], алгоритм Шора[217]217
  Shor P. W. (1994), Algorithms for quantum computation: Discrete logarithms and factoring, in Pro– ceedings of the 35th Annual Symposium on Foundations of Computer Science, IEEE Computer Society Press, Los Alamitos, CA, pp. 124–134. https://ieeexplore.ieee.org/document/365700


[Закрыть], алгоритм HHL (Harrow-Hassidim-Lloyd)[218]218
  Harrow A., Hassidim A., and Lloyd S. Quantum algorithm for solving linear systems of equations. Physical Review Letters, 103(15):150502, 2009. arXiv:0811.3171.


[Закрыть], а также некоторые другие методы[219]219
  De Wolf R. Quantum Computing: Lecture Notes. https://arxiv.org/pdf/1907.09415.pdf


[Закрыть].

Квантовые вычисления уже позволяют решать задачи такой степени сложности, на решение которых с помощью классического компьютера ушли бы миллионы лет, и такие технологии продолжают развиваться с беспрецедентной скоростью. Однако квантовые вычисления могут решать не все задачи. Например, образование бозона Хиггса в Большом адронном коллайдере при столкновении тех или иных частиц: эта задача сложна для современных суперкомпьютеров, а для квантовых вычислений непонятен подход к ее решению. Таким образом, квантовые компьютеры можно сравнить с графическими чипами, где быстрее выполняются лишь некоторые операции.

Бозон Хиггса оставался единственным элементом Стандартной модели микромира, который ученые долго не могли обнаружить. В рамках модели есть еще много нерешенных вопросов, но считается, что открытие бозона Хиггса завершило современную теорию элементарных частиц. Об открытии бозона Хиггса ЦЕРН сообщил 4 июля 2012 г. Исследователи заявили, что открыли новую частицу, свойства которой согласуются с ожидаемыми свойствами бозона Хиггса. Открытие бозона Хиггса – это еще один шаг к пониманию того, как устроен наш мир. Эту частицу иногда называют «кирпичиком» мироздания. Ученые полагают, что до Большого взрыва – события, которое привело к созданию всего, – все частицы не имели массы. В момент Большого взрыва и через 10–12 секунд после него частицы вступили во взаимодействие с полем Хиггса, что придало им массу. Если бы этого не случилось, они просто разлетелись бы по космическому пространству, так и не соединившись в атомы и молекулы, и в конечном итоге никогда бы не образовали все то, что существует сейчас.

Одна из самых перспективных областей применения квантовых вычислений – различные технологии искусственного интеллекта. Мы рассмотрим их более подробно в следующей части нашей книги, однако здесь остановимся на простом примере применения квантовых вычислений.

Как мы знаем, большой класс задач искусственного интеллекта – это распознавание различных закономерностей. Принципы работы нейросети часто сравнивают с функционированием коры головного мозга человека, потому что они схожи по принципу действия с человеческим мозгом и представляют собой решетку из базовых вычислительных единиц – нейронов (рис. 19). Каждый из них может иметь фактически два состояния, например 0 или 1. Каждый нейрон отслеживает состояние множества окружающих его нейронов, «опрашивая» их состояния по каждому импульсу, и также переключается в состояние большинства нейронов. Нейроны формируют слои, позволяющие по каждому импульсу формировать все более сложные выводы по мере перехода от нижнего слоя к более высокому, обобщая выводы предыдущих слоев. Соответственно, нейросети способны к обучению, используя огромные массивы данных и анализируя их слой за слоем, формируя все более точные выводы и опираясь на них в каждой последующей операции.

Рис. 19. Нейрон и его математическое представление (источник Stanford CS231n)

Подобный подход обладает феноменальной способностью к адаптации на основе многочисленных экспериментов, отмечая все правильные и неправильные комбинации изображений, звуков, текстов и всего многообразия окружающего мира, анализируя все это как по отдельности, так и в комплексе. Таким образом и в природе формируются навыки, которые считаются формой памяти, то есть некоторая интерпретация опыта, приобретенного при взаимодействии с внешней средой, а не заложенного изначально природой. То есть фактически имеет место определенное заимствование подходов, используемых в биологии, где основное предназначение памяти заключается в возможности предсказания будущего на основании различных интерпретаций приобретенного опыта прошлого, заключающегося в суммировании и накоплении связей между действиями (или воздействием внешней среды) и полученным результатом. Подобные интерпретации позволяют также обобщать полученный опыт, формируя мышление, или, в некотором смысле, алгоритмы принятия решений, что применимо и в цифровом мире.

В качестве классического примера обычно приводят возможность обучения нейронной сети посредством изображений, которые будут подписаны меткой «кролик» или другой меткой. Если будет изображено другое животное, при ошибке в метке, определяющей животное на картинке, нейронная сеть будет запоминать свою ошибку и с каждым новым изображением все точнее определять животное на картинке. Вероятнее всего, после такой работы с десятком миллионов картинок нейронная сеть будет определять животное на картинке на уровне опытного зоолога. В случае же миллиардов изображений, а примерно с таких объемов начинаются серьезные нейросети, где связи нейронов также настраиваются схожим образом, можно говорить, что нейронная сеть станет «величайшим зоологом своего времени».

Фактически кубиты квантового компьютера выполняют роль нейронов, передавая импульсы, как крохотный электромагнит, ориентированный как в горизонтальной, так и в вертикальной плоскости, находясь в так называемой суперпозиции. Взаимодействие кубитов обеспечивается за счет действия магнитного поля сначала в горизонтальной плоскости, а затем и вертикальной, формирующего слои. Это свойство переключения кубитов возможно благодаря квантовому туннелированию. Основное преимущество квантовых вычислений – это скорость обработки запросов за счет возможности распараллеливания одновременного выполнения нескольких операций, что достигается описанным выше взаимодействием кубитов, а не выделением мощности на каждый процесс, как это реализовано в классических вычислительных средствах. Помимо эффективности использования квантовых вычислений в целом ряде задач, стоящих на пути научно-технического прогресса, стоит выделить также то, что человечество, вероятно, достигло технологического потолка развития обычных процессоров и квантовые вычисления, возможно, являются как раз тем самым следующим шагом в развитии вычислительной техники.

Технологии квантовых вычислений уже крайне эффективно применяются в создании и модернизации сетей глубокого обучения, в некоторых случаях при грамотном проектировании и построении производительность подобных сетей прирастает экспоненциально, и по мере увеличения этих нейросетей эффективнее и быстрее работает алгоритм их обучения, на порядки превосходя показатели классических решений, используемых для тех же задач. Например, для задач кластеризации подходит одна из разновидностей алгоритма Гровера, дающего квадратичное ускорение.

Свой алгоритм Лов Гровер[220]220
  Лов Кумар Гровер (Lov Kumar Grover; род. в 1961 г.) – индо-американский математик. Создатель алгоритма Гровера, используемого в квантовых вычислениях.


[Закрыть] изобрел в 1996 г. Алгоритм Гровера[221]221
  Grover L A fast quantum mechanical algorithm for database search (1996). https://arxiv.org/pdf/quant-ph/9605043.pdf


[Закрыть] легче всего продемонстрировать на простой задаче – нам нужно найти нечто находящееся в одном из N возможных местоположений. Чтобы найти его классическим способом, в худшем случае мы должны задать N-1 вопросов. Число вопросов растет пропорционально N. Гровер рассчитал формулу, которая определяет, сколько раз нужно использовать его цепь, чтобы получить максимальную вероятность правильного ответа. Число, которое дает эта формула, растет пропорционально корню квадратному из N. Это квадратичное ускорение.

Доказано, что алгоритм Гровера является оптимальным. Нет квантового алгоритма, способного решить задачу с более чем квадратичным ускорением. Хотя квадратичное ускорение и не такое впечатляющее, как экспоненциальное, но при работе с большими наборами данных любое ускорение является ценным.