Текст книги "Наука о данных"

Возникновение и эволюция науки о данных

Термин «наука о данных» появился в конце 1990-х гг. в дискуссиях, касающихся необходимости объединения статистиков с теоретиками вычислительных систем для обеспечения математической строгости при компьютерном анализе больших данных. В 1997 г. Джефф Ву выступил с публичной лекцией «Статистика = наука о данных?», в которой осветил ряд многообещающих тенденций, в том числе доступность больших и сложных наборов данных в огромных базах и рост использования вычислительных алгоритмов и моделей. В завершение лекции он призвал переименовать статистику в «науку о данных».

В 2001 г. Уильям Кливленд опубликовал план действий по созданию университетского факультета, сфокусированного на науке о данных[4]4
  Shmueli, Galit. 2010. “To Explain or to Predict?” Statistical Science 25 (3): 289–310. doi:10.1214/10-STS330.


[Закрыть]. В плане подчеркивалось место науки о данных между математикой и информатикой и предлагалось понимать ее как междисциплинарную сферу. Специалистам по данным предписывалось учиться, работать и взаимодействовать с экспертами из этих областей. В том же году Лео Брейман опубликовал статью «Статистическое моделирование: две культуры»[5]5
  Breiman, Leo. 2001. “Statistical Modeling: The Two Cultures (with Comments and a Rejoinder by the Author).” Statistical Science 16 (3): 199–231. doi:10.1214/ss/1009213726.


[Закрыть]. В ней он охарактеризовал традиционный подход к статистике как культуру моделирования данных, которая предполагает основной целью анализа выявление скрытых стохастических моделей (например, линейной регрессии), объясняющих, как были сгенерированы данные. Брейман противопоставляет это культуре алгоритмического моделирования, которая фокусируется на использовании компьютерных алгоритмов для создания более точных моделей прогнозирования, не объясняющих то, как данные были получены. Проведенная Брейманом граница между статистическими моделями, которые объясняют данные, и алгоритмическими, которые могут их точно прогнозировать, подчеркивает коренное различие между статистиками и исследователями машинного обучения. Споры между этими двумя подходами не утихают до сих пор[6]6
  Silver, David, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, et al. 2016. “Mastering the Game of Go with Deep Neural Networks and Tree Search.” Nature 529 (7587): 484–89. doi:10.1038/nature16961.


[Закрыть]. В целом сегодня большинство проектов, осуществляемых в рамках науки о данных, соответствует подходу машинного обучения к построению точных моделей прогнозирования и все меньше озабочены статистическим объяснением. Таким образом, хотя наука о данных родилась в дискуссиях вокруг статистики и до сих пор заимствует некоторые статистические методы и модели, со временем она разработала свой собственный, особый подход к анализу данных.

С 2001 г. концепция науки о данных значительно расширилась и вышла за пределы модификаций статистики. Например, в последние 10 лет наблюдается колоссальный рост объема данных, генерируемых онлайн-активностью (интернет-магазинами, социальными сетями или развлечениями). Чтобы собрать эту информацию (порой неструктурированную) из внешних веб-источников, подготовить и очистить ее для использования в проектах по анализу данных, специалистам по данным требуются навыки программирования и взлома. Кроме того, появление больших данных означает, что специалист по данным должен уметь работать с такими технологиями, как Hadoop. Фактически сегодня понятие «специалист по данным» стало настолько широким, что вызвало настоящие дебаты о том, как определить его роль и требуемые опыт и навыки[7]7
  Manyika, James, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, and Angela Hung Byers. 2011. “Big Data: The next Frontier for Innovation, Competition, and Productivity.” McKinsey Global Institute. http://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-thenext-frontier-for-innovation.


[Закрыть]. Тем не менее можно перечислить их, опираясь на мнение большинства людей, как это сделано на рис. 1. Одному человеку трудно овладеть всем перечисленным, и большинство специалистов по данным действительно обладают глубокими знаниями и реальным опытом только в некоторых из этих областей. При этом важно понимать и осознавать вклад каждой из них в проекты по обработке данных.

Специалист по данным должен иметь экспертный опыт в предметной сфере. Большинство проектов начинаются с реальной проблемы и необходимости разработать ее решения. Специалист по данным должен понимать и проблему, и то, как ее решение могло бы вписаться в организационные процессы. Этот экспертный опыт направляет специалиста при поиске оптимального решения. Он также позволяет конструктивно взаимодействовать с отраслевыми экспертами, чтобы докопаться до самой сути проблемы. Кроме того, специалист по данным может использовать его в работе над аналогичными проектами в той же или смежной областях и быстро определять их фокус и охват.

В центре всех проектов науки о данных находятся сами данные. Однако тот факт, что организация имеет доступ к данным, не означает, что у нее есть формальное или этическое право на их использование. В большинстве юрисдикций существует антидискриминационное законодательство и законы о защите персональных данных. Специалист по данным должен знать и понимать эти правила, а также (в более широком смысле) понимать этические последствия своей работы, если хочет использовать данные на законных основаниях и надлежащим образом. Мы вернемся к этой теме в главе 7, где обсудим правовые нормы и этические вопросы, связанные с наукой о данных.

В большинстве организаций значительная часть данных поступает из баз, размещенных внутри самой организации. Но по мере роста архитектуры данных проекты начнут получать их из множества других источников, в том числе из источников больших данных. Данные в этих источниках могут существовать в различных форматах, но, как правило, представляют собой базы на основе реляционной модели, NoSQL или Hadoop. Эти данные должны быть интегрированы, очищены, преобразованы, нормализованы и т. д. Такие задачи могут называться по-разному, например: ETL (извлечение, преобразование, загрузка), подготовка, слияние, уплотнение данных и др. Результаты обработки должны храниться и управляться, как и исходные данные. Для этого также используют базы, чтобы результаты можно было легко распределить между частями организации или обеспечить им совместный доступ. Следовательно, специалист по данным должен обладать навыками взаимодействия с базами данных и обработки содержащейся в них информации.

Понятие «компьютерные науки» используется здесь для обозначения целого ряда навыков и инструментов, которые позволяют специалисту работать с большими данными и преобразовывать их в новую значимую информацию. Высокопроизводительные вычисления (HPC) предполагают агрегацию вычислительных мощностей для достижения большей производительности, чем может дать автономный компьютер. Многие проекты имеют дело с очень большими наборами данных и/или алгоритмами машинного обучения, которые требуют дорогостоящих вычислений. В таких ситуациях важно иметь навыки доступа к ресурсам HPC и их использования. Помимо HPC, мы уже упоминали о задачах сбора, очистки и интегрирования веб-данных, стоящих перед специалистом. Сюда же входит умение обрабатывать неструктурированный текст и изображения. Кроме того, неплохо, если специалист по данным способен сам написать приложение для выполнения конкретной задачи или изменить существующее, чтобы настроить его под конкретные данные и сферу деятельности. Наконец, необходима компьютерная грамотность, чтобы понимать и разрабатывать модели машинного обучения и интегрировать их в производственные, аналитические или внутренние приложения организации.

Графическое отображение данных существенно упрощает их просмотр и понимание. Визуализация применяется на всех этапах процесса. Работая с данными в табличной форме, легко пропустить такие вещи, как выбросы, тренды в распределениях или незначительные изменения данных во времени. Правильное графическое отображение выявляет эти и другие аспекты. Визуализация является важной и растущей областью науки о данных, и мы рекомендуем работы Эдварда Туфта[8]8
  Henke, Nicolaus, Jacques Bughin, Michael Chui, James Manyika, Tamim Saleh, and Bill Wiseman. 2016. “The Age of Analytics: Competing in a Data-Driven World.” McKinsey Global Institute. http://www.mckinsey.com/business-functions/mckinsey-analytics/ourinsights/the-age-of-analytics-competing-in-a-data-driven-world.


[Закрыть] и Cтефана Фью[9]9
  Tufte, Edward R. 2001. The Visual Display of Quantitative Information. 2nd edition edition. Cheshire, Conn: Graphics Press.


[Закрыть] как отличное введение в ее принципы и методы.

В процессе обработки данных (от их первоначального сбора и исследования до сравнения результатов различных моделей и типов анализа) используются статистические и вероятностные методы. Машинное обучение применяет их для поиска закономерностей. Специалист по данным не обязан уметь писать алгоритмы машинного обучения, но должен понимать, как и для чего они используются, что означают сгенерированные ими результаты и на каком типе данных могут выполняться конкретные алгоритмы. Иначе говоря, воспринимать их как «серый ящик» – систему с частично известной внутренней структурой. Это позволит сконцентрироваться на прикладных аспектах и провести тестирование различных алгоритмов машинного обучения, чтобы понять, какие из них лучше всего подходят для конкретного сценария.

Наконец, важным аспектом успешности специалиста по данным является умение рассказать с их помощью историю. Это может быть история прозрения, которое дал анализ, или история о моделях, созданных в ходе проекта, которые идеально впишутся в процессы организации и благотворно повлияют на ее функционирование. В потрясающем проекте по обработке данных нет никакого смысла, если его результаты не будут использованы, но для этого надо сообщить о них коллегам, не имеющим технического образования, в такой форме, чтобы они смогли все понять.

Где используется наука о данных?

Наука о данных определяет принятие решений практически во всех сферах современного общества. В этом разделе мы опишем три тематических кейса, которые иллюстрируют ее влияние на потребительские компании, использующие науку о данных в продажах и маркетинге, на правительства, совершенствующие с ее помощью здравоохранение, правосудие и городское планирование, и на профессиональные спортивные клубы, проводящие на ее основе отбор игроков.

Наука о данных в продажах и маркетинге

Компания Walmart (и другие розничные сети) имеет доступ к большим наборам данных о предпочтениях своих покупателей, собирая их через системы торговых точек, отслеживая поведение клиентов в интернет-магазине и анализируя комментарии о компании и ее продуктах в социальных сетях. Уже более 10 лет Walmart использует науку о данных для оптимизации уровня запасов в магазинах. Хорошо известен пример, когда Walmart пополняла ассортимент пирожных с клубникой в магазинах на пути следования урагана «Фрэнсис» в 2004 г. на основе анализа данных о продажах в период прохождения урагана «Чарли» несколькими неделями ранее. Недавно Walmart использовала науку о данных для увеличения розничных доходов, начав внедрять новые продукты на основе анализа тенденций в социальных сетях, анализировать активность по кредитным картам для составления рекомендаций клиентам, а также оптимизировать и персонализировать взаимодействие с клиентами через официальный сайт. Walmart связывает увеличение объема онлайн-продаж на 10–15 % именно с использованием науки о данных[10]10
  Taylor, David. 2016. “Battle of the Data Science Venn Diagrams.” KDnuggets. http://www.kdnuggets.com/2016/10/battle-data-science-venn-diagrams.html.


[Закрыть].

В онлайн-мире эквивалентом апселлинга (продажи более дорогих версий товара) и перекрестных продаж являются рекомендательные системы. Если вы смотрели фильмы на Netflix или покупали что-нибудь на Amazon, то знаете, что эти сайты собирают и используют данные, а затем предлагают вам варианты следующих просмотров или покупок. Одни рекомендательные системы направляют вас к блокбастерам и бестселлерам, а другие – к нишевым продуктам, соответствующим вашим вкусам. В книге Криса Андерсона «Длинный хвост: Эффективная модель бизнеса в интернете»[11]11
  Cleveland, William S. 2001. “Data Science: An Action Plan for Expanding the Technical Areas of the Field of Statistics.” International Statistical Review 69 (1): 21–26. doi:10.1111/j.1751-5823.2001.tb00477.x.


[Закрыть] утверждается, что по мере удешевления производства и дистрибуции рынки переходят от продажи большого количества небольшого набора хитов к продажам меньшего количества более разнообразных нишевых продуктов. Этот компромисс между стимулированием продаж популярных и нишевых продуктов лежит в основе разработки рекомендательных систем и влияет на алгоритмы обработки данных, используемые в этих системах.

Использование науки о данных государственными структурами

В последние годы государственные структуры осознали преимущества науки о данных. Например, правительство США в 2015 г. назначило математика Дханурджая Патила первым главным специалистом по данным. Некоторые из крупнейших инициатив в области науки о данных, возглавляемых правительством, были связаны со здоровьем. Наука о данных лежит в основе проектов «Раковый прорыв» (Cancer Moonshot) и «Точная медицина» (Precision Medicine)[12]12
  https://www.cancer.gov/research/key-initiatives.


[Закрыть]. «Точная медицина» сочетает секвенирование генома человека и науку о данных при разработке индивидуальных лекарств для отдельных пациентов. Одной из его частей является программа «Все мы» (All of Us)[13]13
  https://allofus.nih.gov/.


[Закрыть], которая занимается сбором информации об окружающей среде, образе жизни и биологических параметрах более миллиона добровольцев для создания крупнейших в мире баз данных точной медицины. Наука о данных радикальным образом меняет устройство городов, где она применяется для отслеживания, анализа и контроля экологических, энергетических и транспортных систем, а также при долгосрочном городском планировании[14]14
  DeZyre. 2015. “How Big Data Analysis Helped Increase Walmart’s Sales Turnover?” DeZyre. https://www.dezyre.com/article/how-big-data-analysis-helped-increase-walmarts-salesturnover/109.


[Закрыть]. Мы вернемся к здоровью и умным городам в главе 9, когда будем обсуждать перспективы науки о данных на ближайшие десятилетия.

Еще одна инициатива правительства США в области данных направлена на то, чтобы департаменты полиции лучше понимали, как они могут помочь местным сообществам[15]15
  https://www.policedatainitiative.org/.


[Закрыть]. Наука о данных также способствует прогнозированию очагов преступности и рецидивов преступлений, однако правозащитные группы подвергли критике ее использование в уголовном правосудии. В главе 7 мы обсудим вопросы конфиденциальности и этики, поднятые наукой о данных, и одним из факторов в этой дискуссии станет то, что многие люди имеют разное мнение о приватности информации, в зависимости от области, где она применяется. Если ее использование в медицинских исследованиях, финансируемых государством, находит поддержку, то реакция тех же людей меняется на противоположную, когда речь заходит о деятельности полиции и уголовном правосудии. В главе 7 мы также обсудим использование персональных данных для определения размера выплат при страховании жизни, здоровья, автомобиля, дома и путешествий.

Наука о данных в профессиональном спорте

Фильм 2011 г. «Человек, который изменил все» с участием Брэда Питта продемонстрировал растущую роль науки о данных в современном спорте. Фильм основан на книге «Moneyball»[16]16
  Льюис М. MoneyBall. – М.: Манн, Иванов и Фербер, 2013.


[Закрыть] 2004 г., в которой рассказана реальная история о том, как бейсбольный клуб «Окленд Атлетикс» использовал науку о данных для улучшения отбора игроков[17]17
  Kitchin, Rob. 2014. The Data Revolution: Big Data, Open Data, Data Infrastructures and Their Consequences. Sage.


[Закрыть]. С ее помощью было выявлено, что процентное соотношение попадания игрока на базу и упущенных возможностей является более информативным показателем его успешности, чем традиционно принятые в бейсболе статистические данные, такие как средний уровень достижений. Это понимание позволило составить список недооцененных игроков и превзойти возможности бюджета. Успех «Окленд Атлетикс» произвел революцию в бейсболе, и сегодня большинство клубов интегрирует аналогичные стратегии, основанные на данных, в процесс найма.

Эта история – яркий пример того, как наука о данных может дать организации преимущество в конкурентном рыночном пространстве. Но с точки зрения самой науки наиболее важным аспектом здесь является то, что иногда на первый план выходит выявление информативных атрибутов. Распространено мнение, что ценность науки о данных заключается в моделях, которые создаются в процессе. Однако, как только мы узнаем важные атрибуты области определения, можно легко создавать модели, управляемые данными. Ключом к успеху является получение правильных данных и поиск правильных атрибутов. В своей книге «Фрикономика»[18]18
  Дабнер С., Левитт С. Фрикономика. – М.: Альпина Паблишер, 2018.


[Закрыть] Стивен Левитт и Стивен Дабнер иллюстрируют важность этого на примере широкого круга проблем, поскольку считают, что ключом к пониманию современной жизни является «знание того, что и как измерять»[19]19
  Anderson, Chris. 2008. The Long Tail: Why the Future of Business Is Selling Less of More. Revised edition. New York: Hachette Books.


[Закрыть]. Используя науку о данных, мы можем выявить важные закономерности, которые, в свою очередь, помогут идентифицировать нужные атрибуты области определения. Причина, по которой наука о данных используется все шире, заключается в том, что сфера ее приложения не имеет значения: важны только правильные данные и четкая формулировка проблемы.

Почему сейчас?

Есть ряд факторов, способствующих росту науки о данных. Как мы уже говорили, появление больших данных обусловлено относительной легкостью, с которой организации могут собирать информацию. Записи транзакций в точках продаж, клики на онлайн-платформах, публикации в социальных сетях, приложения на смартфонах и прочее – все это каналы, через которые компании теперь могут создавать ценные профили отдельных клиентов. Другим фактором является коммодификация хранилищ данных с экономией на масштабе, что делает хранение информации дешевле, чем когда-либо прежде. На это влияет и колоссальный рост мощности компьютеров. Графические карты и процессоры (GPU) были изначально разработаны для быстрой визуализации графики в компьютерных играх. Отличительная особенность графических процессоров – способность выполнять быстрое умножение матриц, а это полезно не только для рендеринга графики, но и для машинного обучения. В последние годы графические процессоры были адаптированы и оптимизированы для использования в машинном обучении, что способствовало заметному ускорению обработки данных и обучения моделей. Также стали доступны удобные инструменты для обработки данных, которые снизили барьеры для доступа к ним. В совокупности это означает, что сбор, хранение и обработка данных никогда еще не были такими простыми.

За последние 10 лет появились более мощные модели машинного обучения, известные как глубокое обучение, которые произвели революцию в компьютерной обработке данных языка и изображений. Термин «глубокое обучение» описывает семейство моделей многослойных нейронных сетей. Нейронные сети существуют с 1940-х гг., но лучше всего они проявили себя с большими сложными наборами данных и мощными вычислительными ресурсами для обучения. Таким образом, появление глубокого обучения в последние несколько лет связано с ростом больших данных и вычислительной мощности. Тем не менее не будет преувеличением сказать, что влияние глубокого обучения на целый ряд областей исключительно. История AlphaGo[20]20
  https://deepmind.com/research/alphago/.


[Закрыть] от DeepMind является отличным примером того, как глубокое обучение произвело революцию в области исследований. Го – настольная игра, созданная в Китае 3000 лет назад. Играть в го проще, чем в шахматы: игроки по очереди размещают фигуры на доске с целью захвата фигур противника или окружения пустой территории. Однако простота правил и тот факт, что в гo используется доска с бо́льшим числом клеточек, означают и большее число возможных конфигураций, нежели в шахматах. Число возможных конфигураций в го больше, чем число атомов во Вселенной, и это делает го гораздо более сложной игрой для компьютера, чем шахматы, в силу огромного пространства для поиска и сложности в оценке всех возможных конфигураций. Команда DeepMind использовала модели глубокого обучения, чтобы AlphaGo смогла оценивать конфигурации на доске и выбирать следующий ход. В результате AlphaGo стала первой компьютерной программой, которая победила профессионального игрока, а в марте 2016 г. она одержала победу над 18-кратным чемпионом мира по го Ли Седолем в матче, который посмотрели более 200 млн человек во всем мире. Еще совсем недавно, в 2009 г., лучшая компьютерная программа для игры в го оценивалась как соответствующая любительскому уровню, а уже спустя семь лет AlphaGo обыграла чемпиона мира. В 2016 г. в самом престижном академическом журнале Nature была опубликована статья, описывающая алгоритмы глубокого обучения, заложенные в AlphaGo[21]21
  Linoff, Gordon S., and Michael JA Berry. 2011. Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management. John Wiley & Sons.


[Закрыть].

Глубокое обучение также оказало огромное влияние на ряд публичных потребительских технологий. В настоящее время Facebook использует глубокое обучение для распознавания лиц и анализа текста, чтобы подбирать людям рекламу на основе их онлайн-разговоров. Google и Baidu используют глубокое обучение для распознавания изображений, титрования и поиска, а также для машинного перевода. Виртуальные помощники Apple Siri, Amazon Alexa, Microsoft Cortana и Samsung Bixby используют распознавание речи на основе глубокого обучения. Huawei разрабатывает виртуального помощника для китайского рынка, в котором также будет использоваться система распознавания речи с глубоким обучением. В главе 4 мы более подробно расскажем об этом. Хотя глубокое обучение является важной технической разработкой, возможно, с точки зрения роста науки о данных наиболее интересным его аспектом будет демонстрация возможностей и преимуществ самой науки о данных и привлечение внимания организаций к результатам таких успешных историй.

Разоблачение мифов

Наука о данных дает много преимуществ современным организациям, но вокруг нее крутится и масса слухов, поэтому важно понять, каковы реальные ограничения науки о данных. Одним из самых больших мифов является вера в то, что наука о данных – автономный процесс, который сам найдет решения наших проблем. Но на деле на всех этапах этого процесса требуется квалифицированный человеческий контроль. Люди нужны для того, чтобы сформулировать проблему, спроектировать и подготовить данные, выбрать, какие алгоритмы машинного обучения являются наиболее подходящими, критически интерпретировать результаты анализа и спланировать соответствующие действия, основанные на выявленных закономерностях. Без квалифицированного человеческого надзора проект по обработке данных не сможет достичь своих целей. Лучшие результаты мы видим, когда объединяются человеческий опыт и компьютерная мощь. Как выразились Линофф и Берри: «Глубинный анализ данных позволяет компьютерам делать то, что они умеют лучше всего, – копаться в куче информации. Это, в свою очередь, дает людям делать то, что лучше всего получается у них, – ставить задачу и осмыслять результаты»[22]22
  Lewis, Michael. 2004. Moneyball: The Art of Winning an Unfair Game. 1st edition. New York: W. W. Norton & Company.


[Закрыть].

Широкое и все возрастающее использование науки о данных означает, что сегодня самая большая проблема для многих организаций заключается в найме аналитиков. Человеческий фактор в науке о данных имеет первостепенное значение, и ограниченный ресурс специалистов является основным узким местом в распространении самой науки. Чтобы лучше представить масштаб нехватки специалистов, заглянем в отчет McKinsey Global Institute (MGI) за 2011 г.: прогноз дефицита сотрудников с навыками обработки данных и аналитики в Соединенных Штатах в ближайшие годы – от 140 000 до 190 000 человек; еще больший дефицит – 1,5 млн человек – менеджеров, способных понимать науку о данных и аналитические процессы на уровне, который позволяет им надлежащим образом запрашивать и интерпретировать результаты[23]23
  Дабнер Стивен, Левитт Стивен. Фрикономика. Экономист-хулиган и журналист-сорвиголова исследуют скрытые причины всего. – М.: Альпина Паблишер, 2019.


[Закрыть]. Спустя пять лет в своем отчете за 2016 г. MGI по-прежнему убежден, что наука о данных имеет огромный неиспользованный потенциал в расширяющемся диапазоне приложений, а дефицит специалистов сохраняется с прогнозируемой нехваткой 250 000 человек в ближайшей перспективе[24]24
  Few, Stephen. 2012. Show Me the Numbers: Designing Tables and Graphs to Enlighten. Second edition. Burlingame, CA: Analytics Press.


[Закрыть].

Второй большой миф заключается в том, что каждый проект непременно нуждается в больших данных и требует глубокого обучения. Как правило, наличие большого объема данных помогает, но гораздо важнее, чтобы данные были правильными. Подобные проекты часто ведутся в организациях, которые располагают значительно меньшими ресурсами с точки зрения данных и вычислительной мощности, чем Google, Baidu или Microsoft. Примеры проектов небольшого масштаба: прогнозирование требований возмещения ущерба в страховой компании, которая обрабатывает около 100 заявок в месяц; прогноз отсева студентов в университете, где обучаются менее 10 000 человек; ожидания ротации членов профсоюза с несколькими тысячами участников. Эти примеры показывают, что организации не нужно обрабатывать терабайты информации или иметь в своем распоряжении огромные вычислительные ресурсы, чтобы извлечь выгоду из науки о данных.

Третий миф заключается в том, что современное программное обеспечение для обработки данных легко в использовании и, следовательно, сама наука о данных тоже не представляет собой ничего сложного. Программное обеспечение для обработки данных действительно стало более удобным для пользователя. Однако такая простота может скрывать тот факт, что для получения правильных результатов требуются как соответствующие знания предметной области, так и знания в области науки о данных, касающиеся свойств данных и допущений, лежащих в основе глубинного анализа и алгоритмов машинного обучения. На самом деле никогда еще не было так легко стать плохим специалистом по данным. Как и в любой сфере жизни, если вы не понимаете, что делаете, то будете совершать ошибки. Опасность, связанная с наукой о данных, заключается в том, что людей может отпугивать сложность технологии, и тогда они готовы поверить любым результатам, которые выдает им программное обеспечение. Однако всегда высока вероятность неправильной постановки задачи, неверного ввода данных или ненадлежащего использования методов анализа. В этих случаях результаты, представленные программным обеспечением, скорее всего, будут ответом на неправильные вопросы или окажутся основанными на неверных данных или расчетах.

Последний миф, который мы упомянем, – вера в то, что наука о данных быстро окупается. Истинность этого утверждения зависит исключительно от контекста организации. Внедрение науки о данных может потребовать значительных инвестиций с точки зрения инфраструктуры и найма персонала с опытом соответствующей работы. Более того, наука о данных не даст положительных результатов по каждому проекту. Иногда в данных нет искомого бриллианта или организация не в состоянии использовать прозрение, полученное в результате анализа. Однако в тех случаях, когда бизнес-проблема ясна, а соответствующая информация и человеческий опыт доступны, наука о данных, как правило, обеспечивает действенное понимание, которое дает организации конкурентное преимущество.