Текст книги "Укрощение больших данных. Как извлекать знания из массивов информации с помощью глубокой аналитики"

Глава 1
Что такое «большие данные» и каково их значение?

Пожалуй, ничто так сильно не повлияет на сферу передовой аналитики в ближайшие годы, как постоянное появление новых и мощных источников данных. Если говорить об анализе потребительского рынка, время, когда можно было полагаться исключительно на демографию и историю покупок, осталось в прошлом. Практически в каждой отрасли существует по крайней мере один совершенно новый источник данных, который в ближайшее время появится в интернете, если его еще там нет. Одни источники данных широко используются в различных отраслях промышленности, другие – в очень небольшом количестве отраслей или ниш. Многие из этих источников данных попадают под определение, которое вызывает в последнее время много шума: «большие данные».

Большие данные появляются везде, и их умелое применение окажется конкурентным преимуществом. Игнорирование больших данных опасно для организации, поскольку так можно отстать от конкурентов. Чтобы оставаться конкурентоспособными, крайне важно, чтобы организации активно анализировали эти новые источники данных и воспользовались содержащимися в них ценными сведениями. Профессиональным аналитикам предстоит много работы! Нелегко будет объединить большие данные со всеми остальными данными, которые в течение многих лет применялись для анализа.

В начале главы объясняется, что такое «большие данные». Далее приведены соображения о том, чем они могут быть полезны организации.

Однозначного определения понятия «большие данные» не существует, однако можно сослаться на два описания сути этой концепции, с которой согласится большинство людей. Первое определение предложил Мерв Адриан из компании Gartner[2]2
  Gartner – исследовательская и консалтинговая компания, специализирующаяся на рынках информационных технологий. Прим. ред.


[Закрыть] в статье для журнала Teradata Magazine в первом квартале 2011 года: «Большие данные – это данные, сбор, управление и обработку которых невозможно осуществить с помощью наиболее часто используемых аппаратных сред и программных инструментов в течение допустимого для пользователя времени»{1}1
  Адриан М. Большие данные (Big Data) [Электронный ресурс] // Teradata, 1:11. URL: www.teradatamagazine.com/v11n01/Features/Big-Data/. Здесь и далее прим. авт.


[Закрыть]. Другое хорошее определение появилось в докладе McKinsey Global Institute[3]3
  McKinsey Global Institute – американская глобальная консалтинговая фирма. Прим. ред


[Закрыть] в мае 2011 года: «Большие данные – это наборы данных, размеры которых выходят за пределы возможностей по сбору, хранению, управлению и анализу, присущих обычному программному обеспечению базы данных»{2}2
  Большие данные: следующий рубеж инноваций, конкуренции и эффективности (Big Data: The Next Frontier for Innovation, Competition, and Productivity) // McKinsey Global Institute, май 2011 года.


[Закрыть].

Из этих определений следует, что то, что считается большими данными, будет изменяться по мере развития технологий. То, что когда-то было «большими данными», или то, что считается «большими данными» сегодня, будет отличаться от «больших данных» завтрашнего дня. Некоторых настораживает этот аспект понятия больших данных. Приведенные определения подразумевают, что суть больших данных может отличаться в зависимости от отрасли или даже организации, если существует значительная разница в возможностях инструментов и технологий. Мы обсудим это более подробно в этой главе в разделе «Сегодняшние большие данные отличаются от завтрашних больших данных».

В докладе McKinsey отмечены несколько интересных фактов, которые дают представление об объеме существующих сегодня данных.

• За $600 сегодня можно купить диск, способный вместить всю музыку мира.

• Каждый месяц через сеть Facebook пользователи обмениваются 30 миллиардами фрагментов информации.

• В среднем компании пятнадцати из семнадцати отраслей промышленности Соединенных Штатов имеют больше информации, чем Библиотека Конгресса США{3}3
  Большие данные: следующий рубеж инноваций, конкуренции и эффективности (Big Data: The Next Frontier for Innovation, Competition, and Productivity) // McKinsey Global Institute, май 2011 года.


[Закрыть].

Слово «большие» характеризует не только объем

Хотя понятие «большие данные» подразумевает наличие большого количества данных, оно не относится только к объему данных. Большие данные характеризуются возросшей скоростью их передачи, сложностью и разнообразием по сравнению с источниками данных прошлого.

Понятие «большие данные» подразумевает не только их объем. Согласно Gartner Group, слово «большие» относится и к некоторым другим характеристикам источника больших данных{4}4
  «Большие данные» – большие возможности (CEO Advisory: “Big Data” Equals Big Opportunity) // Gartner, 31 марта 2011 года.


[Закрыть]. Это не только возросший объем, но и возросшая скорость передачи и разнообразие источников. Такие факторы, разумеется, усложняют работу с большими данными, поскольку вам приходится иметь дело не просто с большим количеством данных, а с тем, что они поступают к вам очень быстро, в сложных формах и из разнообразных источников.

Легко понять, почему большие данные сравнивают с приливной волной и почему ее приручение – настоящий вызов! Методы, процессы и системы анализа, внедренные в организациях, будут использоваться до предела, а возможно, и сверх предела. Необходимо разработать дополнительные методы и процессы анализа на базе обновленных технологий и методов для того, чтобы эффективно анализировать большие данные и действовать на основании полученных результатов. Мы коснемся всех этих тем в данной книге, чтобы продемонстрировать целесообразность укрощения больших данных.

А теперь устроим небольшую викторину! Остановитесь на минуту и попробуйте ответить на следующий вопрос, прежде чем читать дальше: что является самым важным в понятии «большие данные»: 1) слово «большие», 2) слово «данные», 3) оба слова или 4) ни одно из них? Задумайтесь об этом на минуту и, определившись с ответом, переходите к следующему абзацу. Мысленно проиграйте музыку, которую включают в игре, пока участники думают.

Теперь проверим, правы ли вы. Правильный ответ – вариант 4). В термине «большие данные» ни одну из составных частей нельзя считать важнейшей. Важнее всего то, как организации используют большие данные. Анализ больших данных, производимый вашей организацией, в сочетании с действиями, предпринимаемыми для улучшения вашего бизнеса, – вот что имеет значение.

Наличие большого источника данных само по себе не является дополнительной ценностью. Возможно, ваши данные больше, чем мои. Кого это волнует? На самом деле наличие любого набора данных, вне зависимости от размера, само по себе не добавляет какой-либо ценности. Собранные, но не используемые данные имеют не большее значение, чем старый хлам, хранящийся на чердаке или в подвале. Данные не имеют значения до тех пор, пока не будут помещены в контекст и использованы. Мощь больших данных, как, впрочем, любого источника данных, заключается в том, что с ними делают. Как они анализируются? Какие действия предпринимаются на основании полученных результатов? Как эти данные используются для совершенствования бизнеса?

Вокруг больших данных поднята такая шумиха, что многие полагают: только благодаря большому объему, скорости передачи и разнообразию они важнее всех других. Это не так. Как мы увидим далее в этой главе (в разделе «Большая часть больших данных не имеет значения»), в больших данных доля бесполезного или малозначимого контента намного выше, чем в любом привычном источнике данных. Когда вы отберете действительно нужную вам информацию, источник больших данных может показаться вам не таким уж большим. Но это ничего не значит, поскольку после обработки данных их объем не имеет значения. Важно то, что вы будете делать с полученными результатами.

Дело не в объеме данных, а в способе их использования!

Значимость большим данным придает вовсе не то, что они большие, и даже не то, что они представляют собой данные. Важно то, как вы анализируете и применяете эти данные для развития своего бизнеса.

Что делает большие данные интересными для вас и вашей организации? Вовсе не то, что они «большие». Самое интересное связано с новыми мощными средствами их анализа. Об этом и поговорим.

Большие данные отличаются от традиционных данных рядом важных характеристик. Не каждый источник больших данных имеет все перечисленные особенности, однако большинству свойственно следующее.

Во-первых, большие данные часто автоматически генерируются машиной без участия человека. Традиционные источники данных всегда предполагают присутствие человека. Возьмем, к примеру, розничные или банковские транзакции, записи с содержанием телефонных звонков, доставку товаров или выставление счетов на оплату. Все эти действия подразумевают присутствие человека, который способствует созданию данных. Кто-то должен внести деньги, сделать покупку, позвонить по телефону, отправить посылку или сделать платеж. В каждом случае частью процесса создания новых данных остается человек, совершающий какие-либо действия. С большими данными дело обстоит иначе. Многие источники больших данных генерируются вообще без взаимодействия с человеком, например встроенный в двигатель датчик генерирует данные, даже если никто его об этом не просит.

Во-вторых, большие данные обычно соотносятся с совершенно новыми источниками данных. Это не просто расширение возможностей сбора существующих данных. Например, через интернет потребители могут взаимодействовать с банком или магазином, однако выполняемые ими операции принципиально не отличаются от традиционных. Они просто выполняют те же операции через другой канал. Организация может собрать данные о транзакциях, совершенных через интернет, однако они мало чем отличаются от транзакций, которые совершались раньше. Тем не менее сбор данных о поведении потребителей в процессе совершения транзакции предоставляет принципиально новую информацию, о которой мы подробно поговорим во второй главе.

Иногда больший объем данных может превратиться в нечто новое. Например, вы, вероятно, в течение многих лет каждый месяц вручную снимали показания счетчика электроэнергии. Можно ли считать, что интеллектуальный счетчик, фиксирующий показания каждые 15 минут, предоставляет те же самые данные? Или эта информация совершенно иного качества, открывающая возможности для проведения более глубокого анализа? Об этом речь пойдет в третьей главе.

В-третьих, многие источники больших данных не замышлялись как дружественные к пользователю. Впрочем, некоторые из них вообще не замышлялись! Возьмем, к примеру, текстовые потоки от сайта социальных медиа. Пользователей невозможно убедить соблюдать определенные правила грамматики, синтаксиса или лексические нормы. Когда люди публикуют запись, вы получаете то, что получаете. Работать с такими данными в лучшем случае трудно, а в худшем – отвратительно. О текстовых данных говорится в главах 3 и 6. Большинство традиционных источников данных дружественны к пользователю. Например, системы для отслеживания транзакций предоставляют данные в понятной форме, что облегчает их загрузку и работу с ними. Частично это было продиктовано исторически сложившейся необходимостью в эффективном использовании пространства. Для избыточных данных просто не было места.

Большие данные бывают неприглядными

Традиционные источники данных с самого начала разрабатывались с учетом определенных требований. Каждый бит данных имел высокую ценность, иначе он не был бы учтен. Поскольку стоимость хранения данных стремится к нулю, источники больших данных, как правило, содержат все, что может быть использовано. Это означает, что при проведении анализа необходимо разбираться в огромном количестве хлама.

И, наконец, потоки больших данных далеко не всегда представляют собой особую ценность. Большая часть данных может быть вообще бесполезной. В журнале логов содержится как очень полезная информация, так и не имеющая ценности. Необходимо отсортировать мусор и извлечь ценные и релевантные фрагменты информации. Традиционные источники данных с самого начала разрабатывались так, чтобы содержать на 100 % релевантные данные. Это было связано с ограничениями масштабируемости: включение в поток данных чего-то неважного слишком дорого обходилось. Мало того что записи данных были предопределены заранее – каждый фрагмент данных имел высокую ценность. С тех пор изменилось одно важное обстоятельство: мы более не ограничены объемом носителя. Это привело к тому, что большие данные по умолчанию включают всю возможную информацию, а позже приходится разбираться в том, что же из собранного имеет значение. Зато есть гарантия, что ничего не будет упущено, но усложняет процесс анализа больших данных.

Любая животрепещущая тема вызывает различные, порой взаимоисключающие толкования. Существует мнение, что большие данные в корне изменят способы анализа и использования его результатов. Однако если вдуматься, это не так. Это как раз тот случай, когда шумиха выходит за рамки реальности.

Ни для кого не новость, что большой объем больших данных создает проблемы масштабируемости. Большинство новых источников данных поначалу считались большими и сложными. Большие данные – это просто очередная волна новых данных, которая раздвигает существующие пределы. Аналитики смогли приручить прошлые источники данных с учетом существовавших в то время ограничений, и большие данные тоже будут приручены. В конце концов, аналитики в течение длительного времени находились в авангарде изучения новых источников данных. Так и будет продолжаться.

Кто первым начал анализировать данные о телефонных звонках в телекоммуникационных компаниях? Аналитики. На своей первой работе я проводил анализ данных, записанных на магнитные ленты. В то время казалось, что данных было огромное количество. Кто первым начал анализировать данные с мест продаж в розничных магазинах? Аналитики. Сначала анализ данных о сотнях тысяч товаров в тысячах магазинов считался огромной проблемой. Сегодня это не так.

Профессионалы в области аналитики, которые первыми начали работать с этими источниками, имели дело с тем, что в то время считалось немыслимо большими объемами данных. Им необходимо было найти способ анализа и использования данных с учетом существующих в то время ограничений. Многие сомневались в том, что это возможно, а некоторые даже ставили под сомнение ценность таких данных. Это очень похоже на то, что происходит с большими данными сегодня, не так ли?

Большие данные не повлияют ни на задачи, которые решают профессионалы в области аналитики, ни на причины, по которым они это делают. Даже для тех, кто сейчас называет себя не аналитиками, а учеными в области науки о данных, цели и задачи остаются прежними. Конечно, решаемые проблемы будут эволюционировать вместе с большими данными – так было всегда. Однако в конце концов аналитики и ученые будут просто изучать новые и немыслимо большие наборы данных, чтобы обнаружить ценные тенденции и модели, как они всегда это делали. В этой книге под термином «профессиональный аналитик» мы подразумеваем как традиционных аналитиков, так и ученых. Более подробно мы поговорим об этих специалистах в главах 7, 8 и 9. Сейчас важно понять, что задачи, связанные с большими данными, не так новы, как может показаться.

Вам нечего бояться

Во многих отношениях большие данные не создают для вашей организации новых проблем. Укрощение новых источников больших данных, которые раздвигают существующие пределы масштабируемости, – постоянная тема в мире аналитики. Большие данные представляют собой просто новое поколение таких данных. Профессиональные аналитики хорошо разбираются в решении подобных задач. Если ваша организация справляется с существующими массивами информации, она справится и с большими данными.

Большие данные потребуют изменения тактик, которые используют в своей работе профессиональные аналитики. Для обеспечения более эффективной работы с большими данными к традиционным аналитическим средствам добавятся новые инструменты, методы и технологии. Для отбора ценных сведений из потоков больших данных будут разработаны сложные алгоритмы фильтрации; будут усовершенствованы процессы моделирования и прогнозирования. Более подробно это обсуждается в главах 4, 5 и 6.

Перечисленные тактические изменения коренным образом не меняют цели или сам процесс анализа. Большие данные, безусловно, будут способствовать внедрению новых и инновационных средств анализа, и это заставит аналитиков проявлять творческий подход к работе в пределах существующих ограничений в масштабируемости. Большие данные с течением времени продолжат увеличиваться в объеме. Тем не менее их использование на самом деле не сильно отличается от того, чем аналитики всегда занимались. Они готовы ответить на вызов.

С большими данными связаны определенные риски. Так, например, организация может оказаться настолько перегруженной большими данными, что не будет способна на какой-либо прогресс. Ключевой момент здесь, как мы увидим в главе 8, – наличие нужных людей, которые не допустят этого. Вам нужны правильные люди, способные справиться с проблемами, которые возникают с появлением больших данных. Если такие специалисты есть, организации могут избежать пробуксовки в своем развитии.

Другой риск заключается в том, что расходы по сбору больших данных растут быстрее, чем возможности организации по их использованию. Избежать этой проблемы можно, лишь обеспечив соответствующий темп развития. Нет необходимости браться за все сразу и с завтрашнего дня собирать 100 % информации, поступающей из каждого нового источника данных. Необходимо собирать и изучать образцы новых данных. С их помощью можно провести экспериментальный анализ, чтобы определить, что действительно важно в каждом источнике и как каждый из них может быть использован. Основываясь на этом, организация будет готова к проведению полномасштабного эффективного анализа источника данных.

Вероятно, самый серьезный риск, связанный с источниками больших данных, – это конфиденциальность. Если бы все люди были хорошими и честными, то нам не пришлось бы беспокоиться о конфиденциальности. Однако это не так. Нехорошими и нечестными бывают не только люди, но и компании. Существуют даже нехорошие и нечестные правительства. Вот поэтому большие данные могут доставить неприятности. Проблему конфиденциальности, связанную с большими данными, необходимо решать, иначе их потенциал невозможно реализовать полностью. Без надлежащего ограничения большие данные могут поднять такую волну протеста, что некоторые их источники будут полностью закрыты.

Не так давно стало известно, как несоблюдение безопасности привело к тому, что номера кредитных карт и правительственные документы были украдены и опубликованы в интернете. Не будет преувеличением сказать, что, если данные где-то хранятся, кто-то рано или поздно попытается их украсть. Как только злоумышленники получат к ним доступ, они будут их использовать в своих целях. Из-за непродуманной или ненадлежащим образом определенной политики конфиденциальности крупные организации сталкивались с проблемами: данные были использованы таким образом, который пользователи не понимали или не одобряли, и это вызывало негативную реакцию. По мере развития сферы больших данных должны развиваться сферы самостоятельного и правового регулирования их использования.

Наличие саморегулирования критически важно. Оно говорит о том, что отрасли не все равно. Участники рынка должны обеспечить саморегулирование и разработать правила, которых может придерживаться каждый. Такие правила обычно более эффективны и менее жестки, чем те, которые вводятся государственными органами, когда отрасль не может контролировать себя самостоятельно.

С большими данными связаны большие проблемы конфиденциальности

Принимая во внимание природу многих источников больших данных, нетрудно понять, что конфиденциальность представляет собой серьезную проблему. При наличии подобных объемов данных всегда найдутся нечестные люди, которые попытаются использовать их без вашего согласия или таким образом, который вам вряд ли понравится. Правила обработки, хранения и применения больших данных должны развиваться наряду с аналитическими возможностями. С самого начала пересмотрите подход вашей организации к вопросам конфиденциальности. Ваша позиция должна быть совершенно ясной и прозрачной.

Люди уже обеспокоены тем, как отслеживается история просмотра веб-страниц. Существуют опасения по поводу отслеживания местоположения пользователей с помощью приложений для мобильных телефонов и GPS-систем. Раз несанкционированное использование больших данных возможно, рано или поздно кто-нибудь попытается это сделать. Значит, необходимо предпринять шаги, чтобы этого не допустить. Организации должны четко объяснить, как они будут обеспечивать безопасность данных и как будут их использовать, если они хотят получить разрешение пользователей на их сбор и анализ.