Текст книги "Укрощение больших данных. Как извлекать знания из массивов информации с помощью глубокой аналитики"
Автор книги: Билл Фрэнкс
Жанр: Зарубежная деловая литература, Бизнес-Книги
Возрастные ограничения: +12
сообщить о неприемлемом содержимом
Текущая страница: 4 (всего у книги 28 страниц) [доступный отрывок для чтения: 9 страниц]
Будут ли большие данные по-прежнему характеризоваться невероятными форматами, неограниченными потоками и отсутствием определенности? Вряд ли. Со временем будут разработаны стандарты. Многие источники полуструктурированных данных удастся структурировать, отдельные организации подстроят свои потоки больших данных, чтобы их было легче анализировать. Но, что еще более важно, со временем произойдет переход к отраслевым стандартам. Хотя текстовые данные вроде электронных писем и комментариев в социальных медиа невозможно контролировать, можно стандартизировать подходы к интерпретации таких данных и использовать их для анализа. Это происходит уже сейчас.
Например, какие слова считать «хорошими», а какие – «плохими»? В каких контекстах не применяются правила по умолчанию? Какие из электронных писем требуют исчерпывающего разбора и анализа, а какие – лишь минимальной обработки? Стандарты производства больших данных будут развиваться, как и стандарты их обработки и анализа. Подвергнутся стандартизации и входные, и выходные данные. В результате упростится жизнь тех, кому поручено их укрощать. На это потребуется время, и многие из разработанных стандартов будут представлять собой, скорее всего, набор общепринятых передовых практик, применяемых специалистами, а не формальные правила или политики, разработанные официальными организациями, занимающимися стандартизацией. Тем не менее стандартизация будет развиваться.
Стремитесь к максимально возможной стандартизации
С помощью стандартов вы можете значительно облегчить свою жизнь, хотя вам не удастся стандартизировать все аспекты больших данных. Текстовые данные, например электронное письмо, невозможно контролировать на входе, но можно стандартизировать подходы к интерпретации таких данных и использованию их при проведении анализа. Сосредоточьтесь не только на стандартизации входного потока, но и на стандартизации способов использования больших данных.
Организации, которые быстро включатся в работу с большими данными, смогут повлиять на процесс разработки стандартов и, следовательно, обеспечить удовлетворение собственных потребностей. Некоторые отрасли даже работают на опережение. Еще до появления возможности сбора данных предприятия коммунального обслуживания начали работу по определению параметров данных интеллектуальных сетей. Если формальные определения и руководящие принципы разработаны заранее, данными интеллектуальных сетей гораздо легче управлять, чем если бы каждое предприятие только что начало работать с данными собственными способами, не обсудив их заранее с другими представителями индустрии.
Сегодняшние большие данные отличаются от завтрашних больших данныхКак мы уже упоминали, принятые определения понятия «большие данные» неоднозначны, а единого и точного не существует. Это понятие определено в относительных терминах, связанных с существующей технологией и источниками. В результате то, что считается большими данными в одной компании или отрасли, может не считаться таковыми в другой. Понятие «большие данные» для крупной компании электронной коммерции будет отличаться от того, что считает большими данными мелкий производитель.
Еще более важно, что со временем изменятся характеристики больших данных, поскольку инструменты и методы работы с ними будут развиваться наряду с увеличением размеров хранилищ необработанных данных и вычислительной мощности. Десять или двадцать лет назад файлы с демографическими данными о миллионах клиентов, содержащие сотни полей, считались огромными и трудноуправляемыми. Сегодня эти данные умещаются на флеш-накопителе и могут быть проанализированы на низкопроизводительном ноутбуке. Понятия о большом объеме, высокой скорости передачи, большом разнообразии и сложности будут меняться вместе с большими данными.
Понятие «большой» изменится
То, что сегодня считается большими данными, не будет считаться большими данными завтра, так же как данные, считавшиеся большими десять лет назад, не считаются таковыми сегодня. Большие данные будут продолжать развиваться. То, что невозможно или немыслимо сегодня с точки зрения объема данных, скорости передачи, разнообразия и сложности, в будущем станет в порядке вещей. Так было всегда и так будет продолжаться в эпоху больших данных.
Данные о транзакциях в отраслях розничной торговли, телекоммуникаций и банковского дела считались очень большими и трудноуправляемыми еще десять лет назад. Фактически в конце 1990-х годов во многих организациях такие данные не были широкодоступны для анализа и отчетности. Сегодня эти данные считаются необходимым и основным активом. Практически каждая компания вне зависимости от своего размера имеет к ним доступ.
То, что пугает нас сегодня, не будет казаться страшным через несколько лет. Через десять лет поток кликов может стать стандартным легкообрабатываемым источником данных. Активная обработка каждого электронного письма, переписки с отделом обслуживания клиентов, а также комментариев в социальных медиа может стать обычной практикой для большинства организаций. Ежесекундное отслеживание сотен метрик, может быть, уже не потребует большого труда.
Пока мы будем осваивать существующие сегодня потоки больших данных, появятся новые источники еще больших данных. Что они будут собой представлять? Этого не знает никто. Попробуем представить себе, каким образом довольно быстро существующие источники данных могут превратиться в источники еще больших данных.
• Представьте себе, что история просмотра веб-страниц включает данные о движениях мыши и глаз пользователя, что позволяет уловить каждую деталь процесса навигации, а не только отследить элементы, по которым пользователь щелкнул кнопкой мыши. Это совершенно новый масштаб больших данных.
• Представьте, что телеметрические данные видеоигры больше не ограничиваются нажатием кнопки или совершенным действием. Что они также включают движение глаз и тела игрока, а также расположение и статус каждого объекта в сцене, а не только тех объектов, с которыми происходит взаимодействие. Это уже происходит.
• Представьте себе, что RFID-метка находится на каждом отдельном товаре в каждом магазине, на оптовой базе и заводе. Представьте себе, что эти чипы собирают десятки метрик в секунду, например данные о температуре, влажности воздуха, скорости, ускорении, давлении и т. д. Такой объем данных сегодня сложно себе представить.
• Представьте себе, что существует возможность записи и перевода в текст каждого разговора с отделом обслуживания клиентов или с отделом продаж. Добавьте к этому все электронные письма, переписку в чатах и комментарии в социальных медиа и на сайтах отзывов. Теперь попробуйте разобраться и проанализировать весь этот текст. Ваша голова еще не взорвалась?
Дело в том, что большие данные никуда не исчезнут. То, что страшит нас сегодня, не будет столь пугающим через несколько лет, однако к тому времени появятся новые устрашающие источники данных. Организациям необходимо будет продолжать корректировать свои методы и цели, чтобы обеспечить возможность использовать данные по мере их развития. Тем не менее, прежде чем корректировать и обновлять методы работы с большими данными, вашей организации необходимо с чего-то начать.
Обзор главыСамые важные уроки этой главы.
• Большие данные часто определяются как данные, сбор, управление и обработку которых невозможно произвести с помощью наиболее часто используемых аппаратных сред и программных инструментов в течение допустимого для пользователя времени.
• Данные можно считать «большими» не только с точки зрения объема, но и с точки зрения разнообразия, скорости передачи и сложности.
• Мощь больших данных заключается не в том, что они «большие», или в том, что они «данные», а в их анализе и действиях, которые вы предпринимаете на основе его результатов.
• Большие данные часто автоматически генерируются машиной, обычно в недружественном пользователю формате. Обычно сначала собирают все, что возможно, а потом производится попытка определить, что имеет значение.
• Большие данные – это просто очередная волна новых данных, расширяющих существующие пределы. С точки зрения анализа они не отличаются от прошлых источников данных, которые тоже было сложно обрабатывать, когда они только появились.
• Большие данные изменят некоторые тактики и аналитические инструменты, которые используют профессионалы, но они коренным образом не изменят причин проведения анализа или того, как определяется ценность аналитики.
• Многие источники больших данных полуструктурированы. Хотя полуструктурированные потоки данных могут показаться не очень привлекательными, в них присутствует определенная логика. Большие данные могут быть неструктурированными, а также структурированными, как традиционные источники данных.
• Самые большие риски, касающиеся больших данных, связаны с конфиденциальностью. По мере развития сферы больших данных потребуется введение как самостоятельного, так и правового регулирования.
• Укрощение больших данных заключается не в том, чтобы контролировать все данные. Это больше напоминает попытку попить воды из шланга. Нужно отобрать только важные фрагменты.
• Самое интересное заключается в том, чем именно большие данные в сочетании с другими данными могут помочь бизнесу.
• Большие данные и традиционные данные – части общей стратегии работы с данными. Не разрабатывайте отдельную стратегию для работы с большими данными.
• Сфера больших данных будет продолжать развиваться. То, что мы считаем устрашающим сегодня, через десять лет не будет нас волновать, однако мы заинтересуемся новыми источниками данных.
Глава 2
Веб-данные: первые большие данные
Представьте, как было бы замечательно иметь возможность не только проследить за действиями потребителя, но и понять его намерения, разобраться в процессе принятия решения о том, будет он совершать покупку или нет. Раньше разобраться в этом было фактически невозможно. Сегодня подобные задачи можно решить, используя детальные веб-данные. Об этом и пойдет речь.
Лучший способ понять, что представляют собой большие данные, – разобрать на конкретных примерах, что это такое и как с их помощью компания может извлекать прибыль. Пожалуй, ни один источник больших данных не используется сегодня столь же широко, как веб-данные. Мы посвятим им всю эту главу, чтобы глубже разобраться в этой теме и подробно рассмотреть способы их применения{5}5
Эта глава основана на содержании речи, написанной совместно с моей коллегой Ребеккой Букнис. Мы создали документ на данную тему под названием «Повышение качества анализа путем интеграции данных о потоке кликов» (Taking Your Analytics Up a Notch by Integrating Clickstream Data) для международного форума SAS Global Forum 2011.
[Закрыть]. В главе 3 мы расскажем о девяти остальных важных источниках больших данных и о том, как такие данные могут быть использованы.
Некоторые организации в целом ряде отраслей интегрировали подробные данные о поведении покупателей, полученные с сайта, в свои аналитические среды. Однако большинство организаций по-прежнему ограничивают веб-интеграцию использованием данных об онлайн-транзакциях. Поставщики традиционных средств веб-аналитики обеспечивают оперативную отчетность по показателям кликабельности, источникам трафика и показателям, основанным только на веб-данных. Тем не менее подробные данные о поведении в интернете до сих пор не использовались за пределами веб-отчетности.
Ведущие компании доказали, что подробные веб-данные могут увеличивать прибыльность компании. В этой главе мы расскажем о том, что делают эти организации, почему они это делают и почему каждой организации сегодня следует рассмотреть возможность использования подобных приемов. Примеры весьма убедительны даже для тех, кто еще не думал об интеграции подробных данных, генерируемых потоком кликов, с другими данными.
Основная тема этой главы – не просто укрощение веб-данных. Организациям стоит сосредоточиться не на агрегированных метриках из различных источников данных, а на интеграции веб-данных со всей остальной релевантной информацией о своих потребителях. Использование такой информации в масштабируемой аналитической среде позволяет понять намерения и предпочтения покупателей, а также разобраться в процессе принятия решения о покупке. Сведения, которые можно получить из этого нового источника данных, помогут организации сделать огромный шаг вперед.
Как организация собирает, анализирует и использует эту обширную информацию, чтобы получить ценные сведения? Во-первых, мы расскажем, какие данные необходимо собрать и зачем. Далее покажем на примерах, что именно могут выявить эти данные. Наконец, поговорим о том, как можно преобразовать аналитические процессы путем интеграции веб-данных. Веб-данные – это один из источников больших данных, который уже используется многими организациями. Добавьте в этот список свою компанию!
Обзор веб-данныхОрганизации на протяжении многих лет говорят о 360-градусном обзоре своих потребителей. Время от времени та или иная организация заявляет, что она обеспечивает себе полный 360-градусный обзор. На деле это невозможно, поскольку такой обзор подразумевает, что вы знаете о своих клиентах буквально все. Когда кто-либо говорит о 360-градусном обзоре, подразумевается, что организация имеет полное представление о своих клиентах, какое только возможно с учетом доступных на данный момент технологий и данных. Тем не менее финишная черта постоянно отодвигается. Как только вам начинает казаться, что вы достигли конца пути, финишная черта снова удаляется от вас.
Несколько десятилетий назад компания считалась передовой, если у нее были имена и адреса клиентов и она могла добавить демографическую информацию к этим именам с помощью новейших на тот момент сторонних сервисов для улучшения качества данных. Со временем передовые компании начали добавлять к данным о клиентах такие простейшие метрики, как давность, частота и денежная ценность (RFM). С помощью этих метрик отслеживаются время совершения клиентом последней покупки (давность); то, как часто он совершал покупки (частота) и сколько он потратил (денежная ценность). Эти показатели RFM могут быть подсчитаны за прошлый год и, возможно, за все время, пока человек остается клиентом компании. За последние 10–15 лет практически все предприятия начали собирать и анализировать подробную историю транзакций своих клиентов. Это значительно расширило аналитические возможности и позволило получить намного более глубокое понимание поведения клиентов.
Обновите свой 360-градусный обзор
Многие организации все еще анализируют данные о клиентах исключительно на основе совершенных транзакций. Интеграция новых источников данных, например веб-данных, уже возможна и обещает принести огромную пользу тем, кто поторопится сделать это раньше других. Использует ли ваша организация для анализа своих клиентов все доступные сегодня возможности?
Многие организации все еще находятся на стадии анализа истории транзакций. Хотя этот вид анализа по-прежнему важен, многие компании ошибочно полагают, что он остается единственным возможным 360-градусным обзором клиентов. Сегодня организации должны собирать большие данные о своих потребителях из таких точек соприкосновения с клиентами, как веб-браузеры, киоски, мобильные приложения, социальные сети и многие другие.
В свое время данные о транзакциях кардинальным образом изменили глубину анализа. Новые источники данных выведут аналитику на новый уровень. Сегодняшние возможности хранения и обработки данных позволяют добиться успеха, и многие передовые компании уже доказали это.
Что вы упускаете?Вы когда-нибудь задумывались о том, что произойдет, если собрать данные, генерируемые сайтом? Возможно, 95 % посещений не приводят к созданию корзины. Из 5 % лишь около половины, то есть 2,5 %, начинают процесс оформления заказа. И из этих 2,5 % всего две трети, или 1,7 %, на самом деле совершают покупку. Во многих случаях эти значения являются вполне реалистичными.
Это означает, что, если вы отслеживаете только транзакции, вы упускаете более 98 % данных о посещениях сайта. Но, что еще важнее, теряется более высокий процент доступных данных. К каждой совершенной покупке могут иметь отношение десятки или сотни конкретных действий, совершенных на сайте. Эта информация должна быть собрана и проанализирована наряду с итоговыми данными о совершенной продаже.
Важно отметить, что речь не идет о веб-аналитике прошлых лет. Традиционная веб-аналитика сосредоточивается на агрегированном поведении, суммированном в среде, включающей только веб-данные. Ваша цель – выйти за рамки отчетов, содержащих сводные статистические данные, и объединить данные о поведении клиента с другими данными о клиенте, полученными из других каналов. Это больше чем простые отчеты о показателе кликабельности и сводки о просмотрах страниц.
Так же как показатель RFM является лишь малой частью информации, которую могут предоставить данные о транзакциях, традиционная веб-аналитика – лишь часть сведений, которые предоставляют веб-данные. Веб-данные – это удивительная новая область, которая меняет условия игры и тем самым способна в корне изменить понимание организациями своих клиентов, а следовательно, существенным образом повлиять на их бизнес.
Представьте себе возможностиПредставьте себе, что вы знаете обо всем, что делают ваши клиенты в процессе их взаимодействия с вашей организацией. А что если бы вам было известно не только о том, что они купили, но и о том, что они думали в процессе принятия решения о покупке и какими ключевыми критериями руководствовались? Такое знание обеспечило бы новый уровень понимания ваших клиентов, а также новый уровень взаимодействия с ними. Это позволило бы вам быстрее удовлетворять их потребности.
• Предположим, вы занимаетесь розничной торговлей. Вы ходите рядом с клиентами и записываете данные о каждой полке, мимо которой они проходят, о каждом предмете, на который смотрят, о каждом товаре, который берут в руки, о каждом товаре, который кладут в корзину, а затем вытаскивают и возвращают на полку. Представьте себе, что вы знаете, читают ли они информацию о пищевой ценности, смотрят ли на инструкции по стирке, читают ли рекламные брошюры, которые находятся на полках, обращают ли внимание на другую информацию, представленную в магазине.
• Положим, вы управляете банком. Вы знаете обо всех характеристиках кредитных карт, рассматриваемых вашими клиентами. Представьте себе, что вы имеете возможность понять, что заставило их принять решение: условия программы лояльности, процентные ставки или стоимость годового обслуживания. Предположите, что вы знаете о том, что они говорят о каждом продукте после его приобретения.
• Положим, вы управляете авиакомпанией. Вы знаете обо всех рейсах, информацию о которых изучил каждый из ваших клиентов, прежде чем выбрать окончательный маршрут. Знаете, что интересовало клиентов больше: цена или удобство. Представьте себе, что вы знаете обо всех рассмотренных направлениях и о том, когда ваши клиенты впервые заинтересовались ими.
• А теперь вы владелец телекоммуникационной компании. Вы можете идентифицировать каждую модель телефона, тарифный план и вспомогательное оборудование, которые рассмотрели клиенты, прежде чем принять окончательное решение. Представьте себе, что вам известно о том, как они попали на ваш сайт: с помощью поискового запроса «продлить договор» или «расторгнуть договор».
Конечно, хорошо было бы иметь информацию, указанную в предыдущем списке. Вы можете получить ее прямо сейчас, взяв на себя обязательство по ее сбору и подготовке к анализу. В каждой из перечисленных отраслей есть организации, которые уже это делают.
Принципиально новый источник информацииИзучая подробные сведения о поведении клиентов, вы можете не только узнать о том, что они покупают, но и получить дополнительные сведения, например представление о том, как они принимают решения. Вы видите не только результат, но и весь процесс покупки. Это не просто очередной источник больших данных. Многие организации горячо приветствовали возможность интеграции данных о веб-транзакциях с данными о традиционных транзакциях. Однако веб-транзакция, по сути, является очередной записью с новым типом или местоположением. Детальные же сведения о поведении в интернете могут предоставить данные, аналогов которым не существует. Это принципиально новый источник информации.
Редкая возможность
Нечасто организация имеет возможность собрать принципиально новые данные. Детальные веб-данные такую возможность предоставляют. На сегодняшний день не существует источника данных, который обеспечивает такие же сведения, как веб-данные, кроме дорогостоящих опросов или исследований, охватывающих лишь небольшую часть клиентов.
Один из самых интересных аспектов веб-данных заключается в том, что они обеспечивают информацию о предпочтениях, намерениях и мотивах клиентов, которую можно получить только из непосредственной беседы или благодаря опросам. Почему клиенты предпочитают одно предложение другому? Возможно, организации думают, что они это знают. Однако они, скорее всего, обнаружат, что многие потребители принимают решения совершенно неожиданным для них образом.
Как только вам будут известны намерения, предпочтения и мотивы потребителей, у вас появятся новые способы общения с ними, обеспечения дальнейшего взаимодействия и повышения их лояльности. Однако самое интересное произойдет тогда, когда вы объедините веб-данные со всем тем, что получено благодаря прежнему 360-градусному обзору. Теперь этот обзор может быть дополнен новыми детальными сведениями о поведении потребителей в интернете.
Правообладателям!
Данное произведение размещено по согласованию с ООО "ЛитРес" (20% исходного текста). Если размещение книги нарушает чьи-либо права, то сообщите об этом.Читателям!
Оплатили, но не знаете что делать дальше?
