Текст книги "Укрощение больших данных. Как извлекать знания из массивов информации с помощью глубокой аналитики"

Распространение телематических данных сделает возможным применение фантастических аналитических методов. Представьте, что в миллионах или в десятках миллионов автомобилей в вашей стране находятся телематические устройства. Сторонняя исследовательская фирма получает у клиентов разрешение на сбор очень подробных анонимных телематических данных. В отличие от ограниченных данных, собранных для целей страхования, информация в этом примере включает поминутные или посекундные сведения об изменении скорости, местоположения, направления и т. д.

Этот поток данных будет предоставлять информацию о тысячах автомобилей, стоящих в любой пробке в любой день. Исследователи будут знать, насколько быстро движется каждый автомобиль. Они поймут, где началось движение, где оно закончилось и сколько времени длилось. Это удивительная детальная картина транспортного потока. Представьте себе последствия в сфере изучения пробок и планирования дорожной системы!

Выходите за рамки задуманного

Богатство возможностей телематики являет собой пример использования больших данных таким способом, который не предусматривался изначально. Часто наиболее эффективные способы применения того или иного источника данных кардинально отличаются от задуманных. Постарайтесь рассмотреть альтернативные методы использования каждого источника больших данных, с которым вы сталкиваетесь.

Как только исследователи получат доступ к тысячам автомобилей в каждый час пик, каждый день, в каждом городе они смогут досконально разобраться в причинах возникновения пробок и их последствиях. Они ответят на такие вопросы:

• Какое влияние на дорожное движение оказывают шины?

• Что произойдет, если левый ряд будет заблокирован?

• Каковы последствия сбоя синхронизации работы светофоров?

• Какие из перекрестков регулируются неэффективно, даже если они регулируются так, как было задумано?

• Как быстро пробка на одной полосе распространяется на другие полосы?

Сегодня ответить на эти вопросы позволяет только целенаправленное и дорогостоящее тестирование. Можно поставить на конкретный участок дороги человека, который будет фиксировать нужную информацию. Или установить датчики для подсчета проезжающих мимо автомобилей. Или поставить видеокамеру. Однако высокие расходы, связанные с использованием этих методов, ограничивают область их применения.

Упомянутые телематические данные – мечта инженера транспортного планирования. Если телематические устройства получат распространение, то можно будет изучить любой населенный пункт, достаточно многочисленный для того, чтобы на дорогах образовывались пробки. Изменения дорог и систем управления, а также планов их создания дадут огромные преимущества всем. Телематика изначально задумывалась как механизм, облегчающий процесс определения страховых тарифов. Однако она может кардинально изменить управление системами автомагистралей и улучшить нашу жизнь, уменьшив уровень стресса, который мы испытываем, простаивая в пробках.

Текст – один из самых мощных и широко используемых источников больших данных. Только представьте себе существующий совокупный объем текста! Есть электронные письма, текстовые сообщения, твиты, комментарии в социальных медиа, мгновенные сообщения, чаты и аудиозаписи, переведенные в текст. Текстовые данные – один из наименее структурированных источников данных. К счастью, на сегодняшний день уже многое сделано для того, чтобы освоить текстовые данные и использовать их для принятия более эффективных бизнес-решений.

Анализ текста обычно начинается с его разбора и осмысления различных слов, фраз и компонентов, из которых он состоит. Это может быть сделано путем простого подсчета частотности употребления или с помощью более сложных методов. Существует дисциплина под названием «Обработка естественного языка», она часто используется в таких аналитических методах. Но это не является предметом обсуждения в данной книге. Инструменты для интеллектуального анализа текста существуют в качестве как компонентов основных аналитических систем, так и автономных приложений для анализа текста.

В основе одних инструментов для анализа текста лежит подход, при котором пользователи должны настроить программное обеспечение для идентификации интересующих их закономерностей. Другие инструменты используют машинное обучение и прочие алгоритмы, позволяющие отыскивать модели автоматически. Каждый подход имеет свои преимущества и недостатки, однако их обсуждение выходит за рамки этой книги. Мы сосредоточимся не на получении результатов, а на их использовании.

После разбора и классификации приступают к анализу. Результаты, полученные в процессе анализа текста, часто используются в качестве входных данных для других аналитических процессов. Например, после определения тона электронного письма клиента генерируется переменная, которая определяет тон заказчика как негативный или позитивный. Теперь этот тег – часть структурированных данных, которые можно использовать в качестве входных для аналитического процесса. Создание структурированных данных на основе неструктурированного текста часто называется извлечением информации.

В качестве другого примера предположим, что мы знаем, о каких товарах клиент оставил комментарии в процессе общения с нашей компанией. Мы создаем набор переменных, которые определяют товары, обсуждаемые клиентом. Эти переменные также представляют собой структурированные метрики, которые можно использовать в процессе анализа. Эти примеры показывают способы сбора фрагментов неструктурированных данных и создания из них релевантных и структурированных данных.

Создавайте структуру там, где ее нет

Анализ текста – отличный пример того, как абсолютно неструктурированные данные могут быть обработаны и превращены в структурированные, которые используются в традиционных аналитических процессах. Один из основных аспектов процесса укрощения больших данных заключается в применении творческого подхода к процессу подготовки неструктурированных и полуструктурированных данных к дальнейшему использованию.

Интерпретация текстовых данных на самом деле довольно сложна. Смысл наших слов меняется в зависимости от того, какое из них мы акцентируем, а также от контекста, в который мы их помещаем. При взгляде на простой текст вы наверняка не знаете, на каком слове сделан акцент, и вам часто неизвестен весь контекст. Это означает, что придется сделать некоторые предположения. Мы поговорим об этом более подробно в главе 6.

Анализ текста – это одновременно искусство и наука, и он всегда будет подразумевать некоторый уровень неопределенности. При проведении анализа текста будут возникать проблемы, вызванные ошибками классификации и неоднозначностью. Это нормально. Если найденная в тексте закономерность позволяет принять более эффективное решение, то ее следует использовать. Цель анализа текста – улучшить принимаемые решения, а не достичь совершенства. Текстовые данные позволяют повысить качество принимаемых решений и предоставляют более ценную информацию, даже несмотря на содержащийся в них шум и неоднозначность.

Один из самых популярных вариантов анализа текста на сегодняшний день – исследование настроения. Анализ настроения позволяет изучить общее мнение большого количества людей, чтобы понять, о чем говорит рынок, что он чувствует и думает об организации. При этом часто используются данные социальных сетей. Вот некоторые примеры:

• В чем суть шумихи вокруг компании или продукта?

• О каких корпоративных инициативах говорят люди?

• Положительно или отрицательно высказываются люди об организации и ее товарах и услугах?

Мы уже говорили о том, что одна из сложностей анализа текста заключается в том, что слова могут иметь позитивное или негативное значение в зависимости от контекста. Это необходимо принимать во внимание, однако общее настроение множества людей должно быть ясно. Зная о том, что говорят люди в социальных сетях или при общении с отделом обслуживания клиентов, можно более уверенно планировать дальнейшие действия.

Если организация уловит настроения отдельного клиента, она сможет судить о его намерениях и мнениях. Подобно веб-данным, которые помогают определить намерения, мнение потребителя о товаре является ценной информацией. Это особенно верно, если потребитель ранее не покупал этот продукт. Анализ настроений показывает, насколько легко или трудно будет убедить клиента приобрести данный продукт.

Текстовые данные применяются для распознавания закономерностей. Анализируя жалобы, заявки на ремонт и другие комментарии, сделанные клиентами, организация сможет быстрее выявлять и решать вопросы, пока они не превратились в серьезные проблемы. После вывода нового продукта на рынок и начала поступления жалоб анализ текста поможет определить, с какими трудностями сталкиваются клиенты. Иногда удается даже выявить назревающую проблему и предотвратить волну звонков в отдел обслуживания клиентов. Это позволит реагировать намного быстрее. Организация не только исправит дефекты в продуктах, которые будут выпущены позже, но и поможет клиентам справиться со сложностями, которые они испытывают сегодня.

Важной сферой использования текстовых данных является обнаружение мошенничества. В США в области страхования здоровья или трудоспособности, например, анализ текста можно использовать для разбора комментариев клиентов и заявлений на получение страховой выплаты. Затем выявляются закономерности, связанные со случаями мошенничества, чтобы оценить степень риска того или иного заявления. Заявления, которым присущ более высокий риск, следует проверять более тщательно. С другой стороны, некоторые заявления можно проверять автоматически. При наличии в заявлении закономерностей, терминов и фраз, относящихся к оправданным требованиям, его рассматривают как низкорисковое и проводят через систему в ускоренном режиме, а основные ресурсы сосредоточивают на заявлениях с более высоким риском.

Преимущества анализа текста используются и в сфере юриспруденции. В судебных делах часто анализируются электронная переписка и другие истории сообщений с целью выявить информацию, которая может иметь отношение к делу. Например, какие из электронных писем могут содержать инсайдерскую информацию? Кто предоставлял заведомо ложную информацию при взаимодействии с другими людьми? Что особенного в природе угроз?

Применение такого способа анализа в судебном делопроизводстве называют обнаружением электронных данных (eDiscovery). Все перечисленные методы анализа могут помочь в раскрытии преступлений. Без анализа текста, «вручную», было бы практически невозможно проверить все необходимые документы. Даже если такая попытка была бы предпринята, высока вероятность упустить ключевую информацию в связи с монотонностью занятия.

Текстовые данные могут быть востребованы во всех отраслях. Это будет один из наиболее широко используемых источников больших данных. Умение собирать, разбирать и анализировать текст имеет для организаций решающее значение. Текст – это один из источников больших данных, которые необходимо укротить.

С появлением систем глобального позиционирования (GPS), персональных GPS-устройств и сотовых телефонов информация о времени и местоположении превратилась в постоянно растущий источник данных. Множество сервисов и приложений, таких как Foursquare, Google Places и Facebook Places, регистрируют местонахождение человека в каждый момент. Приложения сотовых телефонов могут отслеживать ваши местоположение и передвижения по вашему требованию. Даже при отсутствии функции GPS сотовые телефоны достаточно точно определяют местоположение, используя сигналы базовых станций операторов мобильной связи.

Существуют новейшие возможности использования этой информации потребительскими приложениями, пользователи которых разрешают собирать эти данные. Например, некоторые приложения позволяют отслеживать точные маршруты, которые вы проходите, когда занимаетесь спортом, их расстояние и время, которое вам требуется на их преодоление. Дело в том, что при наличии сотового телефона вы можете собрать данные обо всех местах, в которых побывали, и при желании предоставить эту информацию другим людям. Чем больше людей начинают обнародовать данные о своем местоположении, тем больше появляется интересных возможностей их использования.

Многие организации начинают понимать ценность знания о том, где и когда находятся их потребители, и стараются получить у них разрешение на сбор такой информации. Разумеется, это всегда должно делаться на добровольной основе; кроме того, необходимо разработать четкую политику конфиденциальности и строго ее придерживаться. Сегодня организации придумывают привлекательные предложения, чтобы убедить клиентов предоставить им данные о том, где и когда они находятся.

Актуальны не только данные о местонахождении потребителей. Владелец грузовиков хочет знать, где находится каждый из них в любой момент. Владелец пиццерии интересуется, где сейчас находится каждый из разносчиков пиццы. Владельцам домашних животных нужно знать, где находятся их питомцы, когда их выпускают из дома. Фирма, занимающаяся организацией банкетов, хочет знать, насколько эффективно обслуживаются клиенты.

Как только организация начинает собирать данные о времени и месте нахождения отдельных людей и предметов, она оказывается в области больших данных. Это особенно верно, если такая информация часто обновляется. Одно дело знать, где находится каждый из грузовиков в начале и в конце каждого дня, и совсем другое – знать, где он находится в каждый момент. Данные о времени и месте, а также способы их использования будут находить все большее применение.

Данные о времени и месте нахождения – очень спорный тип больших данных. Здесь возникают серьезные вопросы, которые связаны не только с конфиденциальностью, но и с этическими и моральными соображениями. Можно ли вживлять детям чипы, чтобы обеспечить возможность их найти в случае, если они пропадут без вести? А как насчет пожилых людей, страдающих слабоумием, которые уходят из своего дома или специализированного учреждения? Разумеется, существует вероятность злоупотребления данными о времени и месте нахождения. Однако их ценность при использовании надлежащим образом также высока. Рассмотрим несколько примеров.

Скоро люди смогут зарегистрироваться в местном отделении полиции или пожарной охраны и предоставить информацию о своем обычном маршруте передвижения. В случае какой-либо крупной аварии, наводнения, пожара или затора на дороге люди получат оповещение от противопожарной службы или полиции о том, что в определенном месте их пути возникла нештатная ситуация, поэтому им следует воспользоваться другим маршрутом. Это ускорит дорожное движение. Со временем, если вы позволите, агентства смогут получать информацию о вашем местоположении в реальном времени.

На основе таких данных совсем недавно стали появляться предложения, учитывающие время и местоположение клиента. В будущем такие предложения приобретут огромную популярность в области маркетинга. Дело уже не просто в том, чтобы решить, что следует предложить клиенту сегодня или на этой неделе, а в том, чтобы сделать это исходя из того, где и когда клиент находится. Сегодня это, как правило, возможно после того, как клиент зайдет в систему и сообщит о своем местоположении. Когда-нибудь организации смогут сами отслеживать местонахождение клиентов постоянно и обращаться к ним по мере необходимости.

Например, клиент сообщает, что он будет находиться в пути с работы домой в 17:30 и проедет мимо Exit 5 между 17:45 и 18:00. Он собирается поужинать и хочет знать, что вы можете ему предложить, если он заедет в ваш магазин или ресторан. Вы должны предоставить ему то, что соответствует его потребностям, в тот самый момент и в том самом месте. Если вы отправите ему предложение по электронной почте следующим утром, будет уже слишком поздно. Вы должны сделать ему предложение, актуальное для конкретного времени и места, мимо которого он проезжает.

Делайте своевременные предложения

Новая тенденция в маркетинге – создание клиентских предложений, действующих лишь в пределах конкретного места и только в определенный период. Такие предложения могут быть гораздо более мощными и целенаправленными, чем предложения для неопределенного времени и места. Те, кто сумел применить такой подход, уже увидели эффективные результаты.

Разумеется, процесс управления предложениями усложняется, поскольку уже недостаточно просто отслеживать, какие предложения следует сделать каждому клиенту на этой неделе. Необходимо беспокоиться о том, где находится каждый клиент в любой момент и какое предложение ему следует сделать исходя из этого. Зависимыми от времени и места предложениями действительно будет труднее управлять. Однако в долгосрочной перспективе результаты, полученные при надлежащем использовании таких предложений, значительно превзойдут результаты использования традиционных персональных предложений. История неоднократно показала, что более нацеленные и конкретные предложения получают лучший отклик.

Данные о времени и местонахождении используются и в процессе анализа социальных сетей. В дополнение к тому, что технология беспроводной связи позволяет определить взаимоотношения людей на основе голосовых или текстовых взаимодействий, данные о времени и местонахождении позволяют выявить людей, находящихся в одном и том же месте в одно и то же время. Например, кто посещал данный концерт или фильм? Кто ходил на то или иное спортивное событие? Кто обедал в конкретном ресторане в одно и то же время?

Выявив людей, которые часто оказываются в одном и том же месте в одно и то же время, можно определить тех, кто друг с другом незнаком, но принадлежит к одной и той же социальной сети и имеет много общих интересов. Представьте себе сервис знакомств, который располагает такой информацией и помогает людям найти свою судьбу! Возможно, стоит побудить людей познакомиться друг с другом или предложить им товары, которые могут быть им интересны?

Данные о времени и местонахождении помогают не только выявить прошлые закономерности, но и позволяют довольно точно предсказать, где клиенты будут находиться в будущем. Это особенно касается тех людей, которые придерживаются определенного графика. Если вы знаете, где находится конкретный человек и куда он направляется, то на основе этой информации можете предсказать, где он окажется через 10 минут или через час. Изучив историю передвижения потребителей, вы сможете предсказать, куда они направляются, когда следуют по тому или иному маршруту. По крайней мере список возможных вариантов значительно сузится. Это поможет обеспечить лучший таргетинг.

В ближайшие годы найдутся новые способы использования данных о времени и местонахождении; будут усовершенствованы процессы предоставления разрешения на использование данных, а также стимулы для потребителей. Пока же будьте очень осторожными и постарайтесь получить у своих клиентов явное согласие на использование информации. Это сделает сообщения более целенаправленными и личными по сравнению с сегодняшними. Возможно, что в скором времени идея создания предложений, которые не относятся к текущему времени и месту, покажется устаревшей.

Метка радиочастотной идентификации, или RFID-метка, – это небольшая метка, которая помещается на палеты или упаковки с товарами. RFID-метка содержит уникальный серийный номер в отличие от UPC – общего кода для идентификации того или иного товара. Другими словами, она определяет, что в данной палете находится не просто несколько компьютеров модели 123, а уникальный набор компьютеров модели 123.

Когда считывающее устройство посылает сигнал, RFID-метка в ответ отправляет информацию. Если в радиусе действия этого устройства находится несколько меток, то все они могут ответить на один и тот же запрос, что существенно облегчает учет множества предметов. Даже если предметы располагаются друг на друге или за стеной, до тех пор пока сигналы считывающего устройства достигают меток, от них можно получить ответ. RFID-метки устраняют необходимость вручную пересчитывать все предметы и позволяют намного быстрее производить инвентаризацию.

Большинство используемых RFID-меток известны как пассивные. Это означает, что такие метки не имеют встроенных источников питания. Радиоволны считывающего устройства создают магнитное поле, обеспечивающее достаточную мощность, которая позволяет метке отправить содержащуюся в ней информацию. Хотя RFID-технология существует уже довольно длительное время, ее стоимость не позволяла применять ее повсеместно. Сегодня пассивная метка стоит всего несколько центов, и цена продолжает снижаться. По мере дальнейшего снижения цен сфера применения этой технологии будет продолжать расширяться. На сегодняшний день с RFID-технологией связаны определенные технические проблемы. Одна из них заключается в том, что жидкости могут блокировать сигналы. Со временем эти вопросы должны решиться путем обновления используемых технологий.

Существуют способы использования радиочастотной идентификации, знакомые большинству людей. Один из них – автоматический сбор оплаты проезда по платным дорогам, позволяющий водителям не останавливаться, проезжая мимо пункта взимания платы. В карте, предоставленной органом, взимающим плату, присутствует RFID-метка. Вдоль дороги расположены считывающие устройства. Когда автомобиль проезжает мимо, метка передает данные об автомобиле, что обеспечивает регистрацию факта вашего проезда.

Широко известен такой способ использования RFID-данных, как контроль за имуществом. Так, например, организация может пометить каждый принадлежащий ей ПК, рабочий стол или телевизор. Такие метки обеспечивают надежную инвентаризацию, а также оповещают, если предметы перемещаются за пределы предусмотренных областей. Например, считывающие устройства могут быть размещены на выходах. Если корпоративный актив покидает пределы организации без предварительного разрешения, подается сигнал, предупреждающий службу безопасности. Точно так же в магазинах метки подают сигнал тревоги, если их не деактивировали.

Один из самых популярных способов использования технологии RFID на сегодняшний день – отслеживание предметов и палет в пределах производственных и торговых площадей. Так, например, метка может быть помещена на каждую палету, отправляемую производителем розничному торговцу. Это облегчает учет запасов, находящихся в том или ином распределительном центре или магазине. В итоге практически каждый товар в магазине будет снабжен RFID-меткой или подобным чипом. Теперь, когда мы поняли, что собой представляют RFID-данные, рассмотрим, как их использование может улучшить современный бизнес.