Текст книги "Укрощение больших данных. Как извлекать знания из массивов информации с помощью глубокой аналитики"

RFID-данные могут сигнализировать, когда на полках розничного магазина заканчивается тот или иной товар. Если считывающее устройство постоянно опрашивает полки, чтобы определить оставшееся количество единиц товара, оно может уведомить о необходимости пополнить запасы. RFID-данные позволяют гораздо лучше отслеживать наличие товаров на полках, поскольку существует большая разница между наличием товара на складе и на полке. Может быть так, что на полке товар отсутствует, в то время как на складе находится пять упаковок.

В данном случае любой из традиционных способов анализа запасов покажет, что запасов достаточно и беспокоиться не о чем. Когда показатели продаж начинают падать, люди удивляются, почему это происходит. Если на товарах есть RFID-метка, легко установить, что на складе находятся пять единиц товара, а на полке – ни одной. Товар просто перемещается со склада на полку. Сегодня существуют определенные проблемы с точки зрения стоимости и технологии, однако для их решения предпринимаются определенные действия.

RFID-данные могут использоваться и для оценки эффективности использования рекламных стендов. Во время проведения специальных рекламных акций товар бывает представлен в нескольких местах по всему магазину. Традиционные данные, полученные из точки продажи, покажут только то, что рекламируемый товар продан. Невозможно узнать, с какого стенда он был взят. С помощью RFID-меток можно определить, какие товары были взяты с того или иного стенда. Это позволяет оценить влияние месторасположения на эффективность рекламного стенда.

Ценность RFID-данных возрастает при их комбинировании с другими данными. Если компания занимается сбором данных о температуре в распределительном центре, то товары, которые находились там во время отключения электроэнергии или другого чрезвычайного события, можно проверить на предмет порчи. Например, во время отключения электроэнергии, продолжавшегося в течение 90 минут, температура в определенной части склада сохранялась на отметке 32 °С. Благодаря технологии RFID можно точно установить, какие именно палеты находились в этой части распределительного центра в то время, и принять соответствующие меры. Затем данные склада сопоставляются с данными о доставке. В случае вероятного повреждения товаров можно отозвать их или предупредить розничных торговцев, чтобы они проверили полученные товары.

Ценность – в объединении данных

Ценность RFID-данных, как и многих других источников больших данных, заключается не только в том, что RFID-данные могут сообщить сами по себе. Ценность заключается в той информации, которую эти данные могут предоставить в сочетании с другими данными. Нелишним будет еще раз подчеркнуть, что большие данные должны быть интегрированы в те же процессы, что и другие данные. Не следует работать с большими данными отдельно от всего остального.

Существуют и оперативные способы применения RFID-данных. Сотрудники распределительных центров не всегда аккуратно обращаются с товарами, и это часто приводит к их порче. Возможно, это касается конкретной бригады или даже конкретных сотрудников. Отдел по работе с персоналом сообщит о том, кто работает в тот или иной момент. Объединив эти данные с RFID-данными, которые показывают, когда товар был перемещен, можно определить тех сотрудников, чья работа сопровождается необычно частыми случаями поломки, усадки и воровства. Сочетание данных позволяет предпринимать более эффективные действия.

В будущем появится возможность использовать RFID-данные для отслеживания процесса покупки в физическом магазине так же, как это делается в интернет-магазинах. Если считывающие устройства будут находиться в тележках, можно определить, какие товары и в каком порядке потребители помещают в свои тележки. Даже если на отдельных товарах отсутствует метка, нетрудно установить путь перемещения корзины. При таком способе применения RFID-данных в физическом магазине становится возможным использование многих преимуществ, которые предоставляют веб-данные, о чем шла речь в главе 2. Эти последние два примера снова затрагивают проблемы конфиденциальности. Возможно, потребители не захотят, чтобы их процесс покупки отслеживался. В этом случае можно наладить «анонимное» отслеживание процессов покупки, при котором личность потребителя, генерирующего данные, нельзя установить.

Последний способ применения технологии RFID касается того, как можно уменьшить количество случаев мошенничества, связанных с возвратом украденных вещей. Если товар имеет RFID-метку, то благодаря уникальному идентификатору метки магазин определит, что возвращаемый товар входил в украденную партию, и примет соответствующие меры. Со временем RFID-метка может стать частью чека и ее будут запрашивать при возврате товара. Магазину будет известно не только то, что вы купили определенный товар, но и какая конкретно RFID-метка на нем находилась. Когда вы придете в пункт возврата товара, вам предстоит вернуть конкретный товар с конкретной меткой. Вы не сможете взять другой такой же товар с полки и обманным путем вернуть его вместе со своим чеком. Подобный способ использования технологии RFID затруднит попытки совершения мошеннических действий.

В ближайшие годы технология RFID окажет огромное влияние на производство и розничную торговлю. Она завоевывала популярность медленнее, чем многие ожидали. Однако по мере снижения стоимости и улучшения качества меток и считывающих устройств эта технология получит более широкое распространение.

Интеллектуальные сети представляют собой новое поколение электроэнергетической инфраструктуры. Интеллектуальная сеть гораздо более совершенна и надежна, чем традиционные линии электропередач. Она предполагает наличие сложных систем мониторинга, связи и генерации энергии, которые обеспечивают более надежное обслуживание и восстановление после отключения питания или возникновения других проблем. Различные датчики и мониторы отслеживают множество показателей работы самой энергосистемы и электроэнергии, подающейся через нее.

Одно из нововведений – так называемый интеллектуальный счетчик, который сменил традиционные электрические счетчики. По виду интеллектуальный счетчик мало чем отличается от привычных, однако он гораздо более функционален. Прежде каждые несколько недель или месяцев необходимо было посещать то или иное помещение и фиксировать показатели потребления электроэнергии. Интеллектуальный счетчик автоматически собирает данные, как правило, каждые 15 минут или каждый час. Это позволяет более точно оценивать энергопотребление каждой семьи или предприятия, а также целого района или даже всей сети.

Хотя разговор будет сосредоточен на интеллектуальных счетчиках, следует упомянуть о датчиках, расположенных по всей интеллектуальной сети. Объем данных, которые коммунальные предприятия получают от датчиков, установленных по всей интеллектуальной сети, значительно превышает объем данных, получаемых от интеллектуальных счетчиков. Синхрофазоры, которые снимают 60 показаний о работе энергетической системы в секунду, а также домашние сети, фиксирующие работу каждого устройства, – лишь два примера. Средний потребитель и не догадывается о существовании таких датчиков, однако для предприятий коммунального обслуживания они возымеют решающее значение. Эти датчики смогут собирать полный спектр данных о состоянии всей энергосистемы. Объем этих данных будет огромным.

Интеллектуальные сети уже применяются в некоторых странах Европы и Америки. Со временем практически каждую электрическую сеть в мире заменит интеллектуальная. Объем данных о потреблении электроэнергии, которые в результате станут доступными для коммунальных предприятий, вырастет в геометрической прогрессии. Как можно использовать такие данные? Давайте разберемся.

С точки зрения управления питанием данные от интеллектуальных счетчиков помогут лучше понять уровень потребностей клиентов, а также предоставить некоторые преимущества потребителям. Любой домовладелец сможет, например, проверить, какую мощность потребляют различные приборы, включив их по очереди, а затем изучив статистику потребления электроэнергии, предоставляемую интеллектуальным счетчиком.

Предприятия коммунального обслуживания по всему миру уже активно переходят на использование моделей ценообразования, учитывающих время суток или уровень спроса, а распространение интеллектуальных сетей ускорит этот процесс. Одна из основных задач коммунальных предприятий заключается в использовании новых программ ценообразования с целью повлиять на поведение клиентов и сократить потребление в часы максимальной нагрузки. Именно эти периоды пиковой нагрузки заставляют предприятия наращивать генерируемые мощности, что требует существенных затрат и оказывает негативное воздействие на окружающую среду. Если стоимость электроэнергии будет меняться в зависимости от времени суток и измеряться счетчиком, то у потребителей появится стимул изменить свое поведение. Снижение нагрузки и поддержание более стабильного уровня потребления приведут к уменьшению необходимости в расширении инфраструктуры и снижению затрат.

Энергетическая компания сможет выявлять всевозможные дополнительные тенденции, анализируя данные, предоставляемые интеллектуальными счетчиками. Какие клиенты потребляют мощность в периоды относительного спада уровня потребления? Кто из клиентов имеет похожие энергетические потребности в течение дня или недели? Коммунальное предприятие получит возможность сегментировать клиентов, исходя из закономерностей потребления, и разрабатывать продукты и программы для каждого конкретного сегмента. Собранные данные позволят выявить необычные модели потребления, а они укажут, какие проблемы требуют коррекции.

По сути, энергетические компании смогут производить анализ клиентов, который уже давно делается во всех остальных отраслях. Представьте себе телефонную компанию, которой известна общая сумма по счету в конце месяца, но ничего не известно о сделанных вами звонках. Или розничный магазин, который знает только общую сумму ваших покупок – и никаких дополнительных сведений. Финансовое учреждение, которому известен баланс по вашему счету на конец месяца – и никаких деталей о движении средств в течение месяца. Коммунальные компании работали с подобными данными, которых было недостаточно для понимания поведения клиентов. Они располагали данными об общем потреблении за месяц, и даже этот показатель часто был предположительным, а не точным.

Большие данные могут кардинально изменить отрасль

В некоторых случаях большие данные в буквальном смысле трансформируют отрасль и позволят вывести аналитику на новый уровень. Данные интеллектуальных сетей в сфере коммунального обслуживания – это только один из примеров. Информация об использовании электроэнергии будет поступать не раз в месяц, а предоставляться с интервалом, измеряемым в секундах или минутах. Добавьте к этому наличие сложных датчиков по всей сети, и вы увидите совершенно другой мир с точки зрения данных. Анализ этих данных приведет к инновациям в тарифных планах, управлении питанием, и не только.

Данные, полученные от интеллектуальных счетчиков, позволят применить целый ряд новых способов анализа, от чего выиграют все. Потребители получат возможность использовать индивидуальные тарифные планы, основанные на их индивидуальных закономерностях потребления, подобно тому как телематические данные позволяют использовать индивидуальные тарифы автострахования. Клиент, который потребляет электроэнергию во время периодов пиковой нагрузки, будет платить больше, чем другие. Это заставит всех нас изменить модели потребления, как только мы получим соответствующие стимулы: например, мы будем включать посудомоечную машину в конце дня, а не сразу после обеда.

Коммунальные предприятия смогут лучше прогнозировать спрос, поскольку будут более подробно определять его закономерности. Они будут знать, какие именно клиенты потребляют мощность в тот или иной момент. Поставщик коммунальных услуг найдет способы влияния на поведение клиентов, чтобы выровнять уровень спроса и снизить частоту возникновения периодов пиковой нагрузки. Все это уменьшит необходимость в наращивании дорогостоящих генерирующих мощностей.

Благодаря интеллектуальным счетчикам каждое домохозяйство или предприятие получит возможность более эффективно отслеживать свое энергопотребление и принимать соответствующие меры. Это позволит не только более рационально использовать энергию и беречь окружающую среду, но и экономить деньги. В конце концов, если вы будете в состоянии определить, что потратили больше, чем собирались, то сможете скорректировать свое дальнейшее поведение. Наличие одного только итогового счета в конце месяца не позволит выявить такие возможности. Данные интеллектуального счетчика облегчают решение задачи.

Мы уже рассказали о технологии радиочастотной идентификации и о том, как она используется в розничной торговле и производстве. Однако технология RFID имеет широкий спектр способов применения, и многие из них также приводят к генерации больших данных. В частности, RFID-метки могут использоваться в фишках казино. Каждая фишка, особенно высокой стоимости, может иметь собственную встроенную метку, что позволяет однозначно идентифицировать ее по серийному номеру метки.

Работа игровых автоматов в казино отслеживается уже в течение многих лет. После того как вы вставите в автомат свою карту постоянного игрока или кредитную карту, а затем потянете за ручку или нажмете кнопку, этот факт будет зарегистрирован. Кроме того, регистрируются размеры ваших ставок, а также любые полученные вами выигрыши. На протяжении многих лет производился надежный анализ таких данных, однако не существовало возможности сбора подобных данных с игровых столов. Внедрение меток в игровые фишки позволит это сделать.

Казино всегда отслеживало фишки с помощью камер и сотрудников, которые находились на местах и контролировали их перемещение. Пит-босс[5]5
  Пит-босс – сотрудник казино, контролирующий порядок и соблюдение правил честной игры в рамках пита – нескольких игровых столов. Прим. ред.


[Закрыть] наблюдает за часто играющими игроками и оценивает их средние ставки и продолжительность игры, чтобы обеспечить соответствующие поощрения. Пит-боссы хорошо справляются со своей задачей, к тому же им помогают другие сотрудники, тем не менее они могут переоценить или недооценить игрока. Это происходит, если пит-босс наблюдает за игроком в тот момент, когда он ставит больше или меньше, чем обычно. Некоторые игроки даже пытаются обыграть систему, увеличивая свои ставки тогда, когда за ними, по их мнению, наблюдают.

Одна и та же технология может генерировать множество потоков больших данных

Розничные торговцы и производители используют технологию радиочастотной идентификации, как и владельцы казино. Способы ее применения имеют сходства и различия. Интереснее всего то, что одна и та же технология может быть использована в различных отраслях для создания различных источников больших данных.

Пример с фишками казино – уникальный, но не исключительный способ применения технологии RFID. Будут появляться и другие. Этот пример показывает, что одни и те же базовые технологии генерируют различные потоки больших данных, схожих по природе, но различающихся способом применения. Интересно, что одна и та же технология может иметь совершенно разные виды применения, генерирующие множество типов больших данных в различных отраслях.

Использование меток в фишках казино дает возможность точно отслеживать ставки каждого игрока, что гарантирует игроку заслуженный выигрыш в соответствии с условиями программы, награждающей постоянных игроков. От этого получают выгоду и казино, и игрок. Казино распределяет средства среди игроков более справедливо. Излишнее поощрение недостойных игроков и недостаточное поощрение достойных приводят к неоптимальному распределению ограниченных ресурсов, выделенных на маркетинговые программы. Игроки, разумеется, всегда хотят, чтобы их оценивали справедливо.

Данные о ставках игроков позволят казино лучше их сегментировать и понимать закономерности назначения ставок. Кто из игроков обычно ставит $5, но время от времени поднимает ставку до $100? Кто из игроков каждый раз ставит по $10? Игроков можно сегментировать исходя из этих закономерностей. Кроме того, закономерности в назначении ставок могут указать на тех, кто занимается подсчетом карт при игре в блэк-джек.

При отслеживании фишек игроку становится намного тяжелее намеренно обмануть казино, а крупье – допустить ошибку. Поскольку ставки и выплаты можно проследить по фишкам, легко вернуться и сравнить видеозапись с результатами сдачи карт при игре в блэк-джек и сделанные выплаты. Даже если руки и головы игроков не позволяют разглядеть фишки, RFID-данные предоставят подробную информацию, и казино сможет выявить ошибки или случаи мошенничества, которые имели место. Один из примеров – ситуация, когда игрок подкладывает дополнительные фишки, пока крупье этого не видит.

Анализ за определенный период позволит выявить крупье или игроков, допускающих необычно большое количество ошибок. После этого либо будут приняты меры по предотвращению мошенничества, либо сотрудников обяжут пройти дополнительное обучение. Кроме того, снизится количество ошибок при подсчете фишек в кассе казино. Подсчет большого количества фишек разного достоинства – весьма однообразное занятие, и люди допускают ошибки. Технология RFID обеспечит более быстрый и точный подсчет.

Следует отметить, что возможность отслеживания отдельных фишек окажется сдерживающим фактором для воров. При краже стопки фишек идентификаторы RFID сообщат об этом. Когда кто-то приходит, чтобы обналичить фишки, или просто сидит с ними за столом, система выявляет этот факт и предупреждает службу безопасности. Если воры изменяют фишки так, что информацию с них невозможно было считать, об этом тоже станет известно. Казино будет точно знать все существующие идентификаторы фишек и ожидать от каждой из них сообщения действительного ID. В случае когда фишка не сообщает свой ID или когда сообщенный ID недействителен, казино может принять соответствующие меры.

Как и в любом бизнесе, чем эффективнее казино справляется с мошенничеством и обеспечивает соответствующие выплаты, тем меньше у него рисков. Это означает лучшее обслуживание игроков и более высокие шансы на выигрыш, поскольку у казино будет меньше расходов. Это выгодно и казино, и игрокам.

В мире существует множество сложных машин и двигателей: самолеты, поезда, военная техника, строительное оборудование, буровое оборудование и т. д. Обеспечение надежной работы этого оборудования имеет огромное значение. В последние годы во всех видах техники – от двигателей самолетов до танков – начали использоваться встроенные датчики с целью посекундного наблюдения за состоянием оборудования.

Мониторинг может осуществляться с огромной степенью детализации, особенно во время тестирования и разработки. Например, в процессе разработки нового двигателя следует собрать как можно более подробные данные, чтобы определить, работает ли он так, как ожидалось. После выпуска двигателя замена в нем того или иного компонента связана с большими затратами, поэтому необходимо заранее тщательно проанализировать работу оборудования. Мониторинг также никогда не прекращается. Возможно, при постоянном мониторинге собираются не все данные, поступающие каждую миллисекунду, однако большое количество детальных сведений собирается для оценки жизненного цикла оборудования и выявления регулярно возникающих проблем.

Возьмем двигатель. Датчик может собирать все данные, начиная от температуры и количества оборотов в минуту и заканчивая скоростью расхода топлива и уровнем давления масла, с необходимой частотой. Объем данных очень быстро растет по мере увеличения частоты получения данных, количества метрик и числа отслеживаемых элементов. Почему это должно нас заинтересовать? Вот несколько примеров.

Двигатели – очень сложные устройства. Они содержат много движущихся частей, должны работать при высоких температурах и в широком диапазоне рабочих условий. Их стоимость предполагает, что они проработают много лет. Стабильная и предсказуемая работа имеет решающее значение, и часто от нее зависят жизни людей. Техническое обслуживание самолета может стоить авиакомпании или военно-воздушным силам страны огромных денег, но это необходимо, если под угрозой безопасность. Крайне важно минимизировать время, в течение которого самолеты и авиационные двигатели, а также другое оборудование оказываются выведенными из эксплуатации.

Стратегии минимизации времени простоя предусматривают наличие запчастей или дополнительных двигателей, которые можно быстро заменить в оборудовании, требующем обслуживания; проведение диагностики для быстрого обнаружения частей, требующих замены, и закупку более надежных версий проблемных компонентов. Эффективное применение всех этих стратегий зависит от данных, которые используются для создания диагностических алгоритмов, а также в качестве входных данных при проведении диагностики определенных проблем. Инженерные организации с помощью данных, полученных от датчиков, точно определяют причины выхода оборудования из строя и разрабатывают новые способы обеспечения более длительной и надежной работы. Эти соображения применимы к двигателям воздушного, водного и наземного транспорта.

Путем сбора и анализа подробных данных о работе двигателя можно точно определить закономерности, которые приводят к поломке. Кроме того, можно выявить долгосрочные закономерности, которые вызывают уменьшение срока службы двигателя и/или необходимость более частого проведения ремонта. Количество пермутаций различных показаний, особенно с течением времени, делает анализ этих данных настоящим вызовом. Мало того что этот процесс подразумевает работу с большими данными, но и анализ, который необходимо проводить, сам по себе очень сложен. Вот некоторые примеры вопросов, на которые можно найти ответ:

• Предсказывает ли внезапное падение давления неизбежный отказ оборудования почти со 100 %-ной вероятностью?

• Указывает ли устойчивое снижение температуры в течение нескольких часов на другие проблемы?

• Что означают необычные уровни вибрации?

• Приводит ли резкое увеличение оборотов двигателя при запуске к значительному изнашиванию определенных компонентов и увеличению частоты проведения требующегося ремонта?

• Приводит ли недостаточное давление топлива, сохраняющееся на протяжении нескольких месяцев, к повреждению некоторых компонентов двигателя?

Недостаток структуры в структурированных данных

Работа с информацией, полученной от датчиков, – непростая задача. Хотя собранные данные структурированы и отдельные их элементы достаточно изучены, взаимосвязи между этими элементами не очевидны. Задержки во времени и не поддающиеся измерению внешние факторы могут еще больше усложнить дело. Процесс выявления долгосрочных взаимодействий различных показателей чрезвычайно труден, учитывая объем доступной информации. Наличие структурированных данных не гарантирует высокоструктурированного и стандартизированного подхода к их анализу.

Когда возникают серьезные проблемы, очень полезно вернуться и посмотреть, что происходило перед тем, как проблема была выявлена. В данном случае датчики двигателя работают подобно черным ящикам самолета, которые помогают диагностировать причину аварии: полученные данные можно использовать в диагностических и исследовательских целях. Такие датчики представляют собой более сложную форму телематических устройств – о них упоминалось в примере с автострахованием. Использование данных от сенсоров, которые постоянно собирают информацию о своем окружении, широко обсуждается в мире больших данных. Хотя здесь мы сосредоточили внимание на двигателях, существует бесчисленное множество других способов использования датчиков, к которым применимы те же принципы.

Процесс сбора данных от датчиков множества двигателей в течение длительного периода обеспечивает большой объем данных для анализа. Тщательно изучив их, вы сможете выявить проблемы в оборудовании и решить их на ранней стадии. Можно определить слабые стороны, а затем разработать процедуры решения проблем, которые могут возникнуть в результате выявленных недостатков. Преимущества заключаются не только в повышении уровня безопасности, но и в снижении затрат. Поскольку данные, полученные от датчиков, позволяют повысить безопасность двигателей и оборудования, которые дольше остаются в эксплуатации, это позволит обеспечить стабильную работу и снизить затраты. В этом случае выигрывают все.