Текст книги "Укрощение больших данных. Как извлекать знания из массивов информации с помощью глубокой аналитики"

Телеметрия – это термин, используемый в индустрии видеоигр для фиксирования действий в игре. Телеметрические данные имеют концептуальное сходство с веб-данными, о которых шла речь в главе 2, поскольку описывают действия игроков в процессе игры. Телеметрические данные чаще применяются в онлайн-играх, чем в игровых консолях.

При игре в хоккей телеметрические данные фиксируют такие показатели, как местоположение игрока в момент удара по воротам, тип этого удара, скорость удара и его результат. В военной игре телеметрические данные отмечают, из какого оружия и в каком направлении был произведен выстрел, какой ущерб нанесен различным объектам. Теоретически можно обеспечить любой уровень детализации данных о сцене и действии.

Это позволит определять не только количество игроков и время, в течение которого они играли в игру. Телеметрические данные дают производителям игр возможность узнать подробности о действиях игроков и о том, как они взаимодействуют с играми. Объем собранных данных может быть огромным, а индустрия видеоигр только начинает серьезно подходить к их анализу. Телеметрия может оказать влияние на множество сфер. Легко увидеть параллель между телеметрическими данными и веб-данными с точки зрения преимуществ и способов применения.

Многие производители игр зарабатывают деньги с помощью подписки, поэтому для них решающее значение имеет ее обновление. Анализ моделей поведения игроков позволяет понять, какие типы игрового поведения приводят к продлению подписки, а какие нет. Например, выясняется, что проведение турниров по спортивной игре с одновременным использованием некоторых дополнительных функций увеличивает показатель продления подписки. Производитель игры может стимулировать игроков принять участие в турнире, используя эти функции, если они еще этого не сделали.

Более новые игры часто предлагают игрокам купить что-нибудь за небольшую плату. Такие покупки известны как микротранзакции. Например, за 10 центов игрок может купить специальное оружие. Анализ данных о ходе игры позволяет определить особые области, где такие микротранзакции будут пользоваться успехом. Возможно, в определенном месте игры пригодится специальное оружие, поскольку многие игроки испытывают в этом месте трудности. Сообщение на экране о доступности оружия может привести к тому, что многие игроки примут предложение и совершат покупку.

Объем телеметрических данных будет увеличиваться

В настоящее время телеметрические данные в основном касаются действий, произведенных игроком с помощью контроллера или клавиатуры. По мере развития интерактивных игр, которые позволяют фиксировать движения самого игрока, а не контроллеров, объем данных будет стремительно увеличиваться. Данные о том, на какую кнопку нажал игрок в тот или иной момент, предоставляют гораздо меньше информации, чем данные о том, в какой точке пространства находилась в этот момент каждая из частей тела игрока и в каком направлении и с какой скоростью эта часть тела двигалась.

Удовлетворение потребностей клиентов в индустрии видеоигр столь же важно, как и в любой другой сфере. Вот только в этом случае грань очень тонкая. Игра должна ставить перед игроками сложную задачу, однако не настолько сложную, чтобы она надоела игрокам и они выбрали бы другую.

Путем анализа игры можно определить те части, которые легко преодолевают большинство игроков, а также части, в которых даже лучшие игроки испытывают трудности. Такие области можно скорректировать, например, увеличив или уменьшив количество врагов, чтобы изменить уровень сложности. Стабилизация уровня сложности игры обеспечивает пользователям более удовлетворительный игровой опыт. Это приведет к повышению показателей продления подписки и к увеличению объема дополнительных покупок.

С помощью телеметрических данных можно сегментировать игроков исходя из их стиля игры. Эта информация важна как для разработки новых игр, так и для продвижения других существующих продуктов. Например, выясняется, что один сегмент игроков старается как можно быстрее преодолеть уровень, не заботясь ни о чем другом. Другой пытается собрать все бонусы перед завершением уровня. Третий сегмент стремится исследовать каждую деталь уровня. На основе этих данных можно осведомить игроков о других играх, соответствующих их стилю игры.

Сведения об игроках, которые могут предоставить телеметрические данные, полностью изменят индустрию видеоигр, которая только начинает использовать телеметрические данные. Уже в ближайшем будущем мы станем свидетелями значительного развития данной области применения. Кроме того, полученные в результате анализа телеметрических данных сведения изменят процесс создания и продвижения игр.

Социальные сети – источники больших данных, хотя во многих отношениях речь идет скорее о методологии анализа традиционных данных. Дело в том, что процесс анализа социальных сетей подразумевает работу с очень большими наборами данных и их использование таким способом, который увеличивает этот объем на несколько порядков.

Можно утверждать, что полный набор звонков по мобильному телефону или история текстовых сообщений, собранных оператором мобильной связи, сами по себе представляют источник больших данных. Анализ социальных сетей выведет их использование на новый уровень путем изучения нескольких видов ассоциаций вместо одного. Именно поэтому анализ социальных сетей может превратить источники традиционных данных в источники больших данных.

Современной телефонной компании уже недостаточно просто анализировать все звонки по отдельности. При анализе социальной сети необходимо определить, кто был участником телефонного разговора, а затем провести более глубокое изучение. Нужно узнать не только кому звонил я, но и кому, в свою очередь, звонили эти люди, кому звонили те люди и т. д. Чтобы получить более полное представление о социальной сети, можно проанализировать столько слоев, сколько позволяет система. При переходе от клиента к клиенту и от звонка к звонку объем данных возрастает в несколько раз. Это также усложняет их анализ, особенно когда речь идет о традиционных инструментах.

Те же принципы применимы к сайтам социальных сетей. При анализе любого пользователя социальной сети нетрудно определить, сколько у него контактов, как часто он отправляет сообщения, как часто заходит на сайт, а также другие стандартные метрики. Однако анализ широты сети контактов данного участника, включая его друзей, друзей друзей и друзей друзей друзей, предполагает гораздо более сложную обработку.

Нетрудно отследить одну тысячу участников или подписчиков. Однако между ними могут существовать до миллиона прямых и до миллиарда косвенных связей, если учитывать «друзей друзей». Именно поэтому анализ социальных сетей подразумевает работу с большими данными. На сегодняшний день он имеет целый ряд приложений.

Данные социальных сетей и их анализ могут быть очень полезны, например, для изменения взгляда организации на своих клиентов. Отныне во главу угла будет ставиться не платежеспособность отдельного потребителя, а ценность его сети контактов. Пример, о котором пойдет речь, применим во многих других отраслях, где известны отношения между людьми или группами, однако мы сосредоточимся на беспроводных телефонах, поскольку именно в этой сфере данные методы используются наиболее широко.

Предположим, у оператора беспроводной связи есть абонент с относительно низкой платежеспособностью. Он пользуется базовым тарифным планом и не прибегает к дополнительным услугам. Этого клиента едва ли можно считать прибыльным. Традиционно оператор стал бы оценивать его на основании индивидуального счета, и, если бы такой клиент позвонил, чтобы пожаловаться, и стал угрожать расторжением договора на обслуживание, компания, скорее всего, позволила бы ему уйти, поскольку данный потребитель просто не стоит того, чтобы его удерживать.

Анализ социальной сети может выявить тот факт, что среди тех, кому звонит наш клиент, есть очень активные пользователи, имеющие весьма широкий круг друзей. Другими словами, контакты данного клиента имеют очень большую ценность для организации. Исследования показали, что, если один человек из этого круга покидает его, другие, скорее всего, последуют за ним. Выход людей из этого круга может приобрести характер эпидемии, и вскоре количество его участников будет стремительно сокращаться, что, безусловно, крайне нежелательно.

Учитывайте не только индивидуальную ценность

Очень важное преимущество использования данных социальной сети заключается в том, что она предоставляет возможность определить общий доход, на который влияет клиент, а не только прямой доход, который этот клиент генерирует. Это может привести к принятию совершенно иных решений о том, как следует инвестировать в этого клиента. Клиента, который обладает большим влиянием, необходимо поощрять гораздо больше, если, конечно, максимизация общей прибыли для организации важнее, чем максимизация прибыльности отдельных клиентов.

С помощью анализа социальной сети можно оценить общий доход организации, на который влияет клиент в нашем примере, а не только выручку, непосредственно им генерируемую. Это позволяет принять совершенно иные решения о том, как следует обращаться с этим клиентом. Оператор беспроводной связи может вложить в этого клиента дополнительные средства, чтобы защитить сеть, в которую он входит. Можно обеспечить стимулы, превосходящие индивидуальную доходность клиента, если это позволит заинтересовать более широкий круг клиентов, в который он входит.

Это замечательный пример того, что благодаря анализу больших данных приходят решения, в прошлом немыслимые, и обретают смысл. Без больших данных организация не попыталась бы удержать этого клиента и не осознала бы причину убытков, которые вскоре начали бы проявляться по мере того, как друзья этого клиента следовали бы его примеру. Цель сдвигается от максимизации прибыльности отдельных счетов к максимизации прибыльности сети потребителя.

Выявление клиентов, обладающих большой сетью контактов, позволяет определить, где следует сосредоточить усилия по укреплению имиджа бренда. Потребителям с большими связями можно предоставить бесплатные пробные версии продуктов в обмен на их отзывы. Стимулы помогут привлечь их к активному участию в обсуждениях на сайте корпоративной социальной сети, где они могли бы оставлять комментарии и мнения. Некоторые организации активно вербуют влиятельных клиентов и предоставляют им различные льготы, возможность раньше других испытать пробные версии продуктов и т. д. В свою очередь, эти клиенты продолжают оказывать влияние, тон которого становится все более позитивным, учитывая особое отношение к ним со стороны компании.

Анализ, проведенный в рамках таких социальных сетей, как LinkedIn или Facebook, помогает понять, с какой рекламой имеет смысл обращаться к конкретным пользователям. При этом учитываются не только те интересы, о которых они заявили лично. Не менее важны интересы их круга друзей или коллег. Пользователи никогда не сообщают обо всех своих интересах в социальных сетях, и невозможно узнать о них все подробности. Тем не менее, если большинство друзей пользователя интересуются, к примеру, велосипедным спортом, весьма вероятно, что и данный пользователь им тоже интересуется, даже если он не заявляет об этом прямо.

Анализ социальных сетей может быть полезен в целях борьбы с преступностью и предотвращения террористических актов. Можно выявить людей, связанных, пусть даже косвенно, с известными проблемными группами или лицами. Такой анализ называется анализом связей. Проблемными могут быть как физические лица и группы людей, так и клуб или ресторан. Если в результате анализа выявляется, что данный человек часто общается с данными людьми в данных местах, то к нему следует присмотреться более внимательно. Хотя подобный вид анализа связан с проблемами конфиденциальности, он применяется сегодня в реальных жизненных ситуациях.

Этот вид анализа может оказаться полезным в онлайн-видеоиграх. Кто с кем играет? Как эта закономерность изменяется от игры к игре? Анализ социальных сетей дополнит телеметрические данные. Мы определим модели, используемые игроком в каждой игре. Мы уже говорили о том, как игроков можно сегментировать исходя из индивидуального стиля игры. Объединяются ли игроки, использующие похожие игровые стили, в команды, когда играют вместе? Или они стремятся обеспечить разнообразие стилей? Такие сведения очень ценны для производителя игр, если он намерен предложить игрокам группы, к которым они могут присоединиться (например, при входе в систему пользователю предлагают конкретную группу из множества доступных вариантов).

В организациях был проведен ряд интересных исследований связей. Они начинались с изучения контактов, установленных с помощью электронной почты, телефона и текстовых сообщений в рамках организации. Взаимодействуют ли отделы друг с другом так, как ожидалось? Приходится ли некоторым сотрудникам выходить за пределы типичных каналов, чтобы решить рабочий вопрос? Кто пользуется большим влиянием и подходит для участия в исследовании способов улучшения системы коммуникации в рамках организации? Такой анализ поможет организациям лучше понять, как взаимодействуют между собой их сотрудники.

Сферы применения и влияния анализа социальных сетей будут только расширяться. Такой анализ всегда способствует значительному увеличению объема данных благодаря экспоненциально расширяющемуся характеру аналитического процесса. Вероятно, самая интересная особенность этого вида анализа состоит в том, что он помогает оценить влияние потребителя и его общую ценность для организации, что может полностью изменить отношение со стороны организации.

Самые важные уроки этой главы.

• Несмотря на существование широкого спектра источников больших данных в различных отраслях, между ними есть определенные сходства. Одни и те же базовые технологии, такие как RFID, могут быть использованы в различных отраслях для решения различных задач.

• Со многими источниками больших данных связаны проблемы соблюдения конфиденциальности, которым всегда следует уделять серьезное внимание.

• Телематические данные могут использоваться в процессе определения тарифов при страховании автомобилей. Собранные данные также могут коренным образом изменить систему планирования и управления дорожным движением.

• Текстовые данные – один из самых мощных и широко применяемых типов больших данных. В центре внимания, как правило, находится извлечение из текста ключевых фактов, которые затем используются в качестве входных данных в других аналитических процессах.

• Данные о времени и местонахождении завоевывают все большую популярность. Организациям предстоит постараться, чтобы обеспечивать потребителей предложениями, актуальными для конкретного времени и места.

• RFID-данные предоставляют розничным торговцам и производителям новые возможности проведения анализа в сферах управления запасами, предотвращения случаев мошенничества и оценки работы сотрудников.

• Интеллектуальные сети обеспечивают возможность коммунальным предприятиям гораздо лучше управлять их энергосистемами, а потребителям – лучше контролировать свое потребление.

• Фишки с RFID-метками помогают точнее отслеживать активность игроков казино и предотвращать случаи мошенничества и ошибочные выплаты.

• Данные, полученные от датчиков, предоставляют подробную информацию о работе двигателей и оборудования. Это позволяет точнее диагностировать проблемы и быстрее принимать соответствующие меры.

• Телеметрические данные позволят производителям видеоигр лучше управлять микротранзакциями, вносить в игру улучшения и сегментировать игроков исходя из их игрового стиля.

• Данные социальных сетей могут обеспечить новые способы оценки потребителей. В телекоммуникационной отрасли фокус анализа социальных сетей сместился с оценки прибыльности счета к оценке прибыльности сети.

Часть II
Укрощение больших данных: технологии, процессы и методы

Глава 4
Эволюция масштабируемости аналитических систем

Само собой разумеется, что мир больших данных требует иных уровней масштабируемости. По мере увеличения объема данных, которые необходимо обрабатывать организациям, старые методы перестают работать. Организации, не обновляющие свои технологии, чтобы обеспечить более высокий уровень масштабируемости, просто не справятся с большими данными. К счастью, существует множество технологий, созданных для укрощения больших данных и их использования в аналитических процессах. Некоторые из них совершенно новые, и организациям следует идти в ногу со временем.

В этой главе мы расскажем о технологиях, которые позволяют добиться успеха в процессе приручения больших данных. Поговорим о слиянии аналитической среды со средой данных, массивно-параллельных архитектурах (MPP), облачных и грид-вычислениях, а также о модели MapReduce.

Хочу еще раз напомнить, что данная книга – не практическое пособие. Эта глава, а также главы 5 и 6 посвящены техническим деталям, однако они рассматриваются на концептуальном уровне, поэтому вне зависимости от подготовки вы сможете разобраться в концепциях. Некоторые вопросы излагаются очень упрощенно. При необходимости более детально разобраться в той или иной теме вы можете обратиться к другим, специализированным книгам.

История масштабируемости

Вплоть до 1900-х годов проведение анализа было очень, очень трудной задачей. Глубокий анализ, связанный, скажем, с моделью прогнозирования, требовал вычисления вручную всех статистических данных. Для выполнения линейной регрессии следовало вручную вычислить матрицу, а затем – также вручную – обратную матрицу. Все остальные вычисления, необходимые для оценки параметров, производились вручную или с помощью простейших механических счетных машин. Сто и более лет назад собрать данные было очень трудно, но использовать их было еще труднее. Ни о какой масштабируемости не могло быть и речи.

Логарифмические линейки со временем облегчили положение, а в 1970-х годах появились калькуляторы, которые упростили процесс использования большего объема данных. Однако объем данных, который можно обработать с помощью калькулятора, все еще был очень небольшим. Компьютеры, которые получили распространение в 1980-х годах, позволили людям навсегда забыть о произведении вычислений вручную. Хотя компьютеры существовали и до 1980-х годов, они были доступны только избранным, а работа с ними была сложна и связана с большими затратами.

По прошествии десятилетий объем данных вышел далеко за рамки того, что человек в состоянии обработать вручную. Количество данных росло так же быстро, как и вычислительная мощность машин, которые использовались для их обработки. И хотя нет необходимости напрягаться и до головной боли производить вычисления вручную, очень легко перегрузить компьютер и систему хранения данных.

Технология продолжала развиваться такими темпами, что объем данных возрастал год от года. Десять лет назад обработка терабайта данных была доступна только крупнейшим компаниям и богатейшим правительствам. В 2000 году организация, у которой в базе данных содержался терабайт данных, считалась передовой. Теперь вы можете купить терабайтный диск для вашего компьютера за $100! В 2012 году даже многие небольшие компании имели системы, содержащие терабайт данных или больше. Объем данных передовых компаний сегодня измеряется в петабайтах[6]6
  Петабайт – единица измерения количества информации, равная 1015 байт.


[Закрыть]. Это тысячекратное увеличение всего за десять лет!

Более того, появление новых источников больших данных раздвигает границы еще шире. Многие источники больших данных могут генерировать от терабайта до петабайта данных за несколько дней или недель, а то и часов. В настоящее время испытываются пределы того, что может быть обработано. Тем не менее со временем волна больших данных будет укрощена так же, как в прошлом были укрощены другие пугающие потоки данных.

Когда сегодняшние первоклассники пойдут в колледж, у них, вероятно, будет петабайтный компьютер и они будут работать с системами хранения данных, вмещающими эксабайты[7]7
  Эксабайт – единица измерения количества информации, равная 1018 байт. Прим. ред.


[Закрыть], если не зеттабайты[8]8
  Зеттабайт – единица измерения количества информации, равная 1021 байт. Прим. ред.


[Закрыть] информации. Они также будут ожидать получения ответов в течение секунд или минут, а не часов или дней. В табл. 4.1 приведены известные на сегодняшний день единицы измерения объема данных, а также значения, следующие за ними по данной шкале. Люди, которые первыми использовали предельные объемы данных, получали в прошлом значительные преимущества, и так будет продолжаться и в дальнейшем.

Табл. 4.1

Единицы измерения объема данных{6}6
  ⁶ Комментарий основан на информации, взятой с сайта whatsabyte.com.


[Закрыть]