Текст книги "О чем говорят цифры. Как понимать и использовать данные"

Сконцентрируйтесь на решении

Мы обнаружили, что фокусировать внимание на конкретных решениях, которые будут приниматься по итогам анализа, весьма полезно уже на этапе формулирования проблемы. Тому есть много причин. Во-первых, внимание к будущим решениям заставляет всех участников проекта помнить о том, что количественный анализ проводится не просто из любопытства, а с конкретной практической целью. Во-вторых, внимание к ключевым решениям помогает определиться с ключевым «потребителем» результатов анализа – человеком или группой людей, которые будут принимать решение на основе полученных результатов. В-третьих, если не удается определить, какие решения будут приняты по итогам, то возникает вопрос: целесообразно ли проводить исследование?

Вот как описывает переговоры с клиентом на этапе формулирования проблемы Майк Томпсон, SEO фирмы First Analytics. Клиент, представитель сети ресторанов, считал, что первоочередным вопросом для анализа должна стать рентабельность продуктов. Топ-менеджеры сети ресторанов хотели, чтобы First Analytics оценила, насколько рентабельно каждое блюдо в их меню. Майк разделяет мысль о том, что необходимо сосредоточиться на будущих решениях уже на этапе формулирования проблемы, поэтому он спросил, какие решения его собеседники собираются принять по итогам анализа рентабельности. Последовало долгое молчание. Один менеджер предположил, что ключевым должно стать решение о том, оставить ли блюдо в меню. Но другой отметил, что за последние двадцать лет в их ресторанах не было случаев исключения блюд из меню. После короткой дискуссии представители клиента пришли к выводу, что в фокусе анализа должна быть не рентабельность, а цена блюд. «Мы периодически меняем цены на протяжении всего времени существования», – заявил один из менеджеров.

Какой проект количественного анализа вам нужен

Если вы определили, какие решения собираетесь принимать, можно переходить к следующему этапу анализа – изучению предыдущих попыток решить проблему. В главе 4 мы поговорим о том, какую историю могут рассказать данные, именно в этом состоит лучший способ ознакомить с результатами анализа неспециалистов. Уже на первом этапе нужно начинать думать о том, какого рода эта история и как вы будете ее рассказывать, хоть многие ее детали и станут известны позже, уже в процессе анализа. Конечно, она связана с числами. Существует по меньшей мере шесть видов проектов количественного анализа. Рассмотрим их и приведем примеры.

Проект CSI: полиция Майами. Некоторые проекты количественного анализа напоминают детективные телесериалы, только в них вопросы бизнеса «расследуются» методами количественного анализа. Обнаруживается определенная проблема, и анализируются данные, для того чтобы удостовериться в правильности ее идентификации и найти пути решения. Часто в такой ситуации не нужен углубленный статистический анализ – достаточно корректно подготовленных и представленных данных. В интернет-магазинах, например, каждый щелчок покупателя мышью несет в себе огромное, иногда даже слишком, количество информации для анализа.

Одним из главных действующих лиц в нашей «следственной истории» станет Джо Меджибов – вице-президент и SEO онлайнового туристического агентства Expedia из США. Когда-то Джо был специалистом по веб-аналитике. Он и сейчас им остается, и его подходы к решению бизнес-проблем на основе количественного анализа данных привели к нескольким блестящим решениям.

Во многих онлайновых исследованиях Expedia возникал вопрос о том, почему транзакции по некоторым заказам не завершаются. В частности, руководство отеля хотело выяснить, почему уже в процессе оформления заказа не удается довести дело до перечисления средств на счет компании. Анализ данных показал, что после выбора отеля и заполнения формы с данными о сроках путешествия и стоимости номера, а затем щелчка по кнопке «Оплатить сейчас» часть транзакций оказываются незавершенными. Группа аналитиков под руководством Меджибова решила разобраться в причинах неудач, используя систему показателей интернета и лог-файлы операций, хранящиеся на сервере.

Очевидно, проблемы возникали из-за поля «Компания», размещенного под полем фамилии клиента. Некоторые клиенты считали, что в нем надо указать название банка, эмитировавшего их кредитную карту, а в поле «Адрес, на который будет направлен счет» указывали адрес этого банка. В результате в процессе списания средств с карты клиента операция отменялась как некорректная. После того как поле «Компания» просто убрали из формы, прибыль Expedia возросла на 12 миллионов долларов. Меджибов говорит, что специалисты Expedia расследовали несколько таких историй, и это всегда либо приносило фирме дополнительную прибыль, либо эффективность операционной деятельности повышалась.

Иногда расследование требует более глубокого статистического и количественного анализа. Один из сотрудников Меджибова изучал вопрос о том, какие точки взаимодействия с покупателями важнее всего для стимулирования продаж. Аналитик использовал регрессионную модель Кокса – метод, обычно используемый для прогнозирования вероятности дожития пациентов до определенного момента в будущем; «анализ выживаемости». Оказалось, что более простые модели, применявшиеся ранее, давали искаженную информацию о том, какие маркетинговые подходы наиболее эффективны. Меджибов прокомментировал это так: «Мы и не знали, сколько денег утекает сквозь наши пальцы»[16]16
  Expedia Travels to New Heights // SASCom Magazine. Third Quarter 2011, no. 14.


[Закрыть].

Проект «Эврика!». Проекты этого типа напоминают проекты CSI, но только целенаправленно подходят к выявлению и решению проблемы в отличие от ситуаций, когда трудности возникают неожиданно. Обычно рассматриваются проблемы, порождаемые глобальными переменами в стратегии компании или ее бизнес-модели. Как правило, такие аналитические проекты требуют больше времени для реализации и предполагают больший объем статистического и математического анализа. Иногда проекты типа «Эврика!» включают в себя элементы проектов других видов, поскольку ожидаемые результаты очень важны для заказавших анализ организаций.

Вернемся к анализу в компании Expedia. Встретился там и проект типа «Эврика!», когда требовалось отменить штрафы за перенос сроков и отмену бронирования номеров в отелях, туров и автомашин. До 2009 года Expedia и ее конкуренты взимали до 30 долларов за перенос сроков или отмену брони – в дополнение к соответствующим санкциям со стороны отелей. При заказе отеля через Expedia или другие онлайновые агентства номер обходился клиентам значительно дешевле, чем при заказе непосредственно в отеле, поэтому они мирились со штрафами за перенос или отмену заказа. Но к 2009 году стало ясно, что это превратилось в проблему. Стоимость номера при заказе через Expedia существенно приблизилась к расценкам самих отелей, поэтому Expedia сделала упор на удобство обслуживания, а штрафы за перенос и отмену бронирования стали неудобны. Аналитики изучили коэффициенты удовлетворенности клиентов, и оказалось, что у тех, кому пришлось платить этот штраф, уровень удовлетворенности существенно ниже. Сотрудники колл-центра Expedia имели право отменить штраф только по одной причине – в случае смерти кого-либо из членов семьи клиента. Темпы роста численности освобожденных от штрафа по этой причине за последние три года составляли двузначную цифру. То ли в это время свирепствовала эпидемия с высоким процентом смертельных исходов, то ли клиенты поняли, что это единственный способ вернуть свои деньги.

Топ-менеджеры агентства поняли, что на рынке туристических услуг произошли существенные изменения, но штрафы за отмену и перенос сроков бронирования составляли значительную часть общей выручки. Возник вопрос, как поведет себя коэффициент перехода контактов в продажи (то есть процент оплативших номер по отношению к числу приславших заявку), если отменить эти штрафы. В апреле 2009 года Expedia объявила о временном (сроком на месяц) моратории на штрафы за перенос сроков и отмену бронирования (в чем-то похоже на историю об эксперименте сумасшедшего ученого, описанную ниже). Коэффициент перехода контактов в продажи существенно вырос. Топ-менеджеры поняли, что получено достаточно доказательств того, что отмена штрафов целесообразна, и очень скоро примеру Expedia последовали другие компании отрасли.

В центре Сиэтла находится штаб-квартира компании Zillow, предоставляющей информацию о жилой недвижимости в регионе. Вероятно, эта компания известна в среде квантов прежде всего благодаря разработанному ее сотрудниками алгоритму Zestimates, позволяющему рассчитать стоимость объектов недвижимости. Но, как и в Expedia, корпоративная культура Zillow построена на культе данных и аналитики, что и неудивительно, поскольку основателем обеих этих компаний является Рик Бартон.

Один из проектов типа «Эврика!» посвящен глобальной проблеме: реорганизации отношений с агентами по недвижимости. Zillow начала работать с агентами по недвижимости в 2008 году, а до этого взаимодействовала непосредственно с покупателями. Особенность бизнес-модели, построенной на работе с агентами, в том, что компания рекламирует своих агентов и направляет к ним потенциальных покупателей. За каждого покупателя с агента взимаются комиссионные, но, с точки зрения топ-менеджеров, их размер недостаточен. Директор Zillow по продуктам и стратегии Хлоя Харфорд особенно заинтересована в разработке адекватной модели оптимизации комиссионных за направленных к агентам покупателей.

Харфорд, получившая ученую степень по вулканологии, уже проводила довольно сложные математические анализы раньше. Тем не менее она и ее коллеги первоначально полагалась на методы, которые называли «расчетами на салфетке», чтобы оценить другие пути, позволяющие привлечь больше потенциальных покупателей и установить справедливые комиссионные с агентов. В апреле 2010 года Zillow внедрила новую модель взаимоотношений с агентами, немедленно скопированную конкурентами и включавшую помимо прочего продажу рекламных услуг агентам. В результате поток контактов с потребителями резко возрос, причем они были переключены непосредственно на агентов. Zillow также внедрила интеллектуальный алгоритм расчета комиссионных за потенциальных покупателей с учетом их экономической стоимости и коэффициента перехода контактов в продажи. Конкуренты в той или иной степени старались повторить эти новшества, но не в таком объеме, как Zillow. Контакты потенциальных покупателей и определение комиссионных за их направление к агентам настолько важны для Харфорд и ее коллег, что постоянно тестируются различные подходы к их оценке, в том числе и с использованием методов, описанных в истории о безумном ученом. Коротко говоря, проекты «Эврика!» тесно связаны с моделью бизнеса компании и ее коммерческим успехом.

Проект «Сумасшедший ученый». Мы знаем, как широко распространены научные эксперименты в высокотехнологичных отраслях, например фармацевтической. Производящие лекарства компании тестируют продукты на целевых и контрольных группах, давая членам последних плацебо (лекарства-«пустышки», вещества без лечебных свойств). Они уделяют огромное внимание соблюдению случайного метода распределения участников между целевой и контрольной группами, чтобы их состав был однородным и не влиял на оценку эффективности лекарства. Этот действенный аналитический прием делает возможным причинно-следственный анализ и распространение выводов, сделанных на основе данных, полученных в целевой группе, на генеральную совокупность.

Строгий эксперимент больше не является прерогативой одних только ученых; сейчас он стал аналитическим приемом, необходимым каждой крупной компании. Сейчас широко распространено программное обеспечение, помогающее менеджерам и аналитикам проводить анализ. Компании получили возможность принимать решения на основе строго научных экспериментов. В прошлом любое вторжение в область рандомизированного тестирования (случайного распределения участников целевой и контрольной групп, о котором мы только что говорили) требовало приглашения дипломированного специалиста по статистике или по разработке научных экспериментов. Теперь магистр делового администрирования, прошедший курс статистического анализа, вполне может организовать процесс с помощью нужного программного обеспечения, помогающего определить численность целевой и контрольной групп, сайты для тестирования и контроля, а также сделать оценку статистической значимости любых отклонений, выявленных в ходе эксперимента.

«Проекты сумасшедших ученых» особенно удачно подходят для розничных сетей с многочисленными супермаркетами, банков с множеством отделений и других подобных компаний. Это упрощает использование части торговых точек или отделений в качестве целевых, а остальных – в качестве контрольных. Стало легко проводить эксперименты на сайтах, где часть посетителей можно направить на одну версию интернет-страницы, а вторую часть – на другую ее версию, а потом проверить, окажутся ли результаты существенно отличными (это называется А/В тестированием в сфере исследования сайтов).

Некоторые примеры «проектов сумасшедших ученых» приведены ниже[17]17
  Все эти примеры взяты из практики деятельности клиентов компании по разработке прикладного программного обеспечения Applied Predictive Technologies, хотя мы получили их самостоятельно. Более подробно методы анализа описаны в книге: Davenport Т. How to Design Smart Business Experiments. Harvard Business Review, November 2009.


[Закрыть].

• Способствует ли установка аквариумов с живыми омарами их продажам в супермаркетах Food Lion? Видимо, ответ будет утвердительным, если покупатели этого супермаркета уже привыкли покупать здесь омаров (то есть принадлежат к группе лиц со сравнительно высокими доходами), и отрицательным, если обеспеченные покупатели не заходят сюда.

• Увеличится ли общая выручка супермаркета Kmart, если часть его торговых площадей отвести под магазины супермаркета Sears? Председатель совета директоров компании Sears Holdings Эдди Ламперт является большим поклонником рандомизированного тестирования. Он протестировал различные комбинации использования торговых площадей. На этот конкретный вопрос у нас ответа нет, но можно предположить, что если бы он был положительным, то таких комбинированных супермаркетов было бы гораздо больше.

• Какие из сети ресторанов морепродуктов Red Lobster (с высоким, средним или низким уровнем цен) обеспечивают максимальный объем продаж и что важнее для привлечения клиентов: внешний вид ресторана или его внутренняя отделка? Топ-менеджеры Red Lobster утверждают, что наибольшие продажи обеспечивают рестораны средней ценовой категории. Внешний вид ресторана играет очень большую роль в привлечении новых клиентов, но если они увидят, что его внутренняя отделка не соответствует внешнему виду, то второй раз в этот ресторан не придут.

Проект «Опрос». Опросы – это классический метод количественного анализа. Аналитики, проводящие их, имеют дело с уже произошедшими или происходящими в данный момент событиями. Аналитик не пытается повлиять на результаты, он только наблюдает, классифицирует и анализирует их. В типичном случае интервьюер стремится выявить статистически значимую зависимость между рядом исходных и рядом изучаемых факторов или переменных. Самый простой пример – опрос в выборке покупателей конкретного продукта об их личных характеристик, в том числе демографических (возраст и пол). Задавая вопросы о том, какие продукты они предпочитают, можно выяснить, пользуется ли конкретный продукт спросом в большей степени у мужчин, чем у женщин, будут ли определенные продукты пользоваться спросом преимущественно у молодых покупателей.

Опросы весьма популярны и несложны с точки зрения организации и проведения. Однако следует помнить, что полученные результаты могут существенно отличаться в зависимости от постановки вопросов и изменения их формулировок с течением времени. Например, Бюро переписи населения США десятилетиями работает над формулировкой вопроса о национальной принадлежности граждан. Количество вариантов ответа на этот вопрос постоянно увеличивается; в 2010 году предлагалось выбрать из пятнадцати вариантов, в том числе «другая национальность». Этот ответ пользовался большой популярностью среди граждан США – латиноамериканцев: 18 миллионов из более чем 50 миллионов отметили именно его[18]18
  Navarro M. For Many Latinos, Race Is More Culture Than Color // New York Times. January 13, 2012.


[Закрыть]. Если уж вопрос о национальности вызывает столько сомнений, то что говорить о таких скользких темах, как политика, религия, социальный статус или сексуальные привычки!

Кроме того, нам следует помнить, что сама по себе связь между двумя переменными еще не говорит о ее причинно-следственном характере. Мы поговорим об этом подробнее в главе 6, а пока просто отметим, что вполне могут существовать и другие переменные, оставшиеся за рамками анализа; именно они, возможно, обусловливают выявленную зависимость. Опросы предполагают выяснение убеждений или отношений людей к тем или иным событиям, но их вопросы не должны задевать эмоции интервьюируемых. Рассмотрим в качестве классического примера (приводимого во многих учебниках по статистике) устроенный во время Второй мировой войны опрос об организации ремонта самолетов.

Во время Второй мировой войны нужно было обеспечить максимально длительное функционирование самолетов, поэтому было решено выяснить, можно ли сократить количество трудоемких ремонтов моторов без роста аварийности. Был проведен ретроспективный опрос о самолетах, потерпевших катастрофу, и вопреки всем ожиданиям оказалось, что количество аварий из-за проблем с моторами достигало максимума непосредственно после ремонтов, а затем постепенно снижалось. В результате было принято решение существенно удлинить интервалы между ремонтами и, естественно, пересмотреть их характер, чтобы убедиться в том, что все гайки и болты затянуты как надо[19]19
  Wallis W. and Roberts H. Statistics: A New Approach. New York: Free Press, 1960.


[Закрыть].

Если вы планируете провести опрос или проанализировать его результаты, сначала убедитесь, что смысл включенных в анкету вопросов, равно как и отобранных для анализа переменных, тщательно продуман. Переменной называется любая количественно измеримая характеристика параметров людей, ситуаций или поведения с двумя или больше уровнями или вариантами значений. Пол, балл на экзамене, температура в помещении, любовь, счастье, сплоченность команды – все это примеры переменных.

Кроме того, важно убедиться, что выборка для опроса репрезентативна для той группы населения, которую вы собираетесь тестировать. Способы проведения опроса могут повлиять на результаты. Например, если хотите изучить поведение молодежи или ее отношение к чему-то, не стоит нанимать маркетинговую компанию, проводящую опросы исключительно по стационарным телефонам. Да, это стандартный способ их проведения, но мы ведь знаем, что у многих молодых людей просто нет стационарных телефонов, да они и не собираются ими обзаводиться. В результате выборка для молодежи будет нерепрезентативной[20]20
  Carley-Baxter L. et al. Comparison of Cell Phone and Landline Surveys: A Design Perspective // Field Methods. February 2010. Vol. 22, no. 1. P. 3–15.


[Закрыть].

Проект «Предсказание». Все проекты этого вида имеют целью прогнозирование того, что должно произойти в будущем. Получить надежную информацию о грядущих событиях довольно трудно, но если речь идет о прошлых событиях и их причинах, то для количественного аналитика это несложно. Обычно проекты такого рода относятся к предсказательной аналитике или предсказательному моделированию.

Проекты вида «Предсказание» весьма разнообразны. Приведем некоторые ситуации, в которых они целесообразны.

Реакция на коммерческое предложение. Кто из покупателей мог бы отреагировать на разосланное по электронной почте коммерческое предложение с бесплатной доставкой продукта в течение двух рабочих дней при сумме заказа 50 долларов или больше?

Кросс-продажи и продажи более дорогих версий продукта. Кто из клиентов, имеющих чековый счет с остатком более 2000 долларов, мог бы купить одногодичный депозитный сертификат под 1,5 процента в год в течение одного месяца с момента рассылки коммерческого предложения?

Убыль персонала. Кто из сотрудников, проработавших более шести месяцев и еще не подписавшихся на программу страхования 401(k), уволится в течение следующих трех месяцев?

Существует много других вариантов того, как можно применить результаты предсказательного анализа. В бизнесе чаще всего нужно определить, какое именно коммерческое предложение, скорее всего, примет потребитель. Более сложные варианты анализа «следующего по привлекательности предложения» все чаще проводятся с помощью прикладного программного обеспечения. Во-первых, содержание коммерческих предложений нужно хранить в тайне, пока не наступит время довести его до потребителя; во-вторых, таких предложений могут быть сотни и даже тысячи.

Например, Microsoft, как мало кто другой, постоянно разрабатывает все новые усовершенствования для своей поисковой системы Bing (поисковик бесплатный, поэтому компания старается таким образом просто привлечь как можно большее количество пользователей). Эти новшества побуждают вас испробовать предлагаемый поисковик, ввести панель инструментов Bing в браузер, испытать дополнительные свойства Bing и т. п. Модификация поисковика в соответствии с предпочтениями пользователя производится по разным параметрам: возраст, место жительства, пол, часто посещаемые сайты и т. п., определяемым на основе cookies[21]21
  Cookie (англ.) – небольшой фрагмент данных, отправленный веб-сервером и хранимый на компьютере пользователя. Используется для аутентификации пользователя и хранения персональных предпочтений и настроек пользователя. Прим. ред.


[Закрыть] пользователя и других источников. Если вы когда-нибудь получали идентификатор Microsoft Passport, то компания располагает еще большим объемом информации о вас, и это позволяет формировать «коммерческое предложение» целенаправленно. С помощью программы Infor Epiphany Interaction Advisor компания Microsoft имеет возможность мгновенно формировать и отсылать адресное электронное сообщение в тот момент, когда вы щелкаете мышкой по заголовку сообщения в почте: это занимает около 200 мс. По словам представителей компании, это средство отлично работает на повышение коэффициента конверсии веб-узла.

Зачастую проекты вида «Предсказание» весьма напоминают ловлю рыбы сетью. Мы точно не знаем, какие именно факторы позволят сделать обоснованный прогноз, поэтому тестируем все и отбираем те, которые срабатывают. Иногда это дает неожиданные результаты. Например, в ситуации с усовершенствованием поисковика Bing, о котором мы только что рассказали, оказалось, что в зависимости от количества контактов пользователя в Microsoft Messenger можно с уверенностью предсказать, захочет ли он использовать Bing.

Google поставила цель выяснить, какими особенностями отличаются наиболее эффективные сотрудники компании. Анализ показал, что те критерии, на которые компания обращала внимание изначально, – диплом университета и рейтинг по итогам собеседования – практически бесполезны при прогнозировании будущей эффективности работы. Поскольку неизвестно было, какие критерии окажутся более надежными, сотрудникам предложили заполнить анкету из трехсот вопросов. Как отметил начальник отдела персонала Google Ласло Бок, «мы решили забросить очень широкую сеть. В нашей компании нет ничего необычного в том, чтобы выйти в коридор и наткнуться на человека с собакой. Может быть, у владельцев собак есть общие черты характера, говорящие об их творческих качествах?»[22]22
  Hansell S. Google Answer to Filling Jobs Is an Algorithm // New York Times. January 3, 2007. URL: www.nytimes.com/2007/01/03/technology/03google.html.


[Закрыть]

Вряд ли привлечение собак к прогнозированию даст какой-либо результат, но Google все же удалось найти некоторые неожиданные критерии. Например, если претендент на рабочее место ставил мировые или национальные рекорды в любой области, учреждал некоммерческую организацию или клуб, то чаще всего он оказывался высокоэффективным работником. Сейчас Google включил вопросы об этом в свои онлайновые анкеты для претендентов на вакансии.

Конечно, если обнаруживаются факторы, которые демонстрируют связь с анализируемыми параметрами, но при этом сами по себе бессмысленны, стоит вернуться к самому началу и проверить доброкачественность исходных данных и корректность методики анализа. Однако в большинстве случаев анализ массивов данных более эффективен, чем прогнозы на основе качественного анализа. Только учтите, что предсказательные проекты основываются на информации за прошлые периоды для прогнозирования событий в будущем. Если со времени проведения последнего анализа в мире что-то изменилось, то полученный прогноз может оказаться недостоверным.

Проект «Что случилось, когда…?» Проекты, описывающие ряд событий и показателей на основе собранных данных, распространены наиболее широко. Они представляют структурированные данные: сколько единиц продукта было продано, за какой период и где, какие финансовые результаты продемонстрировала компания в прошлом квартале, сколько человек взяли на работу в прошлом году. Поскольку эти проекты ориентированы в основном на отчетные данные, сложные математические методы в них, как правило, не используются, и может показаться, что они очень просты в исполнении. Но колоссальный рост данных, генерируемых современными организациями, привел к тому, что аналогично возрос и объем отчетности на их основе. Вот почему иногда бывает сложно привлечь внимание целевой аудитории к создаваемым и распространяемым отчетам.

Этот вид проектов особенно полезен, когда требуется наглядно представить данные. Достаточно сказать, что если в ваших отчетах в основном таблицы, заполненные цифрами, вряд ли вы привлечете внимание аудитории. Кое-кто скажет, что устал от обилия графиков и цветных диаграмм, но большинство наверняка считают, что они более понятны, чем цифры на бумаге. Поскольку в главе 4 мы подробно рассматриваем, какими способами можно проинформировать о результатах анализа, там же поговорим и о том, как сделать цифровые отчеты более интересными и привлекающими внимание.