Текст книги "О чем говорят цифры. Как понимать и использовать данные"

Масштаб проблемы

По определению, у аналитического проекта, основанного на количественном анализе, узок круг рассматриваемых вопросов, поскольку требуется сбор данных и проверка на их основе некой гипотезы (см. вставку «Примеры проверяемой гипотезы»). Трудно собирать данные по широкому кругу. Но на этом этапе важно не сузить преждевременно масштабы рассматриваемой проблемы или будущего решения. Взгляд на проблему должен быть достаточно широким для того, чтобы выделить несколько возможных вариантов решения. Например, если организация считает, что в отдельном подразделении или регионе возникла проблема с эффективностью деятельности, то причин этого может быть много – начиная от недовольства потребителей до производственных факторов или особенностей продуктов и услуг.

Примеры проверяемой гипотезы

• Анализ видов продуктов, пользовавшихся спросом в прошлом году, лучше всего поможет понять, на какие коммерческие предложения, рассылаемые по электронной почте, мы получим максимальный отклик в будущем.

• Продолжительность учебы является надежным критерием будущей эффективности деятельности сотрудников на должностях, требующих высокого уровня компетентности.

• Десятипроцентные скидки с цены продуктов за неделю до праздников менее эффективны, чем скидки, введенные в другое время.

• Размещение товара на витрине в конце прохода наиболее эффективно с точки зрения стимулирования продаж.

• Наших покупателей можно разделить на четыре группы в зависимости от того, какие продукты они предпочитают.

• Возможность повышать цены на продукты стандартного качества и при этом не вызвать сокращения спроса существенно уменьшается в годы экономической рецессии.

• Наши подразделения, централизовавшие склады, предпочитают поддерживать меньший операционный запас материалов для производственного процесса.

В примере с компанией Transitions Optical, приведенном в конце этой главы, к идентификации и формулированию проблемы менеджеров подтолкнуло смутное ощущение, что маркетинговые расходы избыточны. Однако из области решений было выбрано только одно, включавшее комплексную оптимизацию маркетинговых расходов и привлечения средств массовой информации.

Мы называем первый этап количественного анализа формулированием проблемы, но его же можно назвать и выявлением возможностей. Британский инженер Джозеф Джаггер (1830–1892) понял, что есть возможность сорвать банк в казино Монте-Карло[23]23
  Joseph Jagger // URL:; Joseph Jagger. URL: www.realmoneycasinos.net/joseph-jagger.html; Roulette – The Men Who Broke the Bank at Monte Carlo – Joseph Jagger. URL:www.wiseguyroulette.com/roulette-history/joseph-jagger/.


[Закрыть]. Он приобрел опыт работы с машинами и механизмами на хлопкопрядильных фабриках Йоркшира. Это помогло ему понять принципы движения колеса рулетки и предположить, что под действием механической неисправности одни цифры выпадают чаще, чем другие. А что если использовать эту неисправность в своих интересах? Он поехал в Монако, чтобы проверить свое предположение.

На колесе рулетки французского/европейского образца есть цифры от 1 до 36, а также 0. Если колесо делает один оборот, то теоретическая вероятность выпадения каждого номера равна 1/37. Таким образом, удельный вес числа выпадений каждого номера при большом количестве оборотов колеса также равен 1/37. Джаггер предположил, что разбалансированность колеса приведет к тому, что вероятность выпадения определенных чисел превысит 1/37.

Эти рассуждения побудили Джаггера нанять шестерых помощников для наблюдения за шестью столами с рулеткой в легендарном казино Beaux-Arts в Монте-Карло. Каждый помощник получил инструкции относительно записи результатов всех розыгрышей на своем столе. Проанализировав результаты, Джаггер понял, что на пяти столах числа, как и ожидалось, выпадали случайным образом. Но на шестом столе девять чисел (7, 8, 9, 17, 18, 19, 22, 28 и 29) выпадали чаще, чем остальные. Джаггер сделал вывод, что у колеса на этом столе имеется какой-то дефект, нарушающий его балансировку. Свои первые ставки на этом столе он сделал 7 июля 1875 года и быстро выиграл приличную сумму (14 тысяч фунтов стерлингов – в 2012 году она равнялась бы примерно 840 тысячам фунтов стерлингов, или более 1,3 миллиона долларов с учетом инфляции). Казино разобралось, в чем состоит выигрышная стратегия Джаггера, и в конце концов нейтрализовало ее. Но к этому моменту он уже успел выиграть сумму, равную более чем шести миллионам современных долларов. Это и есть возможности аналитики!

Решите, что конкретно вы хотите выяснить

Хотя на этапе формулирования проблемы полезно мыслить широко, но к его окончанию надо иметь четкое понимание ее сути, конкретную формулировку и перечень показателей, которые подлежат анализу. Это необходимо, поскольку в количественном анализе от формулировки проблемы зависит очень многое. Например, представьте себе, что вы топ-менеджер телекомпании, желающий выяснить, какие каналы предпочитают ваши зрители. Два аналитика-консультанта предложили вам разные подходы к проведению исследования. Из чистого любопытства вы решили нанять обоих и посмотреть, насколько будут отличаться их результаты.

Один из консультантов предложил зрителям каждый день в течение недели записывать (в онлайновом режиме либо на бумаге) те каналы и программы, которые они смотрят. Второй провел анкетирование зрителей, попросив их расположить телеканалы, которые они смотрели в течение нескольких последних месяцев, в порядке предпочтения. Оба отобрали репрезентативную выборку зрителей, отражавшую особенность всей аудитории.

Хотя оба консультанта пытаются получить ответ на один и тот же вопрос, они, скорее всего, получат весьма различающиеся результаты. Тот, кто предложил участникам целевой группы записывать просмотренные телепередачи, вероятно, получит результаты более точные, но зато процент откликнувшихся на это предложение будет ниже, поскольку процедура опроса связана с дополнительными затратами времени. (Компания Nielsen Media Research ведет постоянный мониторинг телеканалов и программ, и среди участников целевой группы каждый раз около 50 процентов отказываются вести записи, а ведь эта процедура выполняется автоматически.) Кроме того, этот консультант столкнется с проблемой влияния на зрительские предпочтения времени года или программ телеканалов в ту неделю, когда предполагается вести записи.

Точность исследования, проведенного вторым консультантом, возможно, будет ниже, но зато и сезонные факторы окажут меньше влияния за счет охвата более продолжительного периода. В результате расхождения в результатах будут настолько значительными, что сгладить их не удастся. Поэтому очень важно на этапе идентификации проблемы четко определить, что именно вы собираетесь изучать.

Шаг 2. Изучение предыдущих поисков решения

После того как проблема определена, следует выяснить, проводились ли ее исследования ранее и каковы были их результаты. Это второй шаг первого этапа количественного анализа (формулирование проблемы), поскольку информация о предшествующих исследованиях помогает аналитику и менеджеру оценить разные варианты формулировки проблемы и ее концептуализации.

Довольно часто аналитики находят в отчетах о ранее проводившихся исследованиях нечто такое, что заставляет их пересмотреть собственный вариант определения проблемы. Не исключено, что после этого придется пересмотреть отчеты о более ранних исследованиях.

Обычно на этом этапе аналитик задает себе вопрос: «Похож ли мой проект на те, которые выполнялись раньше?» Если да, то из отчетов можно почерпнуть идеи для собственного анализа. Обзор предшествующих исследований помогает уточнить ряд вопросов:

• В чем особенности нашего исследовательского проекта? Включает ли он опрос, предсказание, эксперимент, отчет?

• Какие данные нам необходимо собрать?

• Какие параметры изучали в предшествующих исследованиях?

• Какие виды анализа нам придется провести?

• Будут ли результаты нашего анализа отличаться от полученных ранее и как представить их в интересной форме?

Одна из ключевых особенностей количественного анализа (и вообще научного метода исследований) – это учет результатов более ранних исследований. Например, поиск относящейся к теме информации в книгах, отчетах и статьях очень важен для всестороннего понимания проблемы. Это помогает установить ключевые параметры и связи между ними.

Комплексный обзор результатов любых предыдущих исследований той же тематики обязателен для любого вида количественного анализа. В аналитике невозможно получить нечто из ничего. Приступать к решению проблемы можно только ознакомившись с опытом тех, кто делал это до вас. Помните простую вещь: любая проблема не настолько уникальна, как вам кажется, и не исключено, что многие уже сделали то, что вы только собираетесь делать. Не стоит заново изобретать колесо, достаточно выяснить, кто сделал это до вас. В наше время при помощи поисковика вроде Google нетрудно получить большую часть материалов по теме. Одна только систематизация и оценка имеющейся информации играет важную роль в уточнении модели анализа или подходов к решению проблемы.

2. Изучение предыдущих поисков решения

Пример успешного обзора результатов более ранних исследований можно найти в истории Второй мировой войны. Адольф Гитлер приказал начать производство новой мощной управляемой ракеты ФАУ-2, и с ее помощью в 1944 году люфтваффе терроризировало жителей Лондона. В течение нескольких следующих месяцев 1358 из 3172 запущенных по целям в Англии ФАУ-2 упали на Лондон, в результате чего погибли 7250 человек – военных и гражданского населения.

Во время обстрела Лондона многие наблюдатели отмечали, что большая часть ракет падала в определенных районах города. Британцы хотели выяснить, является ли падение ракет случайным или управляемым. Если поражение целей возможно только случайно, то размещения бомбоубежищ и укрытий в окрестностях города будет вполне достаточно для обеспечения безопасности населения Лондона. Если же ракеты управляемые, то опасность намного больше и равномерно распределенные убежища особой пользы не принесут. Британское правительство пригласило известного статистика Р. Д. Кларка для решения этой задачи. Кларк провел простой статистический тест, основанный на информации о предыдущих попаданиях ракет. В частности, он понимал, что для этого анализа можно применить так называемое распределение Пуассона, которое показывает вероятность совершения ряда событий в фиксированный период времени, в определенном регионе или объеме, если эти события происходят с известной частотой. Если ракеты падают случайным образом, то количество ракет, попадающих в каждый квадрат местности, будет соответствовать распределению Пуассона. Например, если на каждый квадрат приходится в среднем по одной ракете, то с помощью формулы Пуассона можно подсчитать вероятность попадания в один квадрат одной, двух, трех, четырех и более ракет или непопадания ракет в один квадрат вообще.

Чтобы рассчитать количество ракет, которые могут попасть в определенный квадрат местности, Кларк разделил Южный Лондон на 576 квадратов площадью в четверть квадратного километра каждый и подсчитал количество квадратов, в которые попадали 0, 1, 2, 3, 4 и более ракет.

Если обстрел производился наугад, тогда количество квадратов с определенным количеством попаданий ракет подчинялось бы распределению Пуассона. Совпадение реального количества попаданий с рассчитанными по распределению Пуассона оказалось очень тесным, что опровергло предположение об управляемом обстреле определенных целей (см. сайт авторов этой книги). Выводы Кларка принесли британцам большое облегчение. К счастью, в 1945 году Германия капитулировала, так и не успев доработать управляемые ракеты ФАУ-2. (В скобках заметим: несмотря на то что их нельзя было точно наводить на цель, именно ФАУ-2 стали технической основой развития космической программы США.)

Вы можете последовать примеру Кларка, то есть вернуться назад и пересмотреть содержание этапа формулирования проблемы после изучения предыдущих попыток ее решить (см. вставку «Некоторые методы изучения предыдущих исследований»).

Некоторые методы изучения предыдущих исследований

• Интернет-поиск по ключевым терминам, используемым в анализе.

• Поиск в учебниках по статистике примеров анализа, сходного с предполагаемым.

• Собеседование с вашими аналитиками на предмет того, не приходилось ли им делать что-либо подобное.

• Анализ системы управления знаниями в вашей компании, если таковая имеется.

• Обсуждение проблемы с аналитиками из других (не конкурирующих с вами) компаний.

• Посещение конференций по аналитике (или хотя бы просмотр программ подходящих по тематике конференций в интернете) и выступлений по смежной тематике.

Возможно, вам придется изменить аналитический проект, масштаб анализа, варианты решений, а может быть, даже пересмотреть состав заинтересованных. Если вы это сделали или, наоборот, остались при первоначальном мнении по всем этим вопросам, то можно считать, что формулирование проблемы завершено, и переходить к ее решению методами количественного анализа.

Уточнение формулировки проблемы

Хотя мы обрисовали аналитический процесс решения проблемы как линейную последовательность из шести шагов, объединенных в три этапа, но так или иначе этот процесс должен быть итеративным, предполагающим в случае необходимости возврат к предыдущим шагам и повторение их. Каждый следующий шаг способен выявить новые грани исходной проблемы, и всегда полезно задуматься над тем, как новая информация может изменить принятые на ранних этапах решения. Конечно, нельзя без конца пересматривать уже принятые решения, но полезно иногда задумываться над тем, как изучение предыдущих попыток решения способно повлиять на формулировку проблемы.

Этапы формулирования проблемы

Адекватна ли разработанная формулировка проблемы? Если да, то ответ на большинство этих вопросов будет положительным.

• Удалось ли вам выявить проблему или возможности, касающиеся действительно важных для вашей организации вещей?

• Рассматривали ли вы альтернативные варианты решения проблемы?

• Определены ли те, кто сильнее всего заинтересован в решении, проводилось ли с ними обсуждение?

• Уверены ли вы в том, что способ, который выбран для решения проблемы, придется по вкусу всем заинтересованным и они смогут использовать полученные результаты для обоснования управленческих решений?

• Отдаете ли вы себе отчет в том, какие именно решения и в какие сроки будут приниматься на основе полученных в результате анализа данных и кто будет это делать?

• Вы начали с широкого определения проблемы, затем сузили его до конкретных, четко сформулированных вопросов, определили круг информации, которую надо собрать и представили возможные результаты?

• Способны ли вы определить вид аналитического проекта, который нужен для решения проблемы?

• Есть ли у вас сотрудники, способные помочь в реализации этого конкретного вида аналитического проекта?

• Провели ли вы комплексный анализ предыдущих исследований, проводившихся внутри или вне вашей организации по этой тематике, ознакомились ли с их результатами?

• Пытались ли вы пересматривать формулировку проблемы на основе изучения предыдущих поисков ее решения?

В своем блоге аналитик в сфере розничной торговли Рама Рамакришнан, в настоящее время СEO стартапа CQuotient, приводит прекрасный пример, в котором потребовалось переформулировать проблему для анализа[24]24
  Ramakrishnan R. Three Ways to Analytic Impact // The Analytic Age blog. July 26, 2011. URL: http://blog.ramakrishnan.com/.


[Закрыть].

Рассмотрим проблему таргетирования (определения целевой аудитории), типичную для прямого маркетинга. Необходимо принять решение, кому из потребителей разослать коммерческие предложения, потому что рассылка по всем адресам обойдется слишком дорого. Эта проблема возникла давно; ее изучением занимались многие исследователи и практики. Наиболее распространенный подход к ее решению такой.

1. Рассылка тестовых предложений только выборке покупателей.

2. Использование результатов тестовой рассылки для построения «модели реагирования» потребителей на рассылку в зависимости от их характеристик, истории покупок и т. п.

3. Рейтинговая оценка каждого потребителя, включенного в базу, и рассылка предложений тем, кто получил максимальный рейтинг.

Эта последовательность действий выглядит вполне логичной и способной обеспечить необходимый результат. А может быть, и нет.

Термин «модель откликов» предполагает, что рассылка станет непосредственной причиной покупки. Но в действительности потребитель мог бы просто зайти в супермаркет и купить этот продукт (речь идет о торговцах, имеющих несколько каналов сбыта, а не о фирмах, торгующих по каталогам).

Модели откликов нацелены в первую очередь на то, чтобы отделить покупателей, склонных совершать покупки по собственной инициативе, от тех, кто совершает их под влиянием рассылок коммерческих предложений. Менеджерам требуется выявить как раз последнюю категорию. Рассылка предложений тем покупателям, которые купят продукт так или иначе, а также тем, кто не станет покупать его ни при каких обстоятельствах, это пустая трата времени, которая лишь напрасно раздражает адресатов. Поэтому особенно важно выделить ту категорию покупателей, которых именно рассылка коммерческих предложений заставит совершить покупку.

Такая модернизированная формулировка проблемы выделения целевой категории потребителей, а также методов ее решения появилась относительно недавно. У нее несколько названий: инкрементное моделирование, моделирование поведения потребителей. Разработана она гораздо менее детально по сравнению с традиционной моделью управления потенциальными продажами. Тем не менее для многих розничных сетей инкрементное моделирование – намного более подходящий и полезный метод, позволяющий сформулировать и решить проблему выделения целевого сегмента потребителей.

В этом примере изучение предыдущих поисков решения выявило новые методы, что и стало толчком к пересмотру формулировки. Рамакришнан в таких ситуациях предлагает следующее: «Хотя новые методы исследований по определению еще не опробованы в достаточной мере, но благодаря своей простоте могут дать результат достаточно быстро».

Мы завершим главу, посвященную формулированию проблемы, двумя примерами: один из области бизнеса, а другой – из области права. В обоих формулировка проблемы сыграла решающую роль с точки зрения конечного результата, но в одном случае она оказалась удачной, а во втором некорректной. Правда, мы пока не обсуждали остальные этапы количественного анализа, но думаем, что это не помешает читателям разобраться в сути приводимых примеров.

Пример аналитического мышления: Transitions Optical

Одна из наиболее распространенных проблем в бизнесе – определить сумму затрат на тот или иной вид деятельности. Особенно сложно рассчитать расходы на маркетинг. Автор концепции универсамов Джон Ванамейкер и кое-кто из розничных торговцев в Европе до него любили говорить: «Я знаю, что половину денег на рекламу трачу зря; проблема в том, что я не знаю, какую именно». Но сегодня розничные компании применяют количественный анализ, чтобы установить, какие сбытовые затраты эффективны, а какие нет и каким должно быть их распределение по отдельным статьям, чтобы общая сумма была потрачена с максимальной пользой. Обычно такой анализ называют маркетинг-микс анализом, и он приобретает все большую популярность среди компаний, продающих товары непосредственно населению.

Определение и формулирование проблемы. Компания Transitions Optical продает фотохромные линзы для очков и является дочерней компанией PPG и Essilor, которые постоянно давят на менеджеров, желая сократить маркетинговые расходы. В частности, PPG не занимается маркетингом розничных продаж, поэтому скептически воспринимает информацию о стоимости и ценности рекламных мероприятий и акций по продвижению продуктов. В целом они считают, что расходы на маркетинг неоправданно высоки, но не могут привести данные, на основе которых можно было бы определить их оптимальный уровень. Менеджеры Transitions Optical решили сформулировать проблему так: оптимизация отдельных видов затрат на маркетинг с целью стимулирования роста объема продаж на каждый инвестированный доллар. По словам директора по маркетингу Грейди Ленски, в компании «считали маркетинг своего рода искусством, но теперь требуется научный подход».

Изучение предыдущих поисков решения. Никакого поиска просто не было. В компании имелись данные о потребителях, пригодные для такого анализа, но в отрывочном виде, рассредоточенные по разным подразделениям. Ленски и некоторые его коллеги понимали, что в принципе анализ эффективности различных маркетинговых подходов провести можно, но не знали как.

Моделирование (выбор переменных). Модели оптимизации маркетинг-микса, приобретавшие все большую популярность в крупных компаниях и применявшиеся для оптимизации маркетинговых расходов, обычно включают показатели маркетингового отклика, расходов на сбыт и рентабельности отдельных видов продуктов. Ежемесячную или еженедельную сумму расходов на рекламу и сбыт, а также оптимальный уровень цен на продукты можно рассчитать с помощью оптимизационных моделей методами линейного и нелинейного программирования. В качестве критериев принимаются максимальное увеличение объема продаж, рентабельности или обоих показателей. Модели позволяют определить, какие средства массовой информации выбирать для размещения рекламы, чтобы ее эффект был максимальным. Как правило, в них включается ряд «контрольных» переменных, которые могут повлиять на расходы и поведение потребителей: это, например, погода или макроэкономические факторы.

Сбор данных. Для Transitions Optical этот шаг оказался наиболее трудным, поскольку компания работает с посредниками (например, с оптическими лабораториями), а с конечными потребителями практически не контактирует и не имеет о них информации. Соответственно, невозможно адекватно определить, заметил ли потребитель рекламу и повлияло ли это на объем продаж. Transitions Optical пришлось в течение нескольких лет вести сбор данных о потребителях через своих торговых партнеров (а среди них были и конкуренты их материнских компаний). Ленски когда-то возглавлял дистрибьюторскую фирму, поэтому занимался организацией сбора данных. Данные о потребителях попадали в Transitions Optical в тридцати разных форматах, но в итоге их удалось конвертировать и объединить в общую базу. Ленски замечал, что его департаменту маркетинга пришлось упорно убеждать различные подразделения в необходимости предоставить необходимые данные. Предыдущий аналитический проект пришлось проводить, не опираясь на общую базу данных.

Анализ данных. Transitions Optical наняла внешнего консультанта для анализа данных, поскольку никто из постоянных сотрудников не имел опыта работы с оптимизационными моделями маркетинг-микса. Сначала такой анализ занимал несколько месяцев, поскольку требовалось сначала собрать данные, затем разработать модель с учетом многочисленных внешних факторов, влияющих на поведение потребителей (погода, маркетинговые акции конкурентов и т. п.). Сейчас такие модели в достаточной степени апробированы и отработаны, поэтому результат можно получить в течение нескольких дней.

Результаты и необходимые меры. Менеджеры компании чувствовали, что интерпретация результатов анализа и оформление их для клиента – очень серьезная работа, так что для этого в штат наняли специальных сотрудников. Они ознакомились с разработанной внешним консультантом оптимизационной моделью, совместно с топ-менеджерами обсудили ее особенности и степень соответствия их взглядам на ситуацию на рынке. В итоге Transitions Optical приняла решение увеличить расходы на сбыт, в частности на телевизионную рекламу.