Читать книгу "Измеряя успех: меньше суеты, больше эффективных решений. Марк Грабан. Саммари"

Smart Reading
Измеряя успех: меньше суеты, больше эффективных решений. Марк Грабан. Саммари

Оригинальное название:

Measures of Success: React Less, Lead Better, Improve More

Автор:

Mark Graban

www.smartreading.ru

Как и для чего мы анализируем данные

Говорят, что управлять можно только тем, что поддается измерению. В нашем компьютеризированном мире количество вещей, которые можно измерить, растет с каждым днем. У большинства из нас нет недостатка в данных для анализа. Управляющий магазином легко может получить информацию о величине среднего чека и количестве продаж, руководитель стартапа в два клика узнает количество посетителей сайта или охват рекламного объявления, начальник производства без труда может отслеживать пропускную способность оборудования или процент бракованных деталей. И даже в обычной жизни данных у нас более чем достаточно: фитнес-браслет готов в любой момент рассказать, сколько шагов мы прошли и сколько часов спали, а телефон выдаст сведения о времени использования приложений. Но часто мы плохо понимаем, как работать с данными, чтобы они принесли нам реальную пользу.

Как мы анализируем данные

Есть два типовых способа:

▶ Сравниваем с целевым показателем, который получили от начальства или сами себе установили по тем или иным соображениям.

▶ Сравниваем с показателями за предыдущий месяц.

Большинство отчетов похожи друг на друга: красиво отформатированные таблицы со столбцами данных за текущий месяц, за месяц предыдущий и, возможно, за этот же период в прошлом году; «хорошие» показатели выделены зеленым цветом, «плохие» – красным.

Человеческому мозгу гораздо легче анализировать наглядное изображение в виде графика. Такова его природа – нам проще распознавать и обрабатывать визуальные образы в виде графиков, чем интерпретировать ряды одинаковых столбцов с цифрами.

Глядя на такую таблицу, трудно сказать, как мы стали работать: лучше или хуже, понять, увеличилась или снизилась эффективность, достигаем ли мы целевых показателей регулярно или только время от времени, становится ли наша деятельность более результативной. Простое отслеживание хорошо только для ретроспективного анализа. Нельзя управлять автомобилем, все время глядя в зеркало заднего вида. Используя традиционные методы анализа показателей эффективности, мы обсуждаем, что пошло не так на прошлой неделе, вместо того чтобы спрашивать, как мы можем улучшить наши дела.

Как правильно анализировать

О чем нужно подумать. Наша цель – научиться не просто анализировать прошлое, но и прогнозировать будущее, понимать «голос процесса» и находить ответы на три действительно важных вопроса:

1. Добиваемся ли мы желаемого результата? Если да, то получается ли у нас делать это регулярно, а не от случая к случаю?

2. Работает ли система «все лучше и лучше»? Можем ли мы предсказывать будущие результаты?

3. Что нужно сделать, чтобы система работала эффективнее? Когда систему нужно менять? Как понять, что изменения действительно улучшили ситуацию?

Цифры и действия. Обычно ключевые показатели[1]1
  Читайте саммари книги Дэвида Парментера «Ключевые показатели эффективности. Разработка, внедрение и применение решающих показателей».


[Закрыть] в организациях измеряются ежемесячно. Конечно, это может быть поводом для радости – «Ура, продажи увеличились на 40 % по сравнению с предыдущим месяцем» – или огорчения. Но вряд ли позволяет адекватно оценить действия, которые привели к этому результату. Двух столбцов данных – за прошлый и текущий период – недостаточно. Наоборот, чем больше данных, чем чаще они собираются, тем скорее мы увидим направление движения и тем быстрее сможем отреагировать на действительно важные сигналы. Ежедневные метрики лучше, чем еженедельные. Еженедельные лучше, чем ежемесячные. Конечно, при правильном анализе.

Показатели и система. В компаниях работники очень быстро понимают, как можно манипулировать статистикой, и учатся приукрашивать показатели.

Вместо того чтобы действительно улучшить качество обслуживания, менеджеры просто перестают регистрировать мелкие жалобы на ошибки персонала. На бумаге все выглядит отлично, показатели отражают рост, а реальные проблемы остаются нерешенными.

Именно поэтому нужно стремиться не к изменениям показателей, а к изменениям системы, которая приводит к изменениям показателей. И поэтому так важно понимать, когда система перестает справляться со своей задачей и нужно инициировать изменения системы.

Вес – это всего лишь число. Мы не можем изменить число, но мы можем изменить свои действия – начать правильно питаться и больше двигаться, попробовать новую систему упражнений, – а уже эти действия могут привести (или нет) к изменению цифры, которую мы видим на весах.

Шум данных[2]2
  Читайте саммари книги Нейта Сильвера «Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет».


[Закрыть]. Любой показатель зависит не только от наших действий, на него всегда влияют и случайные факторы. Поэтому одна и та же система, в рамках которой одни и те же люди выполняют одни и те же действия, выдает разные значения контрольного показателя. Любой показатель – что бы мы ни измеряли – бывает больше или меньше среднего. В этом суть среднего значения. Случайные изменения, возникшие под влиянием случайных факторов, называются шумом данных. Не нужно пытаться объяснять каждый подъем или спад показателя. Не нужно тратить время на анализ этих случайных изменений.

Тем, кто следит за весом, врачи советуют не взвешиваться каждый день – именно потому, что люди не умеют отфильтровывать шум, – ведь, как и большинство показателей, наш вес тоже постоянно меняется, его колебания могут достигать 2,5 кг в сутки.

Реагируя на шум, мы не видим реальных, несущих полезную информацию сигналов. Поэтому так важно избавиться от шума данных и вовремя определить, какие изменения важны, а какие не стоят внимания.

Карта поведения процесса

Как строится карта поведения процесса

Чтобы избежать вышеперечисленных ошибок анализа данных, визуализировать процессы и отследить значимые изменения показателей, не отвлекаясь на информационный шум, мы будем использовать метод контрольных карт управления процессами. Карта поведения процесса (известная в литературе также под названием «Контрольная карта Шухарта») представляет собой наглядное отображение изменений того или иного показателя и состоит из двух графиков.

1. График индивидуальных значений (X chart) – это линейный график, на котором отображаются показатели метрики за нужный период, а также центральная линия (обычно равная среднему значению метрики за период), верхняя контрольная граница и нижняя контрольная граница. Верхняя и нижняя[3]3
  Если для показателя отрицательные значения не имеют смысла, а расчетное значение нижней границы меньше нуля, эту границу либо не наносят на карту, либо проводят на отметке ноль.


[Закрыть] контрольные границы рассчитываются по специальной формуле (она ниже) и отражают пределы естественного колебания показателей в рамках существующей системы. Эти границы никак не зависят от нашего желания, поставленных целей или приказов руководства.

2. На графике скользящих размахов (MR chart) отображается показатель, рассчитываемый как модуль разности двух последовательных значений основной метрики, а также верхняя контрольная граница скользящего размаха. Точка выше этой границы означает, что основной параметр изменился (увеличился или уменьшился) гораздо больше, чем этого можно было ожидать в нашей системе.

Пример карты поведения процесса может выглядеть так:

График 1. Карта поведения процесса

Как анализировать карту поведения процесса

Прежде всего, карта поведения процесса помогает ответить на второй из трех важных вышеперечисленных вопросов: можем ли мы предсказать результаты работы системы или процесса в будущем? Пока показания метрики остаются внутри контрольных границ, мы можем говорить о стабильном состоянии процесса и о предсказуемости системы.

Также карта поведения процесса может показать, что мы имеем дело с непредсказуемой системой. В этом случае нужно в первую очередь постараться стабилизировать систему, сделать ее предсказуемой, и только после этого можно заниматься улучшениями и повышением эффективности.

Кроме того, карта поведения процесса поможет понять, работают ли внедряемые в систему изменения, становится ли она более эффективной.

Рутинные изменения внутри предсказуемой системы можно считать информационным шумом, они не требуют от нас никаких действий. Но пока мы не знаем точно, наблюдаем ли мы рутинные колебания или имеем дело с нестандартной ситуацией, мы не управляем процессом. Карта поведения процесса помогает принимать более обоснованные решения, экономить время и другие ресурсы команды, поскольку позволяет отличить действительно значимые изменения (сигналы) от информационного шума.

На графике индивидуальных значений можно увидеть три типа сигналов, указывающих на изменение системы.

▶ Сигнал I типа. Любая точка на графике индивидуальных значений, расположенная выше или ниже контрольных границ. Такой сигнал показывает, что для резкого скачка есть какая-то внешняя причина, но неизвестно, сохранится ли это влияние в дальнейшем.

▶ Сигнал II типа. Восемь последовательных точек, расположенных с одной стороны от центральной линии. Этот сигнал показывает средний, но устойчивый эффект.

▶ Сигнал III типа. Три из четырех последовательных точек, расположенных ближе к верхней (или нижней) контрольной границе, чем к центральной линии. Слабый, но устойчивый эффект.

Для графика скользящих размахов сигналом, требующим внимания, будет любая точка выше верхней контрольной границы скользящего размаха. Все типы сигналов изображены на графике ниже.

График 2. Типы сигналов изменений системы

Увидев сигнал, обязательно нужно спросить себя: «Что случилось? Что могло повлиять на нашу систему?» Карта поведения процесса покажет, что что-то изменилось, а наша задача – определить что именно. Так, последовательно применяя метод контрольных карт поведения процесса, мы не просто составляем таблички и обновляем в них данные, а начинаем видеть причинно-следственные связи между нашими действиями и результатами.

Пропустить сигнал – значит упустить возможность лучше понять свою систему, быстро решить проблему или узнать, как можно улучшить работу. Часто появление сигнала означает, что наша система значительно изменилась и мы должны рассчитать новое среднее значение и новые контрольные границы.

При этом предсказуемость системы сама по себе не гарантирует приемлемого уровня производительности. Система может демонстрировать стабильные, но неудовлетворительные результаты. Поэтому нужно учитывать оба ключевых измерения: и предсказуемость (стабильность и ожидаемость показателей системы), и результативность (степень соответствия текущих показателей желаемым целевым значениям).

Получается, возможны три варианта развития событий:

1. Система непредсказуема – нужно выявить и устранить причины нестабильности, чтобы сделать систему предсказуемой.

2. Система предсказуема, но ее показатели не достигают целевых значений – стоит сосредоточиться на улучшении системы, чтобы повысить средние результаты.

3. Система стабильно работает на уровне, превышающем целевые показатели, – можно пересмотреть целевые показатели и продолжить работу над развитием системы.

Рассмотрим пример использования карт поведения процесса для анализа данных охвата постов в социальных сетях. В нашем распоряжении есть данные об охвате аудитории за 10 последовательных недель.

Таблица 1. Охват аудитории в социальной сети (недели 1–10)

Построим графики индивидуальных значений и скользящих размахов.

График 3. Карта поведения процесса

«Охват аудитории в социальной сети» (недели 1–10) 10/16/2024 16:38:45

Что мы видим? Наша система работы в этой социальной сети предсказуема: в среднем каждый пост видят 2133 пользователя и любой охват в диапазоне от 0 до 5360 (значения верхней и нижней контрольной границ) можно считать нормальным для данной системы.

Руководство ставит цель повысить средние охваты, SMM-специалист предлагает план, как этой цели достичь, и продолжает работу. Следующий период приносит такие показатели.

Таблица 2. Охват аудитории в социальной сети (недели 10–17)

Достигаем ли мы поставленных целей? Повышается ли эффективность системы? Трудно ответить на эти вопросы, глядя на таблицу. Давайте построим контрольную карту! (График 4).

График 4. Карта поведения процесса

«Охват аудитории в социальной сети» (недели 1–19)

Мы видим сигнал I типа на 11-й неделе (значение выше верхней контрольной границы) и сигнал II типа (восемь последовательных точек, расположенных с одной стороны от центральной линии) с 11-й по 18-ю неделю.

Можно утверждать, что предложенный план сработал и в системе действительно произошли изменения. Причем мы могли отследить первый сигнал сразу же, не дожидаясь даже конца месяца, проанализировать причины его появления и сделать практические выводы.

Теперь мы можем пересчитать средний охват и значения контрольных границ. Новый показатель среднего охвата составляет 3 259 пользователей, а значения в диапазоне от 0 до 8067 будут считаться обычными для нашей системы. Посмотрим изменения на графике.

График 5. Уточненная карта поведения процесса

«Охват аудитории в социальной сети» (недели 1–19)

Так, добавляя новые данные, неделю за неделей, мы отслеживаем показатели эффективности и направление движения нашей системы.

Карта поведения процесса помогает вовремя заметить положительные или отрицательные изменения, не отвлекаясь на стандартные рутинные изменения показателя.

А понять причины этих изменений, предложить пути повышения эффективности системы – задача хорошего менеджера.

Предлагаем вам самостоятельно рассмотреть график 6 и попробовать оценить, были ли сигналы в следующем периоде работы нашего SMM-специалиста и остается ли система предсказуемой.

График 6. Карта поведения процесса

«Охват аудитории в социальной сети» (недели 1–25)

Как составить контрольную карту поведения процесса

1. Соберите исходные количественные данные.

Хорошо, если у вас есть 20 точек данных. Если это невозможно, можно начать с 6 точек.

2. Рассчитайте центральную линию для графика индивидуальных значений.

Для этого найдите среднее арифметическое значение базовых точек данных.

3. Постройте линейный график хода процесса (X-график).

▶ Нанесите точки данных на график.

▶ Добавьте горизонтальную линию на уровне среднего значения показателя.

4. Рассчитайте значения скользящего размаха (MR) по формуле:

MR [точка 2] = Абсолютное значение [точка 2 – точка 1]

Каждая точка данных, начиная со второй, имеет значение MR.

Рассчитайте среднее значение скользящего размаха.

5. Рассчитайте значения верхней и нижней контрольных границ процесса по формулам:

Нижняя контрольная граница процесса = Среднее значение – 2,66 × средний MR

Верхняя контрольная граница процесса = Среднее значение + 2,66 × средний MR

6. Добавьте линии контрольных границ на X-график.

7. Проанализируйте график индивидуальных значений (X-график), обращая внимание на сигналы.

Сигнал I типа – любая точка данных за пределами установленных границ.

Сигнал II типа – восемь подряд идущих точек на одной стороне от центральной линии.

Сигнал III типа – три из четырех подряд идущих точек находятся ближе к одной из границ, чем к центральной линии.

8. Постройте график скользящих размахов (MR).

▶ Рассчитайте значение верхней границы размахов по формуле:

Верхняя граница скользящего размаха = средний MR × 3,268

▶ Нанесите на график точки MR.

▶ Добавьте линию на уровне верхней контрольной границы.

9. Проанализируйте график скользящих размахов, обращая внимание на сигналы (только I типа).

10. Добавляйте новые точки данных со временем, следите за сигналами, продолжайте улучшать процесс.

Не пересчитывайте постоянно среднее значение и значения контрольных границ! Корректируйте пределы, только когда это необходимо.

10 лучших мыслей

1. Фокусируйтесь на производственных процессах, а не на показателях. Показатели – это результат вашей работы. Чтобы улучшить результаты, нужно совершенствовать процесс.

2. Тренд не создается из пары значений. Даже три или четыре значения могут оказаться случайными. Настоящая тенденция видна, только когда мы смотрим на большой объем данных.

3. Данные имеют значение только в динамике, когда оцениваются изменения за определенный период времени. Контекст и последовательность данных показывают истинную картину.

4. Графики рассказывают историю лучше чисел. Графическое представление данных нагляднее и понятнее, чем просто перечень в таблице, потому что оно позволяет легче увидеть тренды и аномалии.

5. Важнее сделать прогноз, чем констатировать факты. Цель не только в том, чтобы понять, что произошло в прошлом, но и в том, чтобы предположить, что может произойти в будущем.

6. Колебания данных – нормальное явление. Каждый показатель имеет естественные колебания. Карты управления процессами помогают отделить незначительные колебания (шум) от изменений, на которые действительно стоит обратить внимание.

7. Нет смысла пытаться объяснить шум. Мелкие изменения в данных часто не имеют конкретной причины, поэтому не стоит искать «причину причин» для случайных колебаний.

8. Частота измерений важна. Чем чаще вы получаете новое значение того или иного показателя, тем лучше. Ежедневные или еженедельные измерения полезнее ежемесячных, главное, не реагировать на каждое небольшое изменение слишком остро.

9. Избегайте поспешных выводов. Никогда не реагируйте автоматически, подходите к данным осознанно. Принимайте меры только в случае важных изменений, не обращайте внимания на мелкие колебания.

10. Контрольная карта процесса – это мощный инструмент для анализа данных и улучшения системы, которая эти данные генерирует. Контрольные карты помогают вовремя замечать положительные или отрицательные изменения и отличать действительно значимые изменения от стандартных рутинных колебаний показателя, а значит, принимать более обоснованные решения.