Текст книги "Игра в цифры. Как аналитика позволяет видеоиграм жить лучше"

Корреляция и причинно-следственная связь

Корреляция не подразумевает причинно-следственную связь. Для аналитика эта мысль кажется очень простой и даже банальной, однако на практике люди часто принимают решения, забывая об этом правиле.

Посчитать корреляцию просто, и иногда так и тянет сделать интуитивные выводы о причинно-следственной связи между признаками. Но я очень надеюсь, что в будущем хотя бы один человек, прочитавший эту главу, желая провести столь манящую стрелочку от корреляции к причинно-следственной связи, одернет себя и остановится.

Что такое корреляция?

Википедия говорит: корреляция – это статистическая взаимосвязь двух или более случайных величин. При этом изменения значений одной или нескольких из этих величин сопутствуют систематическому изменению значений другой или других величин.

Итак, мы рассматриваем, как правило, две величины, имея в каждой несколько значений. Допустим, мы рассматриваем показатели 1-Day Retention и Revenue по проекту за каждый день в течение двух месяцев.

Мы смотрим, как ведут себя эти величины, и корреляция – это мера схожести их поведения:

– если они одинаково скачут в одну и ту же сторону изо дня в день, то корреляция будет близка к 1;

– если они постоянно скачут в разные стороны и уменьшению одной метрики соответствует увеличение другой, то корреляция будет близка к –1;

– а если их поведение выглядит независимым относительно друг друга, то корреляция близка к 0.

Таким образом, значение коэффициента корреляции изменяется в интервале [–1;1]. Если вы имеете корреляцию, равную 1 (или близкой к 1), то означает ли это, что, увеличив один показатель, вы автоматически увеличите другой? Нет, не означает.

В нашем примере (на картинке выше) корреляция составляет 9 % – то есть она отсутствует. Значит ли это, что, если мы хотим увеличить доход, мы можем делать все что угодно, но увеличение 1-Day Retention нам точно не поможет? Нет, не означает.

«Что же все это означает?!» – взмолитесь вы. Корреляция – это одна из разновидностей связи, но ей совершенно необязательно быть причинно-следственной.

В то же время отсутствие корреляции между двумя величинами еще не значит, что между ними нет никакой связи. Например, зависимость может иметь сложный нелинейный характер, который корреляция не выявляет.

Давайте же рассмотрим, почему корреляция не означает причинно-следственную связь.

Третья переменная

Канонический пример: существует положительная корреляция между количеством путешествий на счету школьника и его успеваемостью. Означает ли это, что, если вы хотите, чтобы ваш ребенок учился на четыре и пять, то вам нужно собирать последние средства и отправлять ребенка в путешествие? Нет. Давайте разбираться.

Путешествия – дело недешевое, и для того чтобы ребенок много путешествовал, у родителей должны быть деньги. Если у родителей есть деньги, то, скорее всего, они имеют достаточно высокий уровень образования. А у образованных родителей, как правило, образованные дети. Таким образом, сами путешествия тут ни при чем. Мы имеем дело с двумя дополнительными переменными, которых не было в исходном сообщении: это уровень образования родителей и уровень их дохода. Соответственно, имеет место целая цепочка положительных корреляций:

путешествия↔уровень дохода родителей↔уровень образования родителей↔успеваемость ребенка

И таких примеров можно найти массу.

– В странах, где большая часть населения не имеет доступа к высшему образованию, продолжительность жизни оказывается меньше. Значит ли это, что высшее образование увеличивает продолжительность жизни? Нет. Третья переменная здесь: уровень жизни в стране, он влияет и на продолжительность жизни, и на доступность высшего образования.

– Рассматривая пожары в конкретном городе, можно выявить высокую корреляцию между ущербом от пожара и количеством пожарных, которые принимали участие в его ликвидации. Третья переменная: размер (уровень) пожара. Если пожар большой, то на него требуется много пожарных, и ущерб от него скорее всего будет больше, чем от небольшого. И это ни в коем случае не означает, что каждый новый пожарный наносит дополнительный ущерб.

Есть положительная связь между продажами мороженого в конкретном городе и количеством утоплений.

Съешь мороженое – утонешь? Нет. Третья переменная здесь – температура на улице. Если жарко, то люди покупают мороженое, а также купаются.

– При обследовании 33 хирургов и хирургов-ординаторов выяснилось, что те из них, кто чаще и лучше играет в видеоигры, лучше справляются и с тестовой лапароскопической операцией на специальном тренажере. Авторы делают из этого вывод, что медицинским школам следовало бы подумать об использовании в обучении видеоигр. Вывод неправильный: третьей переменной здесь является уровень зрительно-моторных навыков хирурга. Хирурги, обладающие хорошими зрительно-моторными навыками (то есть хорошо умеющие пользоваться глазами и руками), естественно, любят пользоваться своими навыками как в видеоиграх, так и в работе. Обладая от природы такими навыками, они, вероятно, становятся лучшими хирургами, чем те, кому таких навыков недостает.

– Ну и наконец, важное научное открытие: почти сто процентов людей, употреблявших в пищу огурцы, через сто лет окажутся мертвы. Огурец – медленный убийца! Третью переменную найдите сами.

Случайная корреляция

Посмотрите на этот график.

Бедные, бедные люди! Теперь, чтобы не утонуть, надо сначала проверить уровень продаж мороженого, а затем посмотреть, в скольких фильмах за год снялся Николас Кейдж!

К слову, существует интересный инструмент от Google: вы руками рисуете график, а Google говорит вам, график запросов по каким ключевым словам вы только что нарисовали.

Или вот еще один пример: доля использования браузера Internet Explorer в США и количество убийств в Соединенных Штатах.

А как же тогда жить?

То, что сработало для одних, не обязано срабатывать для вас.

– Если вы уйдете из университета, то не факт, что вы создадите Apple.

– Если вы перепишете туториал, то не факт, что вы увеличите доход.

– Если вы добавите в название игры слова world, clash, go, то не факт, что ваша игра станет хитом (органический трафик вы скорее всего получите, но насколько он будет релевантным?).

Разрабатывайте свой продукт, делайте его уникальным и интересным. Не забывайте про эксперименты, A/B-тесты и, что особенно важно, про статистическую значимость их результатов.

В каком-то смысле, тот факт, что корреляция не подразумевает причинно-следственную связь, и объясняет то, что нас еще не заменили роботы. Держите голову на плечах!

А на досуге можете поиграть в игру «Угадай корреляцию»: http://guessthecorrelation.com.

Проверочное задание

Хочу поделиться тестом, который мы давали выпускникам онлайн-курса по аналитике. Тест называется «Можно ли вам доверить развитие проекта?», но в случае с данной книгой его скорее можно назвать «Хорошо ли вы понимаете аналитику и внимательно ли читали книгу?»

В тесте будет 10 заданий, и ответы с комментариями можно посмотреть после теста.

Вопрос 1

Начнем с простого. Дневная аудитория проекта (DAU) в каждый из дней ноября была равна 100 пользователям. Что мы можем сказать о месячной аудитории (MAU) ноября?

a. MAU = 100

b. MAU = 30*100 = 3000

c. MAU = 1000

d. 100 ≤ MAU ≤ 3000

Вопрос 2

Вы запускаете кампанию с рассылкой push-уведомлений пользователям, не заходившим в приложение более 14 дней. Какой показатель вы хотите улучшить?

a. Rolling Retention

b. Длину сессии

c. CPI

d. K-фактор

Вопрос 3

Если ARPPU проекта существенно больше, чем Average Check, то в этом проекте много…

a. Платящих игроков

b. Китов (игроков, платящих очень большие суммы)

c. Новичков (игроков, впервые посетивших приложение менее месяца назад)

d. Повторных платежей

Вопрос 4

В среднем каждый день октября проект посещало по 200 пользователей. Всего же в течение октября проект посетили 1200 пользователей. Рассчитайте Sticky Factor проекта.

a. 1000 пользователей

b. 1400 пользователей

c. 20%

d. 16,7%

Вопрос 5

Какой из выводов может быть получен по итогам проведения RFM-анализа?

a. «Наша товарная линейка слишком узкая, нужно больше товаров»

b. «Найдена категория товаров с самым нестабильным спросом»

c. «Наши пользователи в основном совершают лишь один платеж, нужно больше повторных платежей»

d. «Купленный нами трафик окупается за два-три месяца»

Вопрос 6

Наступил январь, и вы хотите оценить, как повлияло выпущенное в ноябре обновление на монетизацию новых пользователей. Какой из методов лучше всего справится с этой задачей?

a. A/B-тест

b. Когортный анализ

c. Воронки

d. Анализ социальных сетей

Вопрос 7

Если ARPU проекта равен $0,25, а Paying Share = 2 %, то чему равен ARPPU проекта?

a. $0,5

b. $0,0025

c. $12,5

d. 8%

Вопрос 8

В каком случае мы можем посчитать (хотя бы приблизительно) LTV пользователя в проекте?

a. Если мы знаем количество новых пользователей, размер аудитории и показатели удержания.

b. Если мы знаем среднедневной ARPU и показатели удержания.

c. Если мы знаем количество новых пользователей и CPI.

d. Если мы знаем долю платящих, ARPU и ARPPU.

Вопрос 9

ABC/XYZ-анализ позволяет сделать выводы о:

a. Показателях привлечения и удержания пользователей;

b. Времени конвертации в первый, второй и последующие платежи;

c. Местах в проекте, где пользователи предпочитают покинуть приложение;

d. Товарной линейке, эффективности различных видов товаров.

Вопрос 10

Вы провели среди пользователей проекта исследование. Вы просили их оценить вероятность, с которой они поделятся информацией о вашем проекте со своими друзьями, по шкале от 0 до 10. Такое исследование было проведено дважды: в январе и в октябре. Были получены следующие результаты:

Рассчитайте Net Promoter Score (NPS) и сделайте вывод о его изменении.

a. Net Promoter Score немного улучшился.

b. Net Promoter Score остался неизменным.

c. Net Promoter Score немного ухудшился.

d. Недостаточно данных для расчета Net Promoter Score.

Правильные ответы

Вопрос 1. Правильный ответ: d.

MAU всегда считается как количество уникальных пользователей, посетивших проект в течение месяца. Если каждый день входили одни и те же 100 пользователей, то MAU = 100. Если каждый день входили разные пользователи, то MAU = 3000. И это максимум, что мы можем сказать о MAU в данном случае.

Вопрос 2. Правильный ответ: a.

Показатель Rolling Retention говорит о проценте пользователей, которые остаются активными в приложении спустя какое-то время. Рассылая уведомления пользователям, не заходившим в приложение более 14 дней, вы хотели бы их вернуть. А возвращая пользователей, вы повышаете Rolling Retention.

Вопрос 3. Правильный ответ: d.

ARPPU – это средний доход с одного платящего пользователя за определенный период. Рассчитывается как доход, деленный на количество платящих пользователей.

Average Check рассчитывается как доход, деленный на количество совершенных транзакций.

Если ARPPU проекта существенно больше, чем Average Check, значит, количество платящих пользователей существенно меньше, чем количество совершенных транзакций. Следовательно, на одного платящего пользователя приходится много повторных платежей.

Вопрос 4. Правильный ответ: d

Sticky Factor – это отношение DAU и MAU. Этот показатель говорит о регулярности входов: чем он выше, тем регулярнее пользователи заходят в приложение. В нашем случае 200/1200 = 16,7%

Вопрос 5. Правильный ответ: c.

RFM-анализ – это анализ давности (Recency), частоты (Frequency) и размеров покупок (Monetary) платящих пользователей. Соответственно, и выводы он дает о поведении платящих.

Вопрос 6. Правильный ответ: b.

Чтобы оценить влияние на монетизацию новых пользователей, нужно смотреть на доход, принесенный в среднем одним новым пользователем, зарегистрировавшимся до обновления и после. Как вариант – выделить пользователей, зарегистрировавшихся в августе, сентябре, октябре, и посмотреть, сколько в среднем такой пользователь приносил за один месяц жизни в проекте, за два и т. д. Затем сравнить этот показатель с аналогичными для пользователей, зарегистрировавшихся в ноябре и декабре – то есть уже после выхода обновления.

А это и есть когортный анализ.

Вопрос 7. Правильный ответ: c.

ARPU = Paying Share * ARPPU

ARPPU = ARPU / Paying Share

Вопрос 8. Правильный ответ: b.

Один из способов расчета LTV – это произведение Lifetime на среднедневной ARPU, при этом Lifetime можно рассчитать на основании показателей удержания.

Вопрос 9. Правильный ответ: d.

ABC/XYZ-анализ позволяет сделать данные о стабильности спроса на каждый из товаров, о том, сколько денег приносит каждый товар.

Вопрос 10. Правильный ответ: a.

NPS считается следующим образом: доля тех, кто поставил 9 или 10, минус доля тех, кто поставил оценку от 0 до 6 включительно. В январе NPS равнялся –36 %, в октябре уже –32 %. Надо сказать, что вообще ваши пользователи к вам не особенно лояльны. Согласно сайту NPSBenchmark, практически во всех индустриях NPS как минимум больше ноля.

В заключение

Вы можете подумать, что только что прочитали книгу про математику, статистику и аналитику. Но, перечитав свой текст, я понял, что в конечном счете она получилась о любви.

Я люблю игры, игровую индустрию. Я люблю играть сам и понимаю эмоции всех тех, кто играет в игры.

И, обращаясь к тем, кто уже делает игры или только собирается, мне очень хочется, чтобы все те советы, которые я здесь даю, и все те методы анализа, которые я описал, были восприняты вами не как мысли жадного до денег аналитика-лепрекона, а как способы сделать вашу игру лучше.

Подобно тому, как наш бегемотик проходил уровень за уровнем, вы можете шаг за шагом, тест за тестом делать игру все лучше и лучше. Каким бы игры ни были бизнесом, в первую очередь это продукт, несущий эмоцию. И если эта эмоция будет положительной, если игрок будет увлечен вашей игрой, то он отплатит вам за это деньгами.

В теории игр есть понятие стратегии win-win, когда выигрывают обе стороны. И я написал эту книгу с целью того, чтобы от предложенных мною методов выиграли и разработчики, и игроки. Любите своего игрока!

Благодарности

Я хочу сказать спасибо Максиму Фомичеву за то, что, узнав об интересе издательства «Бомбора» к теме аналитики, первым делом вспомнил про меня и свел с издательством. Хочу сказать спасибо издательству «Бомбора» и лично Владимиру Обручеву, Евгении Горанской и Евгении Руссиян за то, что доверили мне книгу и дали достаточно свободы и времени, чтобы работать над ней в комфортном темпе.

Благодарю своих коллег из devtodev за то, что я, оказывается, имею достаточно опыта и экспертизы, чтобы даже книгу написать. А также за то, что иногда это можно было делать в рабочее время.

Благодарю за профессиональную вычитку Евгения Гильманова – моего старинного боевого товарища, игрового аналитика, мнению которого я доверяю.

Благодарю свою большую семью, в частности жену Катю, дочь Майю и сына Ваню за то, что я могу чувствовать себя окруженным их любовью – даже когда нахожусь в командировке, поздно прихожу с работы или сижу на кухне допоздна и стучу по клавишам.

Что почитать по теме

Книги по аналитике

Lean Analytics: Use Data to Build a Better Startup Faster (Benjamin Yoskovitz, Alistair Croll)

Эта книга – лучший ответ на вопрос: «C чего начать?» Здесь рассмотрено несколько бизнес-моделей (мобильное приложение, UGC, SaaS) и предложены метрики, которые будут наиболее уместны для каждой из них. Обращаю внимание: метрики предложены с душой и умом, помимо этого описана логика, по которой вообще нужно их выбирать. И да – кейсы, много кейсов!

Аналитическая культура. От сбора данных до бизнес-результатов (Карл Андерсон)

Это как раз та самая книга, которую нужно прочитать, если вы являетесь или собираетесь быть data driven: как собирать данные, какие данные нужны, как нанимать аналитиков, как строить отчеты, как коммуницировать с отчетами в руках.

Психбольница в руках пациентов (Алан Купер)

Пусть книга несколько устарела и в ней царит первоначальное очарование зарождающимся IT-бизнесом, там есть важная мысль: прежде чем что-то разработать, подумай о том, кто и как этим будет пользоваться.

Цель. Процесс непрерывного совершенствования (Элияху Голдратт)

Эту книгу причисляют к художественной литературе и называют производственным романом. И, хотя читается она за вечер, по ней делают тренинги и управляют компаниями. Большой плюс книги в том, что она написана доступным языком. С ней вы узнаете, как найти узкие места в продукте и что с ними делать.

Говори на языке диаграмм (Джин Желязны)

Не устаю повторять, что визуализация данных – кратчайший путь от данных к решению на их основе. А значит, владение визуализацией не менее важно, чем владение, допустим, языком Python. И в этой книге прекрасно и с примерами написано, как строить понятные графики.

Как анализировать акции в играх. Практическое руководство (Василий Сабиров)

Практическое руководство «Как анализировать акции в играх», изданное силами devtodev, можно бесплатно скачать у нас в Образовательном центре как на русском, так и на английском языках. Жизнь показывает, что не всегда и не всем удается верно оценить эффективность внутриигровых скидок и акций. Поэтому – книга вам в помощь! Она поможет выбрать правильное время старта промоакций, научит определять их длительность, тип и объем, и объяснит, как правильно анализировать результаты.

Ссылка на руководство: https://edu.devtodev.com/ebooks

Книги по математике и статистике

Голая статистика (Чарльз Уилан)

В подзаголовке написано: «Самая интересная книга о самой скучной науке» – и если со второй частью можно поспорить, то с первой я согласен. Веселая книга о достаточно сложных вещах со множеством примеров. Лучший способ сконвертировать любого человека в любителя статистики!

Статистика и котики (Владимир Савельев)

Еще одна книга, которая весело рассказывает о статистических методах. Котики здесь – это и фича, и бага. Сначала ты радуешься тому, как на котиках нам разъясняют, допустим, линейную регрессию, но ближе к концу книги яркие примеры заканчиваются, и котики начинают утомлять.

Несовершенная случайность. Как случай управляет нашей жизнью (Леонард Млодинов)

Млодинов – на минуточку, соавтор Хокинга! – в этой книге вновь популярно рассказывает о комплексных понятиях. И речь не только про статистику и теорию вероятности, но и про теорию игр, даже физику с астрономией. И там много картинок!

Moneyball. Как математика изменила самую популярную спортивную лигу в мире (Майкл Льюис)

Вы наверняка смотрели фильм «Человек, который изменил все» с Брэдом Питтом, так вот это – экранизация именно этой книги. В основе лежит история бейсбольного менеджера, который первый начал применять статистические методы в управлении командой и, как можно догадаться, преуспел в этом.

Как лгать при помощи статистики (Дарелл Хафф)

Я бы назвал эту книгу скорее «Как не быть обманутыми с помощью статистики». Здесь и о том, как работает статистика, и как особенности статистики применяют в СМИ и других источниках информации, и немного о том, как самому манипулировать данными и людьми.

Бизнес-литература, полезная аналитику

Спроси маму. Как общаться с клиентами и подтвердить правоту своей бизнес-идеи, если все кругом врут? (Роб Фитцпатрик)

Подобно тому, как все мы вышли из гоголевской шинели, весь кастдев (customer development) вышел из этой книги. Аналитика – это ведь не только про данные и метрики, это еще и об умении коммуницировать и выяснять потребности пользователей. А это на поверку оказывается даже более сложно, чем вертеть SQL-запросы.

На крючке. Как создавать продукты, формирующие привычки (Нир Эяль, Райан Хувер)

Если вкратце, то это лучшая книга про Retention. Если чуть более подробно, то в этой книге подробно описывается, как расставить в продукте триггеры, мотивирующие пользователя к возвращению.

А еще про Retention можно почитать здесь:

https://edu.devtodev.com/articles/118/retention-schitaem-po-chasam-ili-kalendaryu

Книги по играм и геймдеву

Здесь можно было бы скинуть еще несколько десятков книг о геймдизайне, но о них уже написано:

https://apptractor.ru/info/articles/geymdizayn-101-knigi-dlya-nachinayushhih.html

Я сосредоточусь на книгах, которые будут полезны именно игровому аналитику.

Freemium Economics: Leveraging Analytics and User Segmentation to Drive Revenue (Eric Benjamin Seufert)

Это едва ли не лучшее, что я читал про работу free-to-play игр и про законы, которые лежат в основе. F2P-экономика – сущность, чуткая к настроению и изменениям, и автор книги прекрасно раскладывает эту сущность по полочкам.

Бегство в виртуальный мир (Эдвард Кастронова)

Кастронова, важнейший специалист по виртуальной экономике, в этой книге (вероятно, единственной его книге, переведенной на русский язык) делится довольно возвышенными рассуждениями о том, как устроена игра и экономика, как работают виртуальные экономические законы.

Реальность под вопросом. Почему игры делают нас лучше и как они могут изменить мир (Джейн Макгонигал)

Макгонигал, популяризатор игр и игровой индустрии (посмотрите хотя бы вот это ее видео), делится мыслями о месте игр в современном мире:

https://www.ted.com/talks/jane_mcgonigal_gaming_can_make_a_better_world?language=ru

Человеку, работающему в геймдеве, эта книга едва ли скажет что-то принципиально новое. Но куда важнее то, что она очень мотивирует, чтобы пойти и сделать классную игру.

Качай деньги! Маркетинг мобильных игр и приложений (Анар Бабаев, Николай Евдокимов, Михаил Боде, Юрий Барбашов)

Эта книжка – электронная и бесплатная (за лайк и email, если быть точным). Отличная энциклопедия по мобильному маркетингу: push-уведомления и A/B-тесты, CPI и CPC, виральность и K-фактор.

Маркетинг игр (Сергей Галенкин)

Еще одна бесплатная электронная книга в этом списке. В отличие от предыдущей книги, эта – именно про игры, их особенности и сеттинги, жанры и платформы, про работу с блогерами и лидерами мнений.

Game Analytics: Maximizing the Value of Player Data (Magy Seif El-Nasr, Anders Drachen, Alessandro Canossa)

На данный момент эта книга является едва ли не единственной книгой, от первой до последней страницы посвященной теме игровой аналитики. Ее можно было бы назвать суховатой и избыточной, но факт остается фактом: пока полнее тему игровой аналитики ни одна другая книга не освещала.

Lifetime Value: Главная метрика проекта (Василий Сабиров)

Lifetime value (или Customer Lifetime Value, CLV) – среднее количество денег от одного пользователя за всю его «жизнь» в проекте. Пожалуй, ни один другой показатель не сравнится с Lifetime Value по количеству вариантов расчета, различным нюансам и важности в оценке финансовой эффективности продукта.