Три аналитические задачки для продактов. Чтобы мозги чекнуть.
1. Retention вырос, хотя продукт стал хуже
В апреле из Organic пришло 2 000 пользователей с D30 Retention 50%, а из Paid — 8 000 с Retention 20%. В мае структура изменилась: Organic дал 8 000 пользователей с Retention 45%, Paid — 2 000 с Retention 18%. CEO видит рост общего Retention и считает последний релиз успешным.
В апреле общий Retention равен 26%: (2 000 × 50% + 8 000 × 20%) / 10 000. В мае он вырос до 39,6%: (8 000 × 45% + 2 000 × 18%) / 10 000.
Ответ: продукт не стал лучше.
Внутри обоих каналов Retention упал: Organic с 50% до 45%, Paid с 20% до 18%. Общая метрика выросла только потому, что в мае увеличилась доля более качественного Organic-трафика.
Это Simpson’s paradox: агрегированный результат показывает рост, хотя каждый сегмент ухудшился.
Если применить апрельскую структуру Acquisition к майским показателям, получится 23,4%. Значит, сопоставимый Retention снизился с 26% до 23,4%.
Релиз нельзя масштабировать, пока эффект продукта не отделён от изменения Acquisition Mix.
2. Фича с Retention 48%, которую нельзя форсить
Из 100 000 новых пользователей 20 000 использовали фичу «Коллекции» до D7. Их D30 Retention составил 48%. Среди 80 000 пользователей, которые фичу не использовали, Retention равен 17%.
Продакт делает вывод, что фича даёт +31 п.п. Retention, и предлагает сделать её обязательной частью онбординга. Но «Коллекции» становятся доступны только после второго ключевого действия, а более активные пользователи сами находят их чаще.
Ответ: нельзя утверждать, что фича увеличивает Retention на 31 п.п.
Чтобы воспользоваться фичей, пользователь должен сначала не отвалиться, совершить несколько действий и проявить высокий Engagement. Поэтому возможна обратная причинность: не фича удерживает пользователей, а удерживающиеся пользователи чаще используют фичу.
Здесь одновременно работают Survivorship bias, Selection bias и Reverse causality.
Проверять эффект нужно экспериментом. В Control остаётся обычный интерфейс, а в Treatment появляется заметный entry point или подсказка.
Сравнивать нужно Retention всех пользователей, назначенных в группы, а не только тех, кто воспользовался фичей.
Если Feature Adoption вырос с 10% до 30%, а Retention — с 20% до 21%, доказанный эффект составляет +1 п.п., а не +31.
3. Growth вырос, а бизнес потерял деньги
Онлайн-казино тестирует депозитный бонус. В Control Bets Sum составляет $45 млн, RTP - 96%, Bonus Issued - $0,3 млн, Costs - $0,5 млн. В Treatment Bets Sum вырос до $60 млн, RTP - до 97,5%, Bonus Issued - до $0,9 млн, Costs - до $0,65 млн.
Growth-команда считает эксперимент успешным, потому что Bets Sum вырос на 33%.
GGR = Bets Sum × (1 - RTP).
В Control GGR равен $1,8 млн, а NGR - $1 млн.
В Treatment GGR равен $1,5 млн, а NGR - минус $0,05 млн.
Ответ: эксперимент проиграл $1,05 млн относительно Control.
Оборот вырос, но снижение Hold и рост бонусных расходов уничтожили экономику. Причиной могли стать изменение Game Mix, Bonus Cannibalization, Bonus Abuse или несколько крупных выигрышей.
Deposits и Bets Sum показывают, как изменилось поведение игроков, но не показывают итоговую ценность для бизнеса.
Победителя должен определять Incremental NGR или Contribution Margin.
Иначе можно красиво разогнать активность - и одновременно разогнать убыток.
Завтра проводим воркшоп по AI-агентам. Будет весело. Регистрация открыта для всех желающих. Кол-во мест ограничено.
