10 правил AI-аналитики продукта - на котиках 🐈
AI - быстрый кот-помощник, а не всезнающий кот-директор. Он ищет закономерности и ускоряет расчёты, но выводы остаются ответственностью аналитика.
1. Сначала вопрос, потом миска данных
Кот не изучает весь холодильник. Сначала нужно понять, что искать: корм, молоко или сосиску.
Анализ начинается с решения: почему упала Activation, где сломан Funnel, вырос ли Retention после релиза. Запрос «найди что-нибудь интересное» создаёт шум. Хороший запрос содержит метрику, сегмент, период и бизнес-действие.
2. Проверяй, что лежит в миске
Даже умный кот не приготовит хороший обед из испорченного корма.
Перед анализом проверяют события, дубли, пропуски и определения метрик. Если purchase_success стал отправляться дважды, AI сообщит о росте Conversion, хотя продукт не изменился.
3. Мурчание ещё не означает ценность
Кот, который заглянул в комнату, не обязательно поиграл, поел или остался доволен.
Пользователь не становится Active только из-за открытия приложения. Нужен Critical Event - действие, связанное с ценностью: заказ, сохранённый документ, прослушанный трек, ставка на реальные деньги.
Activation Rate = Activated Users / New Users
Если считать Activation по входу, команда будет оптимизировать уведомления, а не ценность.
4. Не смешивай всех котов в одну стаю
Средний кот имеет четыре лапы, но среднее может скрыть реальную картину.
Метрики нужно разбирать по Cohort, платформе, стране, каналу и поведению. Общий Retention может вырасти из-за большей доли старых пользователей, хотя Retention новых Cohort упал. Это структурный сдвиг и риск Simpson’s paradox.
5. Смотри на весь путь кота к миске
Недостаточно знать, сколько котов пришло. Нужно понять, сколько нашли миску и вернулись завтра.
Acquisition → Activation → Engagement → Retention → Monetization
Рост Acquisition при падении Activation и Retention нельзя считать здоровым. Revenue может отреагировать позже как Lagging Indicator.
6. Различай следы лап и пойманную мышь
Следы показывают охоту, пойманная мышь - результат.
Leading Indicators дают ранний сигнал: onboarding, использование ключевой функции, частота Critical Event. Lagging Indicators показывают итог: D30 Retention, LTV, Revenue.
Нужны Guardrail Metrics. Если рекомендации увеличили клики, но снизили Conversion и повысили жалобы, локальный рост Engagement навредил продукту.
7. Кот сидит у холодильника не потому, что холодильник его позвал
Correlation ≠ Causation.
Высокий Retention пользователей AI-функции не доказывает её эффект: её могут выбирать самые активные. Возможны selection bias, confounding variables и обратная причинность. Корреляция создаёт гипотезу, но не доказывает эффект.
8. Два кота - ещё не эксперимент
Один кот попробовал новый корм и замурлыкал. Это не значит, что корм понравится всем.
Для A/B-теста нужны случайное распределение, контрольная группа, Primary Metric, Sample Size, Confidence Interval и Guardrail Metrics.
Uplift = Conversion B - Conversion A
Рост с 10% до 11% ещё не доказывает победу: разница может быть статистическим шумом.
9. Новые котята не спасут дырявую корзину
Можно приносить новых котят, но если все убегают, семья не растёт.
Acquisition без Retention создаёт иллюзию роста. Смотрите отдельно New, Current, Resurrected и Dormant Users. Retention считают по естественному Usage Interval продукта: дневному, недельному или месячному.
10. AI не должен становиться главным котом
Кот может принести носок и уверенно назвать его мышью. Уверенность не делает вывод правильным.
Ответ AI - гипотеза, пока её не подтвердили данные, SQL, сегментация или эксперимент. AI полезен для поиска аномалий, гипотез и расчётов. Но решение требует контекста и проверки аналитика.
Формула хорошей AI-аналитики:
Качественные данные + корректные метрики + сегментация + статистика + причинное мышление + бизнес-контекст.
Не: ответ AI + много графиков
Приходи 25 июля на воркшоп по AI-аналитике. Для обладателей LinkedIn Friends All Courses Pass.