Авторский разбор
График AI выглядел убедительно. Но группа клиентов изменилась.
Условный расчёт выручки показывает, как смена группы создаёт ложную динамику и что я потребовала исправить в AI-отчёте.
Опубликовано: Обновлено:
В этой статье
В отчёте, созданном с помощью AI, арифметика может быть правильной, а бизнес-история — нет. Проблема бывает в самом сравнении: кого включили, какой период эти люди прожили и что означает «выручка» на оси графика.
Я столкнулась с этим при работе с AI над когортным отчётом на основе клиентской выручки. Мне нужно было проследить одних клиентов за сопоставимые периоды. Я прямо указала на сравнение, в котором между горизонтами менялся состав людей, и попросила его исправить.
AI-агенты изменили расчёт и отображение. Мой вклад — определить бизнес-вопрос и потребовать, чтобы результат отвечал именно на него.
После этого меня меньше интересует, насколько аналитично выглядит график. Важнее, что осталось неизменным между его точками.
Падающая линия без падения ценности клиентов
Рассмотрим полностью условный бизнес. Все числа ниже придуманы для объяснения; это не мои клиентские данные и не результаты проектов. В ранней группе A — 100 клиентов, в поздней группе B — тоже 100. A прожила шесть месяцев наблюдения, B — три.
| Группа | Клиентов первоначально | Накопленная выручка M3 | Выручка на первоначального клиента M3 | Накопленная выручка M6 | Выручка на первоначального клиента M6 |
|---|---|---|---|---|---|
| A | 100 | $10 000 | $100 | $14 000 | $140 |
| B | 100 | $30 000 | $300 | Пока не наблюдалась | Пока не наблюдалась |
Здесь M3 — стартовый календарный месяц и два следующих. M6 включает стартовый месяц и пять следующих. Это календарные интервалы, а не ровно 90 или 180 дней.
Автоматический итог использует всех, кто подходит для каждого горизонта. Среднее M3: ($10 000 + $30 000) ÷ 200 = $200. Среднее M6: $14 000 ÷ 100 = $140. Если соединить точки, получится изменение ($140 ÷ $200) − 1 = −30%.
Линия подталкивает к объяснению: «После третьего месяца ценность клиентов ухудшается». Но данные этого не доказывают. У группы A показатель вырос со $100 до $140 на первоначального клиента — на 40%, тогда как смешанная линия показала падение на 30%. Результат B за шесть месяцев пока неизвестен.
Исправление: показать кривую A — $100 → $140, а трёхмесячные $300 группы B сохранить в её отдельной строке. Смешанные средние могут быть полезны как отдельно обозначенные срезы. Незаметно превращать их в историю одной группы нельзя.
Рост выручки и развитие клиентов — разные вопросы
Выручка за календарный месяц показывает, сколько бизнес заработал в этом месяце. Она объединяет клиентов разного возраста и может расти из-за большего числа новых покупателей, другого размера покупок или увеличения трат существующих клиентов.
Когортный анализ рассматривает развитие людей с общим стартовым событием на сопоставимом возрасте. Один подход не заменяет другой. Календарная выручка помогает понять масштаб бизнеса; сравнение когорт — разобраться, за счёт чего этот масштаб складывается.
В документации ChartMogul полезно разделены строки когорт и интервалы с начала каждой группы. Будущие интервалы остаются пустыми. Такая структура делает вопрос времени видимым ещё до того, как кто-то объяснит рост цветами таблицы. ChartMogul: Cohort analysis
Месячная выручка — не накопленная
Продолжим условный пример A. Пусть выручка за первые шесть месяцев наблюдения составила $4 000, $3 500, $2 500, $1 500, $1 500 и $1 000. Первые три дают $10 000, все шесть — $14 000.
Месячная выручка на первоначального клиента: $40, $35, $25, $15, $15 и $10. Накопленная: $40, $75, $100, $115, $130 и $140.
Оба ряда описывают одних людей. Месячная выручка снизилась с $40 до $10 на первоначального клиента, а накопленная продолжает расти.
Общее название «ценность клиента» скрывает важное различие. В подписи нужно указать, означает ли точка выручку за отдельный месяц или сумму за всё время до него включительно.
При неотрицательной выручке накопленная сумма у постоянной группы с неизменным знаменателем не падает. Возвраты, корректировки, сторнирование или другое определение чистой выручки могут это изменить. Неожиданное снижение требует проверки показателя и данных, а не автоматического вывода об ошибке модели или ухудшении клиентов.
Знаменатель — ещё одно бизнес-решение
Выручка на первоначального клиента делит сумму группы на её исходный состав. Если часть людей перестала покупать, они остаются в знаменателе. Их последующая нулевая выручка — часть экономики этой группы.
Допустим, из первоначальных 100 клиентов A активными остались 50. Деление накопленных $14 000 на них даст $280. Деление на первоначальные 100 — $140.
Первый расчёт соединяет историческую выручку всех участников со знаменателем только из оставшихся активных. Это ни выручка на первоначального клиента, ни аккуратный показатель текущей выручки активных покупателей.
У показателя активных клиентов должны быть отдельно определены числитель и период. Он может быть полезным, но отвечает на другой вопрос.
Документация Amplitude по N-Day LTV также разделяет накопленную выручку когорты и вариант с ограничением на пользователей, принёсших выручку. Когорты, не прожившие выбранное окно наблюдения, исключаются из агрегата этого горизонта. Amplitude: N-Day LTV
До
После
Что я потребовала бы от AI-анализа
Прежде чем просить объяснение, я задала бы определение: стартовое событие, состав когорты, базу выручки, знаменатель, правило времени и обработку неполных периодов. Эти определения должны сохраняться в подписях графика и деталях.
Для условного примера полезна простая проверка: использует ли M3 ту же группу, что M6, когда линия показывает развитие? Сохраняется ли исходный знаменатель при потере активности? Остаётся ли непрожитый M6 группы B отсутствующим в таблице, графике и выгрузке?
В инженерном руководстве Anthropic рассказ агента об успехе отделён от фактического состояния результата. В аналитическом процессе я применяю этот принцип к расчёту: проверять состав группы и итоговые данные, а не принимать фразу агента «когорта исправлена». Anthropic: Demystifying evals for AI agents
Три вопроса перед решением по графику
- Что изменилось между точками: поведение клиентов, состав группы, возраст наблюдения или сам показатель?
- Перед нами месячная или накопленная выручка, и делим ли мы её на первоначальную группу или на заново отфильтрованную часть?
- Может ли система показать состав, зрелость и обработку отсутствующих значений — и пройти проверку, специально выявляющую неверное сравнение?
Красивый график — повод задать более точный вопрос. Прежде чем объяснять динамику, я хочу понять, каких клиентов он прослеживает и что именно считает каждая точка.