Разбор результатов A/B-теста
За минуты переводит результаты A/B-теста на человеческий язык: кто победил, значима ли разница или это случайность, и что делать — катить, оставить или продлить. Меньше решений «на глаз» и меньше денег, потерянных на ложных победах.
Обновлён ·AgentPoint
Бесплатно·Обновлён ·Автор: AgentPoint
Платформы:Google SheetsЯндекс Метрика
Зачем
Тест прогнали, а выводы делают по первому перевесу: «B чуть лучше — катим». Без проверки значимости и с ловушками вроде подглядывания и малой выборки такие решения часто ошибочны и дорого обходятся.
Подойдёт, если нужно
- Прочитать результат A/B-теста: кто лучше и значимо ли
- Понять, разница реальная или случайная
- Объяснить p-value и значимость простыми словами
- Получить вывод: катить, оставить или продлить
- Спланировать корректный тест и метрику
Не подойдёт, если нужно
Когда не подойдёт ↓
- Строгого стат-анализа для научной публикации
- Выдумывания цифр, которых нет
- Принятия бизнес-решения вместо вас
- Сложных многовариантных тестов без специалиста
- Замены калькулятора значимости для критичных решений
- Строгого стат-анализа для научной публикации
- Выдумывания цифр, которых нет
- Принятия бизнес-решения вместо вас
- Сложных многовариантных тестов без специалиста
- Замены калькулятора значимости для критичных решений
Как пользоваться
- 1
Опишите задачу. Режим readout. A: 2000 посетителей, 100 заявок; B: 2000 посетителей, 130 заявок; значимость 95%. Кто победил и стоит ли катить?
- 2
Получите черновик. Режим interpret. Что значит p-value 0.2 в моём тесте — можно ли делать вывод, что вариант B лучше?
- 3
Проверьте результат. Режим plan. Хочу протестировать новый заголовок на лендинге. Что мерить, какую метрику взять и сколько собирать данных?
Для технарей: SKILL.md и экспорт
Установка и экспорт
Скачайте SKILL.md, metadata.json, правило Cursor или адаптер под вашу платформу. Файлы генерируются из текущей версии skill и кешируются в хранилище.
Адаптеры платформ
Частые вопросы
Skill сам посчитает статистическую значимость?
Он даёт ориентир: если вы указали p-value или уровень доверия — интерпретирует его; если только наблюдения и конверсии — прикинет приблизительно и честно предупредит, что для важных решений нужен калькулятор значимости.
Что значит «результат не значим»?
Варианты статистически неразличимы: разница в конверсии могла возникнуть случайно, а не из-за изменения. Обычно это значит, что данных мало или эффект слабый — вывод о победителе делать рано.
Почему нельзя останавливать тест, как только B вырвался вперёд?
Это «проблема подглядывания»: на промежуточных данных перевес часто случайный и потом исчезает. Skill предупреждает о ранней остановке и советует набрать запланированную выборку.
Он примет решение за меня?
Нет. Skill помогает прочитать тест и даёт рекомендацию (катить/оставить/продлить), но финальное бизнес-решение с учётом контекста и рисков принимаете вы.
Платформы
История
v1.0.0 — first published canonical SKILL.md.
Частые вопросы
Skill сам посчитает статистическую значимость?
Он даёт ориентир: если вы указали p-value или уровень доверия — интерпретирует его; если только наблюдения и конверсии — прикинет приблизительно и честно предупредит, что для важных решений нужен калькулятор значимости.
Что значит «результат не значим»?
Варианты статистически неразличимы: разница в конверсии могла возникнуть случайно, а не из-за изменения. Обычно это значит, что данных мало или эффект слабый — вывод о победителе делать рано.
Почему нельзя останавливать тест, как только B вырвался вперёд?
Это «проблема подглядывания»: на промежуточных данных перевес часто случайный и потом исчезает. Skill предупреждает о ранней остановке и советует набрать запланированную выборку.
Он примет решение за меня?
Нет. Skill помогает прочитать тест и даёт рекомендацию (катить/оставить/продлить), но финальное бизнес-решение с учётом контекста и рисков принимаете вы.
Похожие навыки
Нужно под ваш процесс?
Подстроим навык под ваши офферы, тон и ограничения. Или добавим новый, если такого нет.
Адаптировать под мой бизнес