Разбор результатов A/B-теста
За минуты переводит результаты A/B-теста на язык решения: кто впереди, значима ли разница и что делать дальше — катить, оставить или добрать выборку. Меньше «B чуть лучше — катим» без цифр.
Обновлён ·AgentPoint
Бесплатно·Обновлён ·Автор: AgentPoint
Платформы:Google SheetsЯндекс Метрика
Зачем
На планёрке смотрят только на перевес в заявках и не проверяют значимость, peeking и размер выборки — потом катят ложного победителя или бросают рабочий вариант.
Кому?
Маркетолог, когда A/B на лендинге завершён и нужно решить — катить победителя или нет.
Подойдёт, если нужно
- Прочитать результат A/B-теста: кто лучше и значимо ли
- Понять, разница реальная или случайная
- Объяснить p-value и значимость простыми словами
- Получить вывод: катить, оставить или продлить
- Спланировать корректный тест и метрику
Не подойдёт, если нужно
Когда не подойдёт ↓
- Строгого стат-анализа для научной публикации
- Выдумывания цифр, которых нет
- Принятия бизнес-решения вместо вас
- Сложных многовариантных тестов без специалиста
- Замены калькулятора значимости для критичных решений
- Строгого стат-анализа для научной публикации
- Выдумывания цифр, которых нет
- Принятия бизнес-решения вместо вас
- Сложных многовариантных тестов без специалиста
- Замены калькулятора значимости для критичных решений
Как пользоваться
- 1
Опишите задачу. Тест на лендинге: A — 2000 визитов, 100 заявок; B — 2000 визитов, 130 заявок. Уровень 95%. Кто впереди и катить B на прод?
- 2
Получите черновик. В отчёте p-value 0,2 — коллега всё равно хочет катить B, потому что на графике выше. Можно так решать?
- 3
Проверьте результат. Новый заголовок на лендинге: что мерить и сколько трафика собирать? Конверсия в заявку сейчас около 4%, рост хочу хотя бы +10% относительно.
Ограничения и данные
Skill проверен модератором перед публикацией в каталоге.
- Работает только с текстом, который вы вставили.
- Не подключается к CRM, мессенджерам, 1С, API или файлам в демо.
- Не вводите пароли, API-ключи и реальные персональные или платёжные данные.
- Переписку и файлы мы не сохраняем в базе данных — они существуют только в открытом окне демо.
- Текст запроса и вложений временно передаётся LLM-провайдеру для генерации ответа.
- Проверяйте результат перед использованием в рабочем процессе.
Для технарей: SKILL.md и экспорт
Установка и экспорт
Скачайте SKILL.md, metadata.json, правило Cursor или адаптер под вашу платформу. Файлы генерируются из текущей версии skill и кешируются в хранилище.
Адаптеры платформ
Частые вопросы
Навык сам посчитает статистическую значимость?
Он даёт ориентир: если вы указали p-value или уровень доверия — интерпретирует его; если только наблюдения и конверсии — прикинет приблизительно и честно предупредит, что для важных решений нужен калькулятор значимости.
Что значит «результат не значим»?
По выбранному тесту недостаточно оснований отвергнуть гипотезу об отсутствии эффекта. Это не доказывает равенство вариантов. Причина может быть в малой выборке или слабом эффекте; решение о доборе данных зависит от заранее заданного плана.
Почему нельзя останавливать тест, как только B вырвался вперёд?
Это «проблема подглядывания»: на промежуточных данных перевес часто случайный и потом исчезает. Навык предупредит о ранней остановке и подскажет набрать запланированную выборку.
Он примет решение за меня?
Нет. Навык помогает прочитать тест и даёт рекомендацию (катить/оставить/продлить), но финальное бизнес-решение с учётом контекста и рисков принимаете вы.
Платформы
История
F-09: FAQ без «Skill», seoTitle/seoDescription
Частые вопросы
Навык сам посчитает статистическую значимость?
Он даёт ориентир: если вы указали p-value или уровень доверия — интерпретирует его; если только наблюдения и конверсии — прикинет приблизительно и честно предупредит, что для важных решений нужен калькулятор значимости.
Что значит «результат не значим»?
По выбранному тесту недостаточно оснований отвергнуть гипотезу об отсутствии эффекта. Это не доказывает равенство вариантов. Причина может быть в малой выборке или слабом эффекте; решение о доборе данных зависит от заранее заданного плана.
Почему нельзя останавливать тест, как только B вырвался вперёд?
Это «проблема подглядывания»: на промежуточных данных перевес часто случайный и потом исчезает. Навык предупредит о ранней остановке и подскажет набрать запланированную выборку.
Он примет решение за меня?
Нет. Навык помогает прочитать тест и даёт рекомендацию (катить/оставить/продлить), но финальное бизнес-решение с учётом контекста и рисков принимаете вы.
Похожие навыки
Нужно под ваш процесс?
Подстроим навык под ваши офферы, тон и ограничения. Или добавим новый, если такого нет.
Адаптировать под мой бизнес