Перейти к содержимому
Аналитика и отчёты
Проверено редакцией

Разбор результатов A/B-теста

За минуты переводит результаты A/B-теста на человеческий язык: кто победил, значима ли разница или это случайность, и что делать — катить, оставить или продлить. Меньше решений «на глаз» и меньше денег, потерянных на ложных победах.

Следить за обновлениями

Обновлён ·AgentPoint

Зачем

Тест прогнали, а выводы делают по первому перевесу: «B чуть лучше — катим». Без проверки значимости и с ловушками вроде подглядывания и малой выборки такие решения часто ошибочны и дорого обходятся.

Подойдёт, если нужно

  • Прочитать результат A/B-теста: кто лучше и значимо ли
  • Понять, разница реальная или случайная
  • Объяснить p-value и значимость простыми словами
  • Получить вывод: катить, оставить или продлить
  • Спланировать корректный тест и метрику
Когда не подойдёт ↓
  • Строгого стат-анализа для научной публикации
  • Выдумывания цифр, которых нет
  • Принятия бизнес-решения вместо вас
  • Сложных многовариантных тестов без специалиста
  • Замены калькулятора значимости для критичных решений

Как пользоваться

  1. 1

    Опишите задачу. Режим readout. A: 2000 посетителей, 100 заявок; B: 2000 посетителей, 130 заявок; значимость 95%. Кто победил и стоит ли катить?

  2. 2

    Получите черновик. Режим interpret. Что значит p-value 0.2 в моём тесте — можно ли делать вывод, что вариант B лучше?

  3. 3

    Проверьте результат. Режим plan. Хочу протестировать новый заголовок на лендинге. Что мерить, какую метрику взять и сколько собирать данных?

Для технарей: SKILL.md и экспорт

Установка и экспорт

Скачайте SKILL.md, metadata.json, правило Cursor или адаптер под вашу платформу. Файлы генерируются из текущей версии skill и кешируются в хранилище.

Адаптеры платформ

Codex AGENTS.md
Партнёр
Файл инструкций для OpenAI Codex и совместимых coding agents
Скачать
Staqflow guide
Партнёр
Описание задачи для ИИ-ассистента и system prompt для LLM-узла Staqflow
Скачать
Selarti guide
Партнёр
Инструкция по переносу skill в поле «Инструкция» ИИ-агента Selarti
Скачать
Cursor rule (.mdc)
Правило для Cursor Agent
Скачать
Claude ZIP
SKILL.md + metadata.json в архиве
GigaChat prompt
JSON-шаблон промпта для GigaChat
Скачать
YandexGPT template
JSON-шаблон для YandexGPT / Agent Atelier
Скачать
Dify guide
Инструкция для workflow в Dify
Скачать
n8n guide
Инструкция для automation flow в n8n
Скачать
Flowise / Langflow guide
Рецепт потока для сборки в Flowise или Langflow
Скачать
Ollama Modelfile
Modelfile со встроенным system prompt для локальной модели
Скачать
BotHelp guide
Инструкция по переносу skill в поле «Задачи» AI-агента BotHelp
Скачать
BotMother guide
Инструкция по переносу skill в поле инструкций AI-ассистента BotMother
Скачать

Базовые форматы

SKILL.md
Канонический текст skill
Скачать
metadata.json
Метаданные для адаптеров и каталога
Скачать
Частые вопросы
Skill сам посчитает статистическую значимость?

Он даёт ориентир: если вы указали p-value или уровень доверия — интерпретирует его; если только наблюдения и конверсии — прикинет приблизительно и честно предупредит, что для важных решений нужен калькулятор значимости.

Что значит «результат не значим»?

Варианты статистически неразличимы: разница в конверсии могла возникнуть случайно, а не из-за изменения. Обычно это значит, что данных мало или эффект слабый — вывод о победителе делать рано.

Почему нельзя останавливать тест, как только B вырвался вперёд?

Это «проблема подглядывания»: на промежуточных данных перевес часто случайный и потом исчезает. Skill предупреждает о ранней остановке и советует набрать запланированную выборку.

Он примет решение за меня?

Нет. Skill помогает прочитать тест и даёт рекомендацию (катить/оставить/продлить), но финальное бизнес-решение с учётом контекста и рисков принимаете вы.

Платформы
Google Sheets
Яндекс Метрика
Маркетинг
Аналитика
История

v1.0.0 — first published canonical SKILL.md.

Похожие навыки

Попробуйте спросить…Демо
Считает сводку юнит-экономики по вашим цифрам: маржа на заказ, CAC, LTV, LTV/CAC и окупаемость — видно, сходится ли экономика и где узкое место.
Аналитика и отчёты
Попробуйте спросить…Демо
Разбирает выгрузку «Отчёт по продажам» из Эвотора: ABC по выручке, топ и аутсайдеры, доля возвратов, концентрация. Работает с тем, что вы прислали.
Аналитика и отчёты
Попробуйте спросить…Демо
Разбирает сводный отчёт Эвотора: выручка и средний чек по дням недели, аномальные дни и пики.
Аналитика и отчёты

Нужно под ваш процесс?

Подстроим навык под ваши офферы, тон и ограничения. Или добавим новый, если такого нет.

Адаптировать под мой бизнес