Калькулятор A/B-тестирования
Рассчитайте размер выборки и срок A/B-теста или сравните конверсии двух вариантов. С пояснением результата и ограничений метода.
Все бесплатные инструментыКак работает инструмент
Два независимых варианта, бинарная метрика: один участник либо совершил целевое действие, либо нет. Число заказов или просмотров одного человека вместо числа сконвертировавшихся участников не подходит. Распределение случайное, участники не пересекаются.
Планирование: двусторонний тест, уровень значимости 5%, мощность 80%, равные группы 50/50. Размер выборки — нормальное приближение для двух долей, округляется вверх. Срок — оценка набора участников, не обещание длительности: дождитесь полного цикла продаж.
Результат: двусторонний z-тест двух долей с объединённой оценкой при нулевой гипотезе. Для каждой конверсии показываем 95%-й интервал Уилсона. Если в любой группе меньше пяти успехов или неуспехов, не делаем вывод по z-тесту.
p-value — не вероятность того, что вариант B лучше, и не вероятность истинности гипотезы. Значимый результат не подтверждает качество рандомизации. Не останавливайте эксперимент при первом p<0,05; для последовательного анализа нужен другой метод. Незначимый результат не доказывает равенство вариантов.
Что делать дальше
- Инструкция: Разбор на примере
- Все инструменты: Выбрать следующую проверку