Статистическая мощность

Статистическая мощность — вероятность отклонить нулевую гипотезу при конкретной заданной альтернативе. Для теста конверсии она описывает способность выбранного дизайна обнаружить определённое различие, если оно действительно существует.

Также встречается: Statistical power.

Для чего используется

Оценить риск пропустить практически важное изменение и сопоставить этот риск со стоимостью эксперимента.

Как SEO-специалист использует это в проекте

При планировании A/B-теста задают мощность вместе с уровнем значимости, базовой конверсией и MDE. При прочих равных более высокая мощность требует больше участников. Это помогает заранее увидеть, что короткий эксперимент на маленьком сайте может не ответить на вопрос.

Зафиксируйте метрику и минимальный эффект.
Выберите мощность и уровень значимости до сбора данных.
Проверьте размер выборки и доступность участников.

Практический пример

Два теста с одинаковой конверсией и MDE, но мощностью 80% и 90%, требуют разного объёма данных. Точный прирост выборки зависит от параметров; универсального коэффициента для всех тестов нет.

Иллюстрация подхода, не данные конкретного проекта.

Ошибки и риски

80% мощности не означает 80% вероятности, что вариант B лучше, и не гарантирует обнаружение любого эффекта. Мощность относится к выбранному эффекту и методу.

Выдавать мощность за достоверность результата; рассчитывать её по наблюдаемому эффекту и использовать как замену интервалу; игнорировать потери участников.

Как проверить результат

В протоколе должны быть исходные параметры, расчёт выборки и правило остановки. После теста интерпретируйте эффект и неопределённость, а не только факт достижения числа участников.

Связанные термины

Продолжить по теме

← Все термины