MDE — минимальный обнаруживаемый эффект

MDE — величина эффекта, для обнаружения которой планируют эксперимент при выбранных уровне значимости и мощности. В тесте конверсии эффект задают как абсолютную разницу долей или относительное изменение; эти способы нельзя смешивать.

Также встречается: Minimum Detectable Effect.

Для чего используется

До разработки варианта понять, способен ли доступный поток посетителей обнаружить полезное для бизнеса изменение.

Как SEO-специалист использует это в проекте

Перед A/B-тестом формы или корзины команда выбирает изменение, которое имеет практический смысл, и оценивает нужный трафик. Небольшой MDE требует большой выборки. Он не является обещанием будущего прироста и не подбирается задним числом под красивый результат.

Оцените базовую конверсию на сопоставимом периоде.
Задайте относительный или абсолютный эффект и зафиксируйте единицы.
Рассчитайте выборку и проверьте срок набора до запуска.

Практический пример

При базовой конверсии 3% относительный MDE 20% означает 3,6% в варианте B, то есть +0,6 процентного пункта. Это не 23% и не +20 процентных пунктов.

Иллюстрация подхода, не данные конкретного проекта.

Ошибки и риски

Планирование опирается на предположения о базовой конверсии, распределении аудитории и независимости наблюдений. Ошибка в этих предположениях меняет свойства эксперимента.

Путать проценты с процентными пунктами; объявлять MDE ожидаемым ростом; уменьшать требуемую выборку после просмотра первых результатов.

Как проверить результат

Подставьте параметры в калькулятор A/B-теста и сохраните план. Проверьте, что показатель считается по уникальным участникам, а не по числу событий.

Связанные термины

Продолжить по теме

← Все термины