Доверительный интервал

Доверительный интервал — диапазон, рассчитанный процедурой с заданным уровнем покрытия. При многократном повторении корректно организованного исследования 95%-я процедура в долгой серии покрывала бы истинный параметр примерно в 95% случаев.

Также встречается: Confidence interval.

Для чего используется

Показывать неопределённость рядом с оценкой, чтобы команда не принимала случайный скачок на малой выборке за устойчивый рост.

Как SEO-специалист использует это в проекте

В анализе конверсии интервал показывает, насколько точно оценена доля по имеющейся выборке. Для двух вариантов полезно различать интервалы каждой конверсии и интервал их разности. Это разные объекты с разными расчётами.

Определите параметр: доля, среднее или разность.
Выберите подходящий метод интервала и проверьте предпосылки.
Покажите оценку, границы, объём данных и уровень покрытия вместе.

Практический пример

Для 100 сконвертировавшихся участников из 1 000 оценка — 10%. 95%-й интервал Уилсона составляет примерно 8,29–12,02%. Это интервал одной конверсии, не разницы с другим вариантом.

Иллюстрация подхода, не данные конкретного проекта.

Ошибки и риски

Нельзя трактовать уже рассчитанный частотный интервал как 95%-ю вероятность нахождения фиксированного параметра внутри него. Узкий интервал также не исправляет систематическую ошибку отбора или сломанную цель.

Объявлять диапазон гарантией; смешивать байесовский и частотный смысл; решать значимость разницы только по пересечению отдельных интервалов.

Как проверить результат

В A/B-калькуляторе проверьте интервалы каждой группы и отдельный тест разности. Убедитесь, что повторные заказы одного пользователя не увеличили число независимых участников.

Связанные термины

Продолжить по теме

← Все термины