A/B-тестирование

A/B-тестирование — контролируемый эксперимент, в котором аудиторию распределяют между вариантами и сравнивают заранее выбранный показатель. Смена дизайна в понедельник и сравнение со вчерашним днём не является таким экспериментом: одновременно могли измениться реклама и состав посетителей.

Также встречается: A/B-тестирование.

Для чего используется

Эксперимент помогает принять конкретное решение о продукте. До запуска полезно проверить исправность событий и распределения. Иначе изменение числа заявок может объясняться сломанной отправкой цели в одном варианте, а не поведением людей.

Как SEO-специалист использует это в проекте

Для сайта тестируют, например, объяснение условий заявки или порядок информации в карточке. Команда заранее определяет гипотезу, единицу распределения, основную метрику, защитные показатели и правило завершения. SEO-специалист следит, чтобы эксперимент не создавал лишних индексируемых дублей.

Запишите гипотезу, метрики, минимально важный эффект и план анализа.
Проверьте распределение и одинаковую работу измерения в вариантах.
Проведите тест по плану, оцените неопределённость и последствия для бизнеса.

Практический пример

Учебный пример: проверяется пояснение «достаточно телефона или email». Основной показатель — успешно принятые обращения, защитный — качество лидов по согласованной оценке. Простое увеличение кликов по кнопке не отвечает на вопрос о полезности изменения.

Иллюстрация подхода, не данные конкретного проекта.

Ошибки и риски

Малое число заявок может не позволить отличить полезный эффект от случайного колебания. Отсутствие убедительного результата не доказывает равенство вариантов. Нельзя обещать статистическую достоверность по нескольким конверсиям.

Останавливать тест при первом желаемом результате; менять метрику задним числом; одновременно запускать несогласованные изменения; сравнивать разные рекламные источники как варианты одного теста.

Как проверить результат

Сохраните план, распределение, объём данных, период и результат с неопределённостью. При недостаточной выборке используйте наблюдения и пользовательские тесты для гипотез, не выдавая их за доказанный прирост конверсии.

Связанные термины

Продолжить по теме

← Все термины