Реконструкция протокола
Фактические условия теста и расхождения с первоначальным планом.
Аудит A/B-тестирования
Проверим, можно ли доверять результату проведённого эксперимента и принимать по нему решение об изменении сайта.
Пришлите отчёт теста, даты и описание вариантов. Уточним, какие исходные выгрузки нужны для независимого разбора.
Узнаёте свою ситуацию?
- Подрядчик объявил победителя, но после внедрения эффект не повторился.
- Варианты получили неожиданно разное количество участников.
- Результаты теста меняются при каждом новом фильтре в отчёте.
Как поможем
Аудит A/B-тестирования — проверка дизайна, реализации и анализа эксперимента. Мы выясняем, сравнивались ли сопоставимые группы, одинаково ли измерялись события и соответствуют ли выводы выбранному методу. Результат — заключение о применимости эксперимента и задания на исправление процесса.
Что входит в работу
Восстанавливаем условия эксперимента
Нужны исходная гипотеза, варианты, даты, критерий участия, настройки распределения и история изменений. Уточняем, была ли метрика выбрана до просмотра результата и по какому правилу завершили тест. Проверяем параллельные кампании, другие эксперименты и различия между устройствами, которые могли изменить состав участников.
Если вместо эксперимента сравнивались периоды до и после, прямо обозначаем этот дизайн. Для будущего контролируемого сравнения можно подготовить новый A/B-тест.
Проверяем, кого и что посчитали
Сверяем ожидаемые и фактические доли участников, устойчивость назначения варианта и повторные визиты. Ищем потери событий, разные условия фильтрации и несовпадение единицы анализа. Например, сравнение пользователей в одной группе с сессиями в другой не даёт согласованного результата.
Проблемы сбора данных передаём в аудит веб-аналитики. Поведенческие наблюдения могут объяснить техническую причину, но не заменяют проверку распределения.
Отделяем пригодные выводы от спорных
Разбираем эффект, неопределённость, множественные сравнения и условия остановки. Проверяем, не выбрана ли удачная подгруппа после просмотра всех результатов. Заключение показывает, какие решения поддерживаются данными, какие требуют осторожности и какие нужно пересмотреть. Требования к следующему отчёту включаем в систему показателей и отчётности.
Проверим основания для выбора победителя
Пришлите отчёт теста, даты и описание вариантов. Уточним, какие исходные выгрузки нужны для независимого разбора.
Что вы получите
Реестр рисков данных
Потери событий, перекос распределения, несопоставимые группы и неопределённые настройки.
Заключение о применимости
Допустимые выводы, нужные пересчёты и план повторения при недостаточности данных.
Как проходит работа
-
Собрать артефакты
Получаем настройки, выгрузки, кодовые изменения и первоначальный отчёт.
-
Проверить цепочку
Сопоставляем назначение варианта, регистрацию действия и расчёт метрики.
-
Пересмотреть вывод
Уточняем интерпретацию и требования к следующему эксперименту.
Как проверить результат
Восстановимость
Понятно, какие условия подтверждены и какие неизвестны.
Сопоставимость
Единицы наблюдения и фильтры согласованы между группами.
Обоснованность
Итог не сильнее доказательств, которые сохранились.
Связанные услуги
Вопросы об услуге
Можно ли проверить только итоговую таблицу?
По ней можно заметить часть противоречий и проверить некоторые расчёты. Но назначение варианта, потери событий и изменения по времени часто требуют более подробных данных. В заключении разделяем проверенные расчёты и условия, которые подтвердить не удалось.
Неравные группы всегда означают ошибку?
Нет, распределение может быть намеренно неравным. Проверяют соответствие фактических долей запланированным с учётом статистической неопределённости. Необъяснённое расхождение требует расследования: причина может находиться в назначении участников, фильтрах или регистрации событий.
Вы пересчитаете результат другим методом?
Если данные позволяют, пересчёт входит в согласованный объём. Метод выбирают по дизайну эксперимента и типу метрики, а не по желанию получить значимость. Если исходный дизайн повреждён, другой калькулятор не устраняет систематическое смещение.
Обсудим задачу вашего проекта
Расскажите о сайте и о том, что хотите изменить. Уточним объём работ, обсудим сроки и подготовим предложение.
- Пришлите ссылку на сайт и опишите задачу
- На обсуждении уточним цели и ограничения
- После — предложение с составом работ и условиями
С чего начнём?
Опишите вашу ситуацию. Если сайт или CRM уже есть — добавьте ссылку и то, что хотите изменить.
На следующем шаге нужен только телефон. Остальное — по желанию.
Или напишите: info@iskariot.ru