A/B-тест в маркетинге: как проверять гипотезы правильно

A/B-тест — эксперимент, в котором аудитория случайным образом делится на две группы: одна видит вариант A, другая — вариант B. Сравнение результатов показывает, какой вариант работает лучше. Это способ принимать решения на основе данных, а не вкуса.

Что можно тестировать

• Заголовки и предложения на сайте
• Формы заявки
• Рекламные объявления и креативы
• Темы и тексты рассылок
• Цены и условия
• Скрипты продавцов

Гипотеза

Тест начинается с гипотезы: «Если добавить отзывы на первый экран, конверсия в заявку вырастет, потому что посетители сомневаются в надёжности». Гипотеза задаёт, что меняется и почему ожидается эффект.

Одна переменная

В каждом тесте меняется один элемент. Если одновременно изменить заголовок, картинку и кнопку, непонятно, что повлияло на результат.

Размер выборки и длительность

Результат на небольшом числе посетителей может быть случайным. Чем меньше ожидаемая разница, тем больше нужна выборка. Тест должен длиться полную неделю или больше, чтобы учесть разницу между днями.

Статистическая значимость

Существуют калькуляторы, которые показывают, насколько вероятно, что разница не случайна. Не останавливайте тест, как только один вариант вырвался вперёд: на ранних этапах колебания большие.

Типичные ошибки

• Остановка теста слишком рано
• Тест на слишком маленьком трафике
• Изменение нескольких элементов сразу
• Разные условия для групп: время, аудитория
• Игнорирование результатов, которые не совпадают с ожиданиями

Небольшой трафик

Если трафик небольшой, тестируйте крупные изменения с заметным ожидаемым эффектом, а не мелочи вроде цвета кнопки. Альтернатива — последовательное сравнение с учётом сезонности, но это менее надёжно.

Документирование

Записывайте каждый тест: гипотезу, варианты, длительность, результат, вывод. База тестов помогает не повторять уже проверенное и накапливать знания о клиентах.