A/B-тестирование рекламных объявлений: как правильно тестировать гипотезы

A/B-тестирование объявлений — это сравнение двух вариантов объявления, отличающихся одним элементом, для того чтобы определить, какой из них даёт лучший результат по конверсиям, а не только по кликам.

Главное правило A/B-теста: менять одну переменную

Если одновременно изменить заголовок, изображение и текст объявления, невозможно понять, что именно повлияло на разницу в результате. Корректный тест меняет один элемент за раз — например, только заголовок, — при этом остальные параметры остаются одинаковыми у обоих вариантов.

Сколько данных нужно для достоверного результата

Разница в CTR или конверсии на выборке в 20-30 кликов ничего не значит статистически — это может быть случайное отклонение. Для более-менее надёжного вывода нужно накопить как минимум несколько десятков конверсий на каждый вариант, а лучше — использовать калькулятор статистической значимости, а не полагаться на «на глаз виднее».

Частая ошибка: остановка теста слишком рано

Один вариант объявления может вырваться вперёд в первый день теста и снова сравняться с другим через неделю — это нормальные колебания на малой выборке. Останавливать тест и делать вывод стоит только после накопления достаточного объёма данных, а не при первом заметном отрыве.

Часто задаваемые вопросы

Можно ли тестировать больше двух вариантов сразу?

Можно (это называется A/B/n-тест), но чем больше вариантов, тем больше трафика и времени нужно для накопления статистически значимого результата по каждому из них.

Что тестировать в первую очередь — заголовок или изображение?

Обычно наибольшее влияние на результат имеет заголовок и первое сообщение объявления — оно определяет, совпадает ли предложение с запросом пользователя, поэтому логично начинать тесты именно с него.

Как понять, что тест завершён и можно выбрать победителя?

Ориентируйтесь на статистическую значимость разницы (а не просто на то, что один вариант выглядит лучше) и на достаточный объём накопленных конверсий по каждому варианту, а не на количество дней теста.