Как провести A/B-тестирование

A/B-тестирование (или сплит-тестирование) — это метод, позволяющий протестировать несколько версий одного письма, чтобы оценить, как изменения в рассылке влияют на открытия, кликабельность и конверсию. На основе результатов можно:

• выбрать самый эффективный вариант и отправить его остальной аудитории,
• проверять гипотезы и планировать рассылки на будущее с учётом вкусов аудитории.

A/B-тесты помогают принимать маркетинговые решения на основе статистики, а не догадок. Создать тест можно в разделе Рассылки → A/B Тесты. Тестирование проходит в семь шагов:

1. Выберите параметр тестирования

Параметров всего пять:

Тема письма
Тема — первое, что прочитают получатели рассылки, и часто именно от неё зависит, захочет ли подписчик открыть письмо. В теме письма стоит протестировать:

• длину,
• персонализацию (например, как обращаться к подписчикам),
• формулировку: иногда лучше работает вопрос, а в других случаях — призыв к действию.

Имя отправителя
Имя отправителя формирует отношения с аудиторией. Проверьте, кому ваши подписчики больше доверяют и чьи письма открывают чаще: от частного лица, сотрудника компании или бренда.

Контент
Дизайн и содержание рассылки прежде всего влияют на количество переходов по ссылкам. Здесь можно протестировать следующее:

• шаблон письма,
• заголовок и текст рассылки,
• цвет, размер и расположение кнопок с призывом к действию,
• количество ссылок.

Время отправки
Этот параметр подходит только для проверки гипотез: на основе теста нельзя выбрать вариант-победитель и отправить его остальной аудитории. Зато последовательные тесты помогут понять, в какое время суток лучше выпускать рассылки для максимального количества открытий.

Мультивариантное тестирование (MVT)
Позволяет протестировать несколько параметров в письме одновременно. Так можно сразу проверить разные гипотезы, а не запускать тесты по очереди.

2. Настройте тест

Выберите получателей

Чтобы отправить выпуск, нужно определить, откуда брать контакты получателей — из списка или сегмента. Для достоверности статистики проверять гипотезы лучше на большой аудитории. Рекомендуем выбирать аудиторию из расчёта, чтобы каждый тестовый вариант получили минимум 5 000 человек. Однако тесты на меньшую аудиторию также могут многое прояснить о предпочтениях ваших подписчиков.

Укажите размер тестовой группы

Важно

Если вы тестируете время отправки, тестовые выпуски отправляются на всю аудиторию (размер тестовой группы равен 100%).

Тестовая группа — это случайная выборка контактов из получателей рассылки, которым поровну отправятся тестовые варианты. Здесь есть два сценария:

Если тестовая группа меньше 100%, из всех вариантов будет выбран самый эффективный (вариант-победитель), который отправится остальным получателям.

Если тестовая группа равна 100%, тестовые варианты отправятся всем получателям, и варианта-победителя не будет. Этот сценарий подходит для проверки гипотез, а полученные результаты используются в дальнейших рассылках.

При выборе тестовой группы учитывайте, сколько получателей увидят то, что вы тестируете. Например, тему письма заметят почти все, поэтому там можно ограничиться небольшим процентом получателей. Но при тесте кнопки в конце письма лучше поставить выборку побольше — туда долистают далеко не все, поэтому большая группа обеспечит достоверность статистики.

Выберите условие победы

Важно

Этот пункт не показывается, если вы тестируете время отправки или если размер тестовой группы равен 100%.

Чтобы выбрать вариант-победитель, который отправится остальной аудитории, нужно задать условие победы. Варианты можно сравнить:

• по количеству открытий — если вы тестируете тему письма, имя отправителя или время отправки (эти параметры существенно влияют, захочет ли подписчик прочитать письмо),
• по количеству кликов, если вы тестируете контент,
• по количеству отписок,
• вручную.

Также в условии нужно указать время тестирования (оно не требуется только в том случае, если вы будете сравнивать варианты вручную). Отсчёт времени начинается после отправки всех тестовых вариантов.

Выбирайте время исходя из аудитории: если у вас рассылка объёмом в сотни тысяч писем, то основные масса открытий придётся на первые 3-4 часа. Если же у вас небольшая рассылка, стоит увеличить время, чтобы как можно больше людей открыли письмо и обеспечили достоверность статистики.

Условие победы можно изменить в любой момент до выбора победителя — как при создании выпуска, так и во время отправки.

3. Создайте варианты рассылки

По умолчанию создаются два тестовых варианта, но их количество можно увеличить до пяти. Добавить новые варианты или изменить размер тестовой группы можно под общим списком вариантов:

Письмо можно создать двумя способами:

• в блочном редакторе — с нуля или на основе шаблонов,
• в HTML-редакторе — с нуля или из загруженного кода.

Как создать письмо в блочном редакторе

Как загрузить HTML-шаблон

К одному письму можно прикрепить до десяти файлов (рекомендуем, чтобы размер письма со всеми вложениями не превышал 5 Мб). Содержимое выпуска можно персонализировать — например, обращаться к подписчикам по имени или учитывать в рассылке другие данные подписчика.

Как персонализировать рассылку

Также можно добавить AMP-версию выпуска, которая отличается от обычного письма интерактивными элементами: они позволяют получателям взаимодействовать с контентом в рассылке без перехода на сайт (например, подтверждать заказы или класть товар в корзину прямо из письма), а отправителям — обновлять информацию в письме после отправки (например, изменять товары по акции).

Что такое AMP-рассылка

4. Отправьте себе тестовую копию (опционально)

Тестовые копии нужны, чтобы посмотреть, как письмо отображается в разных почтовых клиентах, — каждый делает это немного по-своему. Заведите ящики на основных доменах (Яндекс, Mail, Gmail, Outlook) и отправьте себе несколько тестовых копий. На бесплатных аккаунтах можно отправить только одну тестовую копию — на почту, на которую зарегистрирован аккаунт.

Важно

Отправить тестовую копию можно только контакту, который есть в базе со статусом Подтверждённый.

5. Подключите дополнительные настройки (опционально)

UTM-метки нужны для анализа поведения подписчиков, карты кликов и эффективности рассылки в Google Analytics и Яндекс.Метрике. Для каждого тестового варианта можно указать свои UTM-метки.

Как добавить UTM-метки в письмо

Также можно настроить передачу дополнительных данных для персонализации веб-страниц для подписчика.

6. Выберите способ отправки

Есть два способа:

• отправить сразу,
• запланировать выпуск.

В момент отправки рассылки автоматически проверяются и могут попасть на ручную модерацию. Первые несколько выпусков на аккаунте всегда проверяются вручную. Отследить статус отправки можно в Журнале заданий.

7. Выберите победителя (опционально)

Важно

Победитель не выбирается, если вы тестируете время отправки или отправляете тестовые выпуски на 100% аудитории.

После запуска на странице теста будет отображаться краткая статистика по каждому варианту. Там же будут ссылки на полные отчёты, которые хранятся в разделе Статистика.

В любой момент теста можно поменять условие победы — для этого нужно открыть выпадающее меню в правом верхнем углу страницы (рядом с кнопкой «Остановить»). У запланированных тестов также можно задать новое время отправки, пока рассылка ещё не началась.

При любом условии победы победителя можно выбрать вручную, чтобы досрочно завершить тестирование — например, если лучший вариант заранее лидирует с большим отрывом. Для этого нужно нажать кнопку «Выбрать победителя» под понравившимся вариантом. Обращаем внимание, что мы рекомендуем ждать хотя бы три часа после запуска теста для сбора статистики.