Как провести A/B-тестирование

A/B-тестирование (или сплит-тестирование) — это метод исследования, который помогает оценить, как изменения в рассылке влияют на открытия, кликабельность и конверсию.

A/B-тесты помогают принимать маркетинговые решения на основе статистики, а не догадок. Во время тестирования система собирает ключевые метрики рассылки, на основе которых можно:

• выбрать самый эффективный вариант и отправить его остальной аудитории,
• проверять гипотезы и планировать рассылки на будущее с учётом вкусов аудитории.

При проведении A/B-тестирования аудитория случайным образом делится на несколько групп. Каждой группе отправляется версия письма с небольшими изменениями. Различия в версиях письма зависят от параметра, который будет тестироваться. Это может быть:

• тема,
• имя отправителя,
• контент письма,
• время отправки.

Для точных результатов рекомендуется изменять только один параметр за раз.

Иногда тестируются сразу несколько параметров — это называется мультивариативное тестирование (MVT). MVT имеет смысл использовать при работе с большими аудиториями — от 100 000 получателей. На меньших базах данных статистической информации может быть недостаточно для достоверной оценки результатов.

В Sendsay A/B-тест можно провести двумя способами:

• в разделе Рассылки → A/B Тесты,
• в редакторе сценариев.

Как создать A/B-тест

Перейдите в раздел Рассылки → A/B Тесты и нажмите «Создать А/В-тест».

Тестирование проходит в семь шагов:

1. Выберите параметр тестирования

Параметр — это тот элемент письма, который вы будете изменять для проведения теста.

Параметров всего пять:

Тема письма
Тема — первое, что прочитают получатели рассылки, и часто именно от темы зависит, захочет ли подписчик открыть письмо. Решите, что конкретно вы хотели бы проверить, например: длину, формулировку темы или персонализацию.

Имя отправителя
Имя отправителя помогает получателям быстрее понять, от кого пришло письмо. Проверьте, кому ваши подписчики больше доверяют, и чьи письма открывают чаще: от частного лица, сотрудника компании или бренда.

Контент
Дизайн и содержание рассылки прежде всего влияют на количество кликов по ссылкам. Протестируйте один из элементов содержания письма: шаблон, заголовки и текст, оформление и расположение кнопок или количество ссылок.

Время отправки
Этот параметр подходит только для проверки гипотез: на основе теста нельзя выбрать вариант-победитель и отправить этот вариант остальной аудитории. Зато последовательные тесты помогут понять, в какое время суток лучше выпускать рассылки для максимального количества открытий.

Мультивариантное тестирование (MVT)
Позволяет протестировать несколько параметров в письме одновременно. Так можно сразу проверить разные гипотезы, а не запускать тесты по очереди.

Выберите нужный параметр и нажмите «Далее».

2. Настройте тест

В настройках теста необходимо выбрать получателей и указать размер тестовой группы, а также настроить условие выбора варианта-победителя.

Выберите получателей

Укажите список или сегмент получателей рассылки. Для достоверности теста проверять гипотезы лучше на большой аудитории. Рекомендуем выбирать аудиторию из расчёта, чтобы каждый тестовый вариант получили минимум 5 тыс. человек.

Укажите размер тестовой группы

Тестовая группа — это случайная выборка контактов из получателей рассылки, которым поровну отправятся тестовые варианты. Группа может составлять какую-то часть от всех получателей, или быть равной 100%.

Например, если вы установите размер тестовой группы в 50%, то половине из указанных получателей будут отправлены тестовые варианты рассылки, а оставшейся части автоматически отправится вариант-победитель теста.

Если тестовая группа равна 100%, тестовые варианты отправятся всем получателям, и варианта-победителя не будет. Такой сценарий подходит для проверки гипотез, а полученные результаты вы сможете использовать в дальнейших рассылках.

Важно

Если вы тестируете время отправки — размер тестовой группы всегда будет равен 100%.

При выборе тестовой группы учитывайте, сколько получателей увидят то, что вы тестируете. Например, тему письма заметят почти все, поэтому там можно ограничиться небольшим процентом подписчиков. Но при тесте кнопки в конце письма лучше поставить выборку побольше — туда доберутся не все, поэтому большая группа обеспечит достоверность результатов.

Выберите условие победы и время тестирования

Важно

Этот пункт не показывается, если вы тестируете время отправки или если размер тестовой группы равен 100%.

Чтобы выбрать вариант-победитель, который отправится остальной аудитории, нужно задать условие победы. Варианты можно сравнить:

• по количеству открытий — если вы тестируете тему письма, имя отправителя или время отправки (эти параметры существенно влияют на то, захочет ли подписчик открывать письмо),
• по количеству кликов, если вы тестируете контент,
• по количеству отписок,
• вручную — решение о выборе победителя принимаете вы, а не система.

Также в условии нужно указать время тестирования (оно не требуется только в том случае, если вы будете сравнивать варианты вручную). Отсчёт времени начинается после отправки всех тестовых вариантов.

Выбирайте время исходя из аудитории: если у вас рассылка объёмом в сотни тысяч писем, то основная масса открытий придётся на первые 3-4 часа. Если же у вас небольшая рассылка, стоит увеличить время, чтобы как можно больше людей открыли письмо и обеспечили достоверность результатов тестирования.

Условие победы можно изменить в любой момент до выбора победителя — как при создании выпуска, так и во время отправки.

Включите тематическую отписку (опционально)

Вы можете включить тематическую отписку, чтобы подписчики могли отписаться от тематики выпуска. В этом случае укажите список, куда будут попадать отписавшиеся.

3. Создайте варианты рассылок

Выберите один из готовых шаблонов письма или создайте его сами. Письмо можно создать в конструкторе или загрузить в виде HTML-кода.

Заполните тестовые варианты. По умолчанию создаются два варианта, но их количество можно увеличить до пяти. Добавить новые варианты или изменить размер тестовой группы можно под общим списком вариантов:

К письму можно прикрепить до десяти файлов (размер письма со всеми вложениями не должен превышать 5 Мб). Содержимое выпуска можно персонализировать — например, обращаться к подписчикам по имени или учитывать в рассылке другие данные подписчика.

Как персонализировать рассылку

Также можно добавить AMP-версию выпуска, которая отличается от обычного письма интерактивными элементами: они позволяют получателям взаимодействовать с контентом в рассылке без перехода на сайт (например, подтверждать заказы или класть товар в корзину прямо из письма), а отправителям — обновлять информацию в письме после отправки (например, изменять товары по акции).

Что такое AMP-рассылка

4. Отправьте себе тестовую копию (опционально)

Тестовые копии нужны, чтобы посмотреть, как письмо отображается в разных почтовых клиентах, — каждый делает это немного по-своему. Заведите ящики на основных доменах (Яндекс, Mail, Gmail, Outlook) и отправьте себе несколько тестовых копий. На бесплатных аккаунтах можно отправить только одну тестовую копию — на почту, на которую зарегистрирован аккаунт.

5. Подключите дополнительные настройки (опционально)

Отслеживать клики в Google Analytics и Яндекс Метрике: UTM-метки нужны для анализа поведения подписчиков, карты кликов и эффективности рассылки в Google Analytics и Яндекс.Метрике. Для каждого тестового варианта можно указать свои UTM-метки.

Как добавить UTM-метки в письмо

Передавать дополнительные данные: с помощью этого пункта можно настроить передачу дополнительных данных из анкеты подписчика для персонализации веб-страниц. Например, вы можете настроить передачу информации об имени подписчика и использовать эту информацию для создания элементов на странице, которую он увидит при переходе по ссылке в письме. Для каждого тестового варианта опция настраивается отдельно.

6. Активируйте тест

Активация теста будет означать старт отправки рассылки и начало сбора статистических данных.

Есть два способа активировать тест:

• активировать сейчас (тест запустится после антиспам-проверки),
• запланировать активацию на указанное время.

В момент отправки рассылки автоматически проверяются и могут попасть на ручную модерацию. Первые несколько выпусков на аккаунте всегда проверяются вручную. Отследить статус отправки можно в Журнале заданий.

7. Выберите победителя (опционально)

Важно

Победителя не нужно выбирать, если вы тестируете время отправки или в тестовой группе 100% аудитории.

После запуска на странице теста будет отображаться краткая статистика по каждому варианту. Там же будут ссылки на полные отчёты, которые хранятся в разделе Статистика.

Вариант-победитель выбирается автоматически по прошествии времени, установленного на тест.

Важно

Обратите внимание, что статистика продолжит обновляться и после выбора победителя. Иногда проигравший вариант набирает больше целевых действий на длительной дистанции. Но это уже не влияет на результаты теста и выбор победителя.

Пока не выбран вариант-победитель, можно поменять условие победы — для этого откройте выпадающий список «Действия». У запланированных тестов также можно задать новое время отправки, пока рассылка ещё не началась.

Вы можете досрочно завершить тестирование, выбрав победителя вручную — например, если лучший вариант заранее лидирует с большим отрывом. Для этого нажмите «Выбрать победителем» под понравившимся вариантом. Но рекомендуем подождать минимум три часа после запуска теста, чтобы система успела собрать статистику.

Как провести А/В-тест в редакторе сценариев

Настроить и провести А/В-тестирование можно в редакторе сценариев. В этом случае вам не нужно указывать параметры тестирования, а все действия подписчиков можно посмотреть в статистике сценария.

Как создать сценарий

Чтобы запустить А/В-тестирование в сценарии:

1. Перейдите в раздел Автоматизации → Сценарии и создайте новый сценарий.
   
   

2. Добавьте в сценарий блок Разделение → А/В тест. Участники сценария автоматически разделятся на группы и отправятся по разным веткам, вы можете указать их количество: от 2 до 5.
   
   

3. Настройте каждую из веток в соответствии с задачами вашего теста: например, выберите разные шаблоны письма для отправки. Завершите остальные настройки сценария.
   
   Как настроить и активировать сценарий

4. Перед запуском протестируйте сценарий. Это необязательно, но так вы убедитесь, что сценарий работает так, как вы ожидаете.
   
   Как протестировать сценарий