Как провести A/B-тестирование
A/B-тестирование (или сплит-тестирование) — это метод исследования, который помогает оценить, как изменения в рассылке влияют на открытия, кликабельность и конверсию.
A/B-тесты помогают принимать маркетинговые решения на основе статистики, а не догадок. Во время тестирования система собирает ключевые метрики рассылки, на основе которых можно:
- выбрать самый эффективный вариант и отправить его остальной аудитории,
- проверять гипотезы и планировать рассылки на будущее с учётом вкусов аудитории.
При проведении A/B-тестирования аудитория случайным образом делится на несколько групп. Каждой группе отправляется версия письма с небольшими изменениями. Различия в версиях письма зависят от параметра, который будет тестироваться. Это может быть:
- тема,
- имя отправителя,
- контент письма,
- время отправки.
Для точных результатов рекомендуется изменять только один параметр за раз.
Иногда тестируются сразу несколько параметров — это называется мультивариативное тестирование (MVT). MVT имеет смысл использовать при работе с большими аудиториями — от 100 000 получателей. На меньших базах данных статистической информации может быть недостаточно для достоверной оценки результатов.
В Sendsay A/B-тест можно провести двумя способами:
- в разделе Рассылки → A/B Тесты,
- в редакторе сценариев.
Как создать A/B-тест
Перейдите в раздел Рассылки → A/B Тесты и нажмите «Создать А/В-тест».
Тестирование проходит в семь шагов:
1. Выберите параметр тестирования
Параметр — это тот элемент письма, который вы будете изменять для проведения теста.
Параметров всего пять:
Тема письма
Тема — первое, что прочитают получатели рассылки, и часто именно от темы зависит, захочет ли подписчик открыть письмо. Решите, что конкретно вы хотели бы проверить, например: длину, формулировку темы или персонализацию.
Имя отправителя
Имя отправителя помогает получателям быстрее понять, от кого пришло письмо. Проверьте, кому ваши подписчики больше доверяют, и чьи письма открывают чаще: от частного лица, сотрудника компании или бренда.
Контент
Дизайн и содержание рассылки прежде всего влияют на количество кликов по ссылкам. Протестируйте один из элементов содержания письма: шаблон, заголовки и текст, оформление и расположение кнопок или количество ссылок.
Время отправки
Этот параметр подходит только для проверки гипотез: на основе теста нельзя выбрать вариант-победитель и отправить этот вариант остальной аудитории. Зато последовательные тесты помогут понять, в какое время суток лучше выпускать рассылки для максимального количества открытий.
Мультивариантное тестирование (MVT)
Позволяет протестировать несколько параметров в письме одновременно. Так можно сразу проверить разные гипотезы, а не запускать тесты по очереди.
Выберите нужный параметр и нажмите «Далее».
2. Настройте тест
В настройках теста необходимо выбрать получателей и указать размер тестовой группы, а также настроить условие выбора варианта-победителя.
Выберите получателей
Укажите список или сегмент получателей рассылки. Для достоверности теста проверять гипотезы лучше на большой аудитории. Рекомендуем выбирать аудиторию из расчёта, чтобы каждый тестовый вариант получили минимум 5 тыс. человек.
Укажите размер тестовой группы
Тестовая группа — это случайная выборка контактов из получателей рассылки, которым поровну отправятся тестовые варианты. Группа может составлять какую-то часть от всех получателей, или быть равной 100%.
Например, если вы установите размер тестовой группы в 50%, то половине из указанных получателей будут отправлены тестовые варианты рассылки, а оставшейся части автоматически отправится вариант-победитель теста.
Если тестовая группа равна 100%, тестовые варианты отправятся всем получателям, и варианта-победителя не будет. Такой сценарий подходит для проверки гипотез, а полученные результаты вы сможете использовать в дальнейших рассылках.
Если вы тестируете время отправки — размер тестовой группы всегда будет равен 100%.
При выборе тестовой группы учитывайте, сколько получателей увидят то, что вы тестируете. Например, тему письма заметят почти все, поэтому там можно ограничиться небольшим процентом подписчиков. Но при тесте кнопки в конце письма лучше поставить выборку побольше — туда доберутся не все, поэтому большая группа обеспечит достоверность результатов.
Выберите условие победы и время тестирования
Этот пункт не показывается, если вы тестируете время отправки или если размер тестовой группы равен 100%.
Чтобы выбрать вариант-победитель, который отправится остальной аудитории, нужно задать условие победы. Варианты можно сравнить:
- по количеству открытий — если вы тестируете тему письма, имя отправителя или время отправки (эти параметры существенно влияют на то, захочет ли подписчик открывать письмо),
- по количеству кликов, если вы тестируете контент,
- по количеству отписок,
- вручную — решение о выборе победителя принимаете вы, а не система.
Также в условии нужно указать время тестирования (оно не требуется только в том случае, если вы будете сравнивать варианты вручную). Отсчёт времени начинается после отправки всех тестовых вариантов.
Выбирайте время исходя из аудитории: если у вас рассылка объёмом в сотни тысяч писем, то основная масса открытий придётся на первые 3-4 часа. Если же у вас небольшая рассылка, стоит увеличить время, чтобы как можно больше людей открыли письмо и обеспечили достоверность результатов тестирования.
Условие победы можно изменить в любой момент до выбора победителя — как при создании выпуска, так и во время отправки.
Включите тематическую отписку (опционально)
Вы можете включить тематическую отписку, чтобы подписчики могли отписаться от тематики выпуска. В этом случае укажите список, куда будут попадать отписавшиеся.
3. Создайте варианты рассылок
Выберите один из готовых шаблонов письма или создайте его сами. Письмо можно создать в блочном редакторе или загрузить в виде HTML-кода.
Заполните тестовые варианты. По умолчанию создаются два варианта, но их количество можно увеличить до пяти. Добавить новые варианты или изменить размер тестовой группы можно под общим списком вариантов:
К письму можно прикрепить до десяти файлов (размер письма со всеми вложениями не должен превышать 5 Мб). Содержимое выпуска можно персонализировать — например, обращаться к подписчикам по имени или учитывать в рассылке другие данные подписчика.
Как персонализировать рассылку
Также можно добавить AMP-версию выпуска, которая отличается от обычного письма интерактивными элементами: они позволяют получателям взаимодействовать с контентом в рассылке без перехода на сайт (например, подтверждать заказы или класть товар в корзину прямо из письма), а отправителям — обновлять информацию в письме после отправки (например, изменять товары по акции).
4. Отправьте себе тестовую копию (опционально)
Тестовые копии нужны, чтобы посмотреть, как письмо отображается в разных почтовых клиентах, — каждый делает это немного по-своему. Заведите ящики на основных доменах (Яндекс, Mail, Gmail, Outlook) и отправьте себе несколько тестовых копий. На бесплатных аккаунтах можно отправить только одну тестовую копию — на почту, на которую зарегистрирован аккаунт.
5. Подключите дополнительные настройки (опционально)
Отслеживать клики в Google Analytics и Яндекс Метрике: UTM-метки нужны для анализа поведения подписчиков, карты кликов и эффективности рассылки в Google Analytics и Яндекс.Метрике. Для каждого тестового варианта можно указать свои UTM-метки.
Как добавить UTM-метки в письмо
Передавать дополнительные данные: с помощью этого пункта можно настроить передачу дополнительных данных из анкеты подписчика для персонализации веб-страниц. Например, вы можете настроить передачу информации об имени подписчика и использовать эту информацию для создания элементов на странице, которую он увидит при переходе по ссылке в письме. Для каждого тестового варианта опция настраивается отдельно.
6. Активируйте тест
Активация теста будет означать старт отправки рассылки и начало сбора статистических данных.
Есть два способа активировать тест:
- активировать сейчас (тест запустится после антиспам-проверки),
- запланировать активацию на указанное время.
В момент отправки рассылки автоматически проверяются и могут попасть на ручную модерацию. Первые несколько выпусков на аккаунте всегда проверяются вручную. Отследить статус отправки можно в Журнале заданий.
7. Выберите победителя (опционально)
Победителя не нужно выбирать, если вы тестируете время отправки или в тестовой группе 100% аудитории.
После запуска на странице теста будет отображаться краткая статистика по каждому варианту. Там же будут ссылки на полные отчёты, которые хранятся в разделе Статистика.
Вариант-победитель выбирается автоматически по прошествии времени, установленного на тест.
Обратите внимание, что статистика продолжит обновляться и после выбора победителя. Иногда проигравший вариант набирает больше целевых действий на длительной дистанции. Но это уже не влияет на результаты теста и выбор победителя.
Пока не выбран вариант-победитель, можно поменять условие победы — для этого откройте выпадающий список «Действия». У запланированных тестов также можно задать новое время отправки, пока рассылка ещё не началась.
Вы можете досрочно завершить тестирование, выбрав победителя вручную — например, если лучший вариант заранее лидирует с большим отрывом. Для этого нажмите «Выбрать победителем» под понравившимся вариантом. Но рекомендуем подождать минимум три часа после запуска теста, чтобы система успела собрать статистику.
Как провести А/В-тест в редакторе сценариев
Настроить и провести А/В-тестирование можно в редакторе сценариев. В этом случае вам не нужно указывать параметры тестирования, а все действия подписчиков можно посмотреть в статистике сценария.
Чтобы запустить А/В-тестирование в сценарии:
-
Перейдите в раздел Автоматизации → Сценарии и создайте новый сценарий.
-
Добавьте в сценарий блок Разделение → А/В тест. Участники сценария автоматически разделятся на группы и отправятся по разным веткам, вы можете указать их количество: от 2 до 5.
-
Настройте каждую из веток в соответствии с задачами вашего теста: например, выберите разные шаблоны письма для отправки. Завершите остальные настройки сценария.
Как настроить и активировать сценарий -
Перед запуском протестируйте сценарий. Это необязательно, но так вы убедитесь, что сценарий работает так, как вы ожидаете.
Как протестировать сценарий