№59 Новое A/B тестирование MailChimp

A/B тестирование в MailChimp

В прошлый раз мы говорили о динамическом контенте. Сегодня на очереди A/B тестирование в MailChimp. Однажды мы уже знакомились с этим функционалом в отдельной статье. Тем не менее всё течёт, всё изменяется, и настала пора основательно перелопатить ту инструкцию — как в своё время работу с автоответчиками Мэйл Чимп.

Не исключаю, что интерфейс тестов продолжит меняться по результатам обкатки его в «боевых» условиях, однако уже без тех глобальных изменений, для которых понадобился бы отдельный обзор. Надеюсь, нижеследующий текст сохранит свою актуальность хотя бы в течение ближайшей пары лет. А больше от него и не требуется:)

О том, что вообще такое A/B тесты в рассылках (которые иногда ещё называют сплит-тестами) вы можете почитать здесь. На всякий случай напомню и про их более продвинутый вариант — многопараметрическую проверку, которая также реализуема через MailChimp, однако с некоторыми ухищрениями.

 

A/B тестирование по шагам

Итак, чтобы провести сплит-тест в новом интерефейсе Чимпа:

→ Открываем личный кабинет и создаём новую кампанию, кликнув по кнопке Create Campaign.

→ Выбираем тип кампании A/B Testing Campaign:

Тип кампании A/B Testing Campaign в MailChimp

 

→ На шаге Recipients указываем список рассылки (или его сегмент), с которым будем работать:

Выбор списка рассылки (или сегмента) в Мэйл Чимп

 

→ На шаге Variables выбираем параметр, который будем тестировать:

(1) Subject Line (тема письма),
(2) From Name (имя отправителя),
(3) Content (содержание письма),
(4) Send time (время отправки).

Выбор параметра для A/B теста на шаге Variables в MailChimp

 

Здесь же устанавливаем количество вариантов для теста (2 или 3).
Если передумали и хотим выбрать другой параметр, просто жмём минус «до упора»:

Выбор параметра для A/B теста на шаге Variables в Мэйл Чимп

 

Здесь же определяем объём выборки по тесту:

(1) Distribute the combinations across all recipients
(тестировать на всём списке),
(2) Test on a percentage of recipients to send a winner
(тестировать на части списка).

Определение объёма выборки по тесту в MailChimp

Тестирование времени отправки возможно только по всему списку.
Во всех остальных случаях можно указать % выборки подписчиков, которые будут участвовать в тесте (от 10 до 90%):

Установка объёма выборки подписчиков для A/B теста в Мэйл Чимп

Статистика справа при этом наглядно показывает, сколько подписчиков придётся на каждый вариант письма, а также какой размер у тестовой и основной части списка:

Предварительная статистика A/B теста MailChimp

Здесь же выбираем способ определения лучшего варианта:

(1) By Open Rate (по открываемости писем),
(2) By Click Rate (по уровню кликов),
(3) Manually (вручную).

Способ определения лучшего варианта сплит-теста в Мэйл Чимп

Для первых двух способов устанавливаем время, через которое лучший вариант будет определён автоматически (хорошо выждать
хотя бы 3 часа, а ещё лучше — сутки):

Определение лучшего варианта сплит-теста в MailChimp

 

→ На шаге Setup прописываем все обычные настройки кампании:

(1) Name your test (название кампании «для себя»),
(2) Subject line (тема письма),
(3) From email address and name (email и имя отправителя).

Шаг Setup при настройки сплит-теста Мэйл Чимп

Соответственно, в случае тестирования темыимени отправителя или времени отправки Чимп предложит ввести все тестируемые варианты:

Разные варианты темы для тестирования рассылки в MailChimp

 

→ На шаге Content создаём содержание письма.

В случае тестирования темы, имени отправителя или времени отправки этот процесс складывается всего из двух шагов:
выбора шаблона + дизайн:

Шаг Content в сплит-тестах Мэйл Чимп

Для тестирования содержания цепочка несколько удлиняется:
выбор варианта + выбор шаблона + дизайн + комментарий.

В первую очередь мы указываем вариант письма, для которого будем создавать содержание:

Шаг Content в сплит-тестах MailChimp

Проходим стандартные шаги выбора шаблона и разработки дизайна письма:

Шаг Content в A/B тестах Мэйл Чимп

На последнем шаге (Description) коротко описываем, в чём особенность этого варианта. Например: кнопки вместо ссылок, картинка А, призыв к действию 1 и т.п.

Новый шаг в A/B тестах MailChimp: Description

После этого переходим к созданию следующего варианта. Здесь задача уже несколько проще — мы можем взять за основу предыдущее письмо (Previous Variations):

Использование возможности Previous Variations в тестах Мэйл Чимп

Подготовив все варианты содержания, переходим к заключительному этапу.

 

→ На шаге Confirm проверяем, всё ли у нас в порядке
(какой список рассылки выбран, верны ли варианты для теста и т.п.).

Если остались недоработки, MailChimp просигнализирует об этом красными (или жёлтыми) отметками в итоговом чек-листе:

Чек-лист на отправку A/B теста в MailChimp (шаг Confirm)

Закончив проверку, запускаем отправку сразу или помещаем кампанию
в расписание (Send / Shedule):

Запуск сплит-теста Мэйл Чимп

 

Измерение результатов

После отправки статистика кампании будет накапливаться в стандартном отчёте. В верхней части общие результаты, в нижней — данные по каждому варианту в сводной таблице:

Отчёт по сплит-тесту в MailChimp

Для случая, когда мы выбрали тестирование на части списка и автоматическое определение результатов, через установленное время лучший вариант по просмотрам или кликам будет доотправлен оставшимся подписчикам.

Если мы передумали и хотим выбрать победителя вручную, нужно кликнуть по ссылке Convert to manual selection в самом верху отчёта:

Convert to manual selection - выбор победителя теста Мэйл Чимп вручную

 

При ручном выборе, выждав некоторое время (3-24 часа) после отправки кампании, необходимо сравнить показатели в сводной таблице вариантов:

Выбор победителя теста MailChimp вручную

По каждому варианту доступна углублённая статистика (View report) — доставка, просмотры, и, что немаловажно в случае тестирования содержания, карта кликов:

Углублённая статистика по АБ-тесту Мэйл Чимп: View report

 

Выбрав оптимальный вариант (возможно, нас заинтересуют не только просмотры и клики, но и уровень отписки), нажимаем кнопку Send to Remaining Recipients:

Send to Remaining Recipients: доотправка лучшего варианта по тесту MailChimp

 

Статистика отправки кампании по основной части списка после этого также собирается в отдельном отчёте:

Статистика основной части рассылки в сплит-тесте Мэйл Чимп

Общая статистика по кампании (протестированные варианты + основная отправка) по-прежнему отображается в верхней части экрана.

 

Заключение

Видно, что разработчики сервиса проработали фидбек от клиентов и добавили возможности, которых так не хватало в предыдущей версии A/B тестов (удобное тестирование содержания, большее количество вариантов, детальная статистика).

В новом варианте всё ещё присутствуют ограничения (например, нельзя протестировать больше 3-х вариантов), но их осталось не так уж и много. Тесты в Мэйл Чимп действительно стали удобнее. Остаётся только привыкнуть к нюансам нового интерефейса, и работа с ним пойдёт как по маслу.

P.S. В первой осенней статье вернёмся к аналитике рассылок. Подумываю написать о расчёте ценности подписчиков.

P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! 🙂

 

 Вопрос к читателям
А что вас интересует в MailChimp? Про какие возможности сервиса вам хотелось бы почитать в блоге? Пишите в комментариях — набросаем вместе план будущих статей:-)