В прошлый раз мы говорили о динамическом контенте. Сегодня на очереди AB тестирование в MailChimp. Однажды мы уже знакомились с этим функционалом в отдельной статье. Тем не менее всё течёт, всё изменяется, и настала пора основательно перелопатить ту инструкцию — как в своё время работу с автоответчиками Мэйл Чимп.
Не исключаю, что интерфейс тестов продолжит меняться по результатам обкатки его в «боевых» условиях, однако уже без тех глобальных изменений, для которых понадобился бы отдельный обзор. Надеюсь, нижеследующий текст сохранит свою актуальность хотя бы в течение ближайшей пары лет. А больше от него и не требуется:)
О том, что вообще такое AB тестирование в рассылках (которые иногда ещё называют сплит-тестами) вы можете почитать здесь. На всякий случай напомню и про их более продвинутый вариант — многопараметрическую проверку, которая также реализуема через MailChimp, однако с некоторыми ухищрениями.
AB тестирование по шагам
Итак, чтобы провести сплит-тест в новом интерефейсе Чимпа:
→ Открываем личный кабинет и создаём новую кампанию, кликнув по кнопке Create Campaign.
→ Выбираем тип кампании A/B Testing Campaign:
→ На шаге Recipients указываем список рассылки (или его сегмент), с которым будем работать:
→ На шаге Variables выбираем параметр, который будем тестировать:
(1) Subject Line (тема письма),
(2) From Name (имя отправителя),
(3) Content (содержание письма),
(4) Send time (время отправки).
Здесь же устанавливаем количество вариантов для теста (2 или 3).
Если передумали и хотим выбрать другой параметр, просто жмём минус «до упора»:
Здесь же определяем объём выборки по тесту:
(1) Distribute the combinations across all recipients
(тестировать на всём списке),
(2) Test on a percentage of recipients to send a winner
(тестировать на части списка).
Тестирование времени отправки возможно только по всему списку.
Во всех остальных случаях можно указать % выборки подписчиков, которые будут участвовать в тесте (от 10 до 90%):
Статистика справа при этом наглядно показывает, сколько подписчиков придётся на каждый вариант письма, а также какой размер у тестовой и основной части списка:
Здесь же выбираем способ определения лучшего варианта:
(1) By Open Rate (по открываемости писем),
(2) By Click Rate (по уровню кликов),
(3) Manually (вручную).
Для первых двух способов устанавливаем время, через которое лучший вариант будет определён автоматически (хорошо выждать
хотя бы 3 часа, а ещё лучше — сутки):
→ На шаге Setup прописываем все обычные настройки кампании:
(1) Name your test (название кампании «для себя»),
(2) Subject line (тема письма),
(3) From email address and name (email и имя отправителя).
Соответственно, в случае тестирования темы, имени отправителя или времени отправки Чимп предложит ввести все тестируемые варианты:
→ На шаге Content создаём содержание письма.
В случае тестирования темы, имени отправителя или времени отправки этот процесс складывается всего из двух шагов:
выбора шаблона + дизайн:
Для тестирования содержания цепочка несколько удлиняется:
выбор варианта + выбор шаблона + дизайн + комментарий.
В первую очередь мы указываем вариант письма, для которого будем создавать содержание:
Проходим стандартные шаги выбора шаблона и разработки дизайна письма:
На последнем шаге (Description) коротко описываем, в чём особенность этого варианта. Например: кнопки вместо ссылок, картинка А, призыв к действию 1 и т.п.
После этого переходим к созданию следующего варианта. Здесь задача уже несколько проще — мы можем взять за основу предыдущее письмо (Previous Variations):
Подготовив все варианты содержания, переходим к заключительному этапу.
→ На шаге Confirm проверяем, всё ли у нас в порядке
(какой список рассылки выбран, верны ли варианты для теста и т.п.).
Если остались недоработки, MailChimp просигнализирует об этом красными (или жёлтыми) отметками в итоговом чек-листе:
Закончив проверку, запускаем отправку сразу или помещаем кампанию
в расписание (Send / Shedule):
Измерение результатов
После отправки статистика кампании будет накапливаться в стандартном отчёте. В верхней части общие результаты, в нижней — данные по каждому варианту в сводной таблице:
Для случая, когда мы выбрали тестирование на части списка и автоматическое определение результатов, через установленное время лучший вариант по просмотрам или кликам будет доотправлен оставшимся подписчикам.
Если мы передумали и хотим выбрать победителя вручную, нужно кликнуть по ссылке Convert to manual selection в самом верху отчёта:
При ручном выборе, выждав некоторое время (3-24 часа) после отправки кампании, необходимо сравнить показатели в сводной таблице вариантов:
По каждому варианту доступна углублённая статистика (View report) — доставка, просмотры, и, что немаловажно в случае тестирования содержания, карта кликов:
Выбрав оптимальный вариант (возможно, нас заинтересуют не только просмотры и клики, но и уровень отписки), нажимаем кнопку Send to Remaining Recipients:
Статистика отправки кампании по основной части списка после этого также собирается в отдельном отчёте:
Общая статистика по кампании (протестированные варианты + основная отправка) по-прежнему отображается в верхней части экрана.
Заключение
Видно, что разработчики сервиса проработали фидбек от клиентов и «оснастили» AB тестирование возможностями, которых так не хватало в предыдущей версии (удобные тесты содержания, большее количество вариантов, детальная статистика).
В новом варианте всё ещё присутствуют ограничения (например, нельзя протестировать больше 3-х вариантов), но их осталось не так уж и много. Тесты в Мэйл Чимп действительно стали удобнее. Остаётся только привыкнуть к нюансам нового интерефейса, и работа с ним пойдёт как по маслу.
P.S. В первой осенней статье вернёмся к аналитике рассылок. Подумываю написать о расчёте ценности подписчиков.
P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! 🙂
 |
Вопрос к читателям |
| А что вас интересует в MailChimp? Про какие возможности сервиса вам хотелось бы почитать в блоге? Пишите в комментариях — набросаем вместе план будущих статей:-) | |
