№21 A/B тестирование в Мэйл Чимп

Теперь, когда мы подкованы в теории А/В тестирования, самое время перейти к практике.
Большинство рассылочных сервисов поддерживают А/В тесты. Конечно, разбираться будем на примере функционала Мэйл Чимп.

Автоматическое А/B тестирование

Как обычно, создаём email-кампанию. Для этого переходим в пункт горизонтального меню Campaigns, кликаем по большой красной кнопке слева Create Campaign и выбираем из выпадающего списка A/B Split Campaign:

Кроме обычных шагов подготовки кампании, здесь есть дополнительный шаг в самом начале — A/B Split:

  • На этом шаге выбираем, что подлежит тесту:
— Subject Lines (тема письма),
— From Names (имя отправителя),
— Delivery Date/Times (время отправки).
  • Если тестируем тему письма или имя отправителя, то дальше определяем:

— размер выборки для тестовых сегментов A и B:

— способ определения кампании-победителя:
Open Rate (по открываемости),
Click Rate (по количеству кликов),
Manually (вручную).

— время отправки кампании-победителя по остальной базе (предпочтительно — 1 день):

— На шаге Setup вводим либо 2 темы письма, либо 2 имени отправителя:

— Запускаем кампанию.

Если выбор лучшего варианта автоматизирован, остаётся только ждать итогового результата.

Если в шаге A/B split вы установили выбор лучшего варианта вручную, то через некоторое время нужно будет провести аналитику кампании самостоятельно.

Для этого кликаем на кнопку Report напротив названия кампании в общем списке и получаем доступ к A/B отчёту во вкладке A/B Split Results:

Проанализировав результаты  на основе показателей эффективности, выбираем лучший вариант и рассылаем его по оставшейся части списка.

  • Если тестируем время отправки, то

— Размер выборки для тестовых сегментов A и B задавать не нужно, список автоматически будет разделен пополам.

— Способ определения кампании-победителя и время её отправки по остальной части списка установить нельзя.

— На шаге Confirm выбираем 2 времени для отправки — по половине списка А и по половине списка B:

После того, как время для отправки задано, кампания ставится в расписание.

Когда она будет разослана по обеим частям списка, нужно сравнить результаты и выяснить, какое время отправки оказалось эффективнее. А затем использовать это в будущих рассылках.

 

А/B тестирование вручную

Часто А/B тестом хочется проверить не только тему, имя отправителя или время отправки, но и различные варианты содержания. Однако возможность сделать это автоматически в MailChimp пока не предусмотрена.

Поэтому, если нужно сравнить эффективность двух продающих текстов, двух картинок, ссылок и т.д., то тестовые сегменты для такой рассылки придётся создавать вручную.

Здесь есть 2 способа:

Это можно сделать при помощи специального приложения Мэйл Чимп для работы со списками Hairball.
А можно воспользоваться старыми-добрыми таблицами Excel.

Для этого:

— Выгружаем список рассылки из MailChimp, воспользовавшись опцией Download:

— Меняем кодировку в файле на Юникод (UTF-8), указав разделителями запятые:

— Удаляем в таблице лишние столбцы, оставив только список email:


— Чтобы выборка была случайной, перемешиваем адреса (например, выстроив их по алфавиту).

— В соседнем столбце проставляем названия сегментов A и B для 10% списка (напоминаю, что минимальное количество адресов в тестовом сегменте должно быть не менее 250):

— Для всех оставшихся адресов проставляем в соседнем столбце параметр C:

— Импортируем получившиеся столбцы обратно в тот же самый список Мейл Чимп, используя Copy/Paste from Excel (как загружать базу, читаем здесь).

Важно! При импорте обязательно нужно проставить галочку в чек-боксе Auto-Update My Existing List, чтобы Чимп не добавлял адреса заново, а обновил уже существующие данные:

— Столбец с email Чимп определит сам.

— Для букв A, B и C создаём новый столбец в формате text, называем его, например, Сегмент для теста:

— Не забываем потом скрыть этот столбец в формах Чимп, поскольку это служебная информация:

— Нажимаем кнопку Import и ждём, когда список рассылки будет обновлён.

 

Теперь, если мы хотим протестировать, к примеру, заголовки в письме, картинки, ссылки или призыв к действию, то можно провести такой тест вручную:

  • Создаём кампанию А (как Regular Ol’ Campaign).
  • На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент А:

  • Создаём содержание кампании А.
  • Делаем копию кампании А (называем, соответственно, кампания В).
  • На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент B:

  • Изменяем в содержании кампании B то, что хотим протестировать (например, вместо ссылок вставляем кнопки).
  • Отправляем одновременно кампании А и B.
  • Через заданное время (например, через день), сводим результаты в таблице и выбираем лучшую:

Здесь уже можно воспользоваться расширенной аналитикой рассылок, если в каждую кампанию добавлена своя метка веб-аналитики.

  • Создаём копию этой кампании (называем её С).
  • На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент С:

  • Не меняя содержания кампании, делаем рассылку.
  • Через заданное время (например, через неделю), замеряем результаты и сравниваем их с результатами кампании-победителя, чтобы удостовериться в корректности теста.

Делая новую кампанию, состав сегментов в списке рассылки можно изменить, вновь воспользовавшись выгрузкой-загрузкой базы через Excel.

Если база достаточно велика, то можно создавать и больше тестовых сегментов: A, B, С, D и т.д. и проводить уже многопараметрические проверки.

Способ с Excel немного мудрёный, но работоспособный. Может быть, он вам пригодится)

P.S. В следующий раз вернёмся к теме автоответчиков в рассылках.

 

P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! 🙂

 

icon  Примечание
Частично информация в этой статье ещё актуальна, однако сам интерфейс сплит-тестов радикально переменился. Читайте об этом в более поздней статье блога: №59 Новое A/B тестирование MailChimp.