№21 A/B тестирование в Мэйл Чимп

Теперь, когда мы подкованы в теории А/В тестирования, самое время перейти к практике.
Большинство рассылочных сервисов поддерживают А/В тесты. Конечно, разбираться будем на примере функционала Мэйл Чимп.

Автоматическое А/B тестирование

Как обычно, создаём email-кампанию. Для этого переходим в пункт горизонтального меню Campaigns, кликаем по большой красной кнопке слева Create Campaign и выбираем из выпадающего списка A/B Split Campaign:

Кроме обычных шагов подготовки кампании, здесь есть дополнительный шаг в самом начале — A/B Split:

  • На этом шаге выбираем, что подлежит тесту:
- Subject Lines (тема письма),
- From Names (имя отправителя),
- Delivery Date/Times (время отправки).
  • Если тестируем тему письма или имя отправителя, то дальше определяем:

— размер выборки для тестовых сегментов A и B:

- способ определения кампании-победителя:
Open Rate (по открываемости),
Click Rate (по количеству кликов),
Manually (вручную).

— время отправки кампании-победителя по остальной базе (предпочтительно — 1 день):

— На шаге Setup вводим либо 2 темы письма, либо 2 имени отправителя:

— Запускаем кампанию.

Если выбор лучшего варианта автоматизирован, остаётся только ждать итогового результата.

Если в шаге A/B split вы установили выбор лучшего варианта вручную, то через некоторое время нужно будет провести аналитику кампании самостоятельно.

Для этого кликаем на кнопку Report напротив названия кампании в общем списке и получаем доступ к A/B отчёту во вкладке A/B Split Results:

Проанализировав результаты  на основе показателей эффективности, выбираем лучший вариант и рассылаем его по оставшейся части списка.

  • Если тестируем время отправки, то

— Размер выборки для тестовых сегментов A и B задавать не нужно, список автоматически будет разделен пополам.

— Способ определения кампании-победителя и время её отправки по остальной части списка установить нельзя.

— На шаге Confirm выбираем 2 времени для отправки — по половине списка А и по половине списка B:

После того, как время для отправки задано, кампания ставится в расписание.

Когда она будет разослана по обеим частям списка, нужно сравнить результаты и выяснить, какое время отправки оказалось эффективнее. А затем использовать это в будущих рассылках.

 

А/B тестирование вручную

Часто А/B тестом хочется проверить не только тему, имя отправителя или время отправки, но и различные варианты содержания. Однако возможность сделать это автоматически в MailChimp пока не предусмотрена.

Поэтому, если нужно сравнить эффективность двух продающих текстов, двух картинок, ссылок и т.д., то тестовые сегменты для такой рассылки придётся создавать вручную.

Здесь есть 2 способа:

Это можно сделать при помощи специального приложения Мэйл Чимп для работы со списками Hairball.
А можно воспользоваться старыми-добрыми таблицами Excel.

Для этого:

— Выгружаем список рассылки из MailChimp, воспользовавшись опцией Download:

— Меняем кодировку в файле на Юникод (UTF-8), указав разделителями запятые:

— Удаляем в таблице лишние столбцы, оставив только список email:


— Чтобы выборка была случайной, перемешиваем адреса (например, выстроив их по алфавиту).

- В соседнем столбце проставляем названия сегментов A и B для 10% списка (напоминаю, что минимальное количество адресов в тестовом сегменте должно быть не менее 250):

- Для всех оставшихся адресов проставляем в соседнем столбце параметр C:

- Импортируем получившиеся столбцы обратно в тот же самый список Мейл Чимп, используя Copy/Paste from Excel (как загружать базу, читаем здесь).

- Важно! При импорте обязательно нужно проставить галочку в чек-боксе Auto-Update My Existing List, чтобы Чимп не добавлял адреса заново, а обновил уже существующие данные:

- Столбец с email Чимп определит сам.

- Для букв A, B и C создаём новый столбец в формате text, называем его, например, Сегмент для теста:

- Не забываем потом скрыть этот столбец в формах Чимп, поскольку это служебная информация:

- Нажимаем кнопку Import и ждём, когда список рассылки будет обновлён.

 

Теперь, если мы хотим протестировать, к примеру, заголовки в письме, картинки, ссылки или призыв к действию, то можно провести такой тест вручную:

  • Создаём кампанию А (как Regular Ol’ Campaign).
  • На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент А:

  • Создаём содержание кампании А.
  • Делаем копию кампании А (называем, соответственно, кампания В).
  • На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент B:

  • Изменяем в содержании кампании B то, что хотим протестировать (например, вместо ссылок вставляем кнопки).
  • Отправляем одновременно кампании А и B.
  • Через заданное время (например, через день), сводим результаты в таблице и выбираем лучшую:

Здесь уже можно воспользоваться расширенной аналитикой рассылок, если в каждую кампанию добавлена своя метка веб-аналитики.

  • Создаём копию этой кампании (называем её С).
  • На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент С:

  • Не меняя содержания кампании, делаем рассылку.
  • Через заданное время (например, через неделю), замеряем результаты и сравниваем их с результатами кампании-победителя, чтобы удостовериться в корректности теста.

Делая новую кампанию, состав сегментов в списке рассылки можно изменить, вновь воспользовавшись выгрузкой-загрузкой базы через Excel.

Если база достаточно велика, то можно создавать и больше тестовых сегментов: A, B, С, D и т.д. и проводить уже многопараметрические проверки.

Способ с Excel немного мудрёный, но работоспособный. Может быть, он вам пригодится)

P.S. В следующий раз вернёмся к теме автоответчиков в рассылках.

 

P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! :-)

 

icon  Примечание
Частично информация в этой статье ещё актуальна, однако сам интерфейс сплит-тестов радикально переменился. Читайте об этом в более поздней статье блога: №59 Новое A/B тестирование MailChimp.

 


  • Артем

    Спасибо, отличное пособие, для себя выявил пару интересных моментов.только есть одно «НО», точнее не одно. Возможно для кого-то это не важные моменты, для нашей же рассылки принципиальные.
    1.  «Удаляем в таблице лишние столбцы, оставив только список email» удаляются в т.ч. имена, а обращение в теме — это от 20 до 50% к open rate, так что тут надо думать, что важнее. 2. При любых действиях со списком в MailChimp (перенос, деление Hairball и пр.) удаляется рейтинг подписчиков, тот самый Subscriber Activity благодаря которому мы видим на сколько человек заинтересован в рассылке. Лично я использую эту информацию для сегментирования и того же сплит тестирования.  Но, опять же это всё ИМХО.

    • Нет-нет, Артём) Я как раз после ваших прошлых замечаний задумался, как тестировать вручную в Чимп, и всё проверил. Если жмём галку Auto-update при загрузке, то НЕ теряем данных о подписчиках. В список будет просто добавлен дополнительный столбец для сегментирования. В случае с Hairball всё так же — приложение постоянно коннектится с Мэйл Чимп и НЕ теряет данных о подписчиках. Попробуйте создать тестовый список, внесите в него данные — имена, что-то ещё, а потом попробуйте способ по пунктам. Тогда всё увидете вживую.
      Единственная проблема может быть, если списки очень большие — но и её можно обойти. Просто грузить в Чимп по 250-1000 email для тестовых сегментов, а оставшуюся часть базы выделять не при помощи сегмента С, а с помощью исключения: is not A, is not B.

      • Артем

         Ого. Это действительно очень полезная информация!

  • Svetlana Kazuba

    А можно еще меньше мучатся без А/В/ и прочее — создавать внутри группы, вместо сегментов.