 |
Теперь, когда мы подкованы в теории А/В тестирования, самое время перейти к практике. |
| Большинство рассылочных сервисов поддерживают AB тест. Конечно, разбираться будем на примере функционала Мэйл Чимп. | |
Автоматический AB тест
Как обычно, создаём email-кампанию. Для этого переходим в пункт горизонтального меню Campaigns, кликаем по большой красной кнопке слева Create Campaign и выбираем из выпадающего списка A/B Split Campaign:
Кроме обычных шагов подготовки кампании, здесь есть дополнительный шаг в самом начале — A/B Split:
- На этом шаге выбираем, что подлежит тесту:
| — Subject Lines (тема письма), — From Names (имя отправителя), — Delivery Date/Times (время отправки). |
- Если тестируем тему письма или имя отправителя, то дальше определяем:
— размер выборки для тестовых сегментов A и B:
| — способ определения кампании-победителя: |
— время отправки кампании-победителя по остальной базе (предпочтительно — 1 день):
— На шаге Setup вводим либо 2 темы письма, либо 2 имени отправителя:
— Запускаем кампанию.
Если выбор лучшего варианта автоматизирован, остаётся только ждать итогового результата.
Если в шаге A/B split вы установили выбор лучшего варианта вручную, то через некоторое время нужно будет провести аналитику кампании самостоятельно.
Для этого кликаем на кнопку Report напротив названия кампании в общем списке и получаем доступ к A/B отчёту во вкладке A/B Split Results:
Проанализировав результаты на основе показателей эффективности, выбираем лучший вариант и рассылаем его по оставшейся части списка.
- Если тестируем время отправки, то
— Размер выборки для тестовых сегментов A и B задавать не нужно, список автоматически будет разделен пополам.
— Способ определения кампании-победителя и время её отправки по остальной части списка установить нельзя.
— На шаге Confirm выбираем 2 времени для отправки — по половине списка А и по половине списка B:
После того, как время для отправки задано, кампания ставится в расписание.
Когда она будет разослана по обеим частям списка, нужно сравнить результаты и выяснить, какое время отправки оказалось эффективнее. А затем использовать это в будущих рассылках.
AB тест вручную
Часто AB тест хочется провести не только для темы, имени отправителя или времени отправки, но и для различных вариантов содержания. Однако возможность сделать это автоматически в MailChimp пока не предусмотрена.
Поэтому, если нужно сравнить эффективность двух продающих текстов, двух картинок, ссылок и т.д., то тестовые сегменты для такой рассылки придётся создавать вручную.
Здесь есть 2 способа:
 |
Это можно сделать при помощи специального приложения Мэйл Чимп для работы со списками Hairball. |
 |
А можно воспользоваться старыми-добрыми таблицами Excel. |
Для этого:
— Выгружаем список рассылки из MailChimp, воспользовавшись опцией Download:
— Меняем кодировку в файле на Юникод (UTF-8), указав разделителями запятые:
— Удаляем в таблице лишние столбцы, оставив только список email:
— Чтобы выборка была случайной, перемешиваем адреса (например, выстроив их по алфавиту).
— В соседнем столбце проставляем названия сегментов A и B для 10% списка (напоминаю, что минимальное количество адресов в тестовом сегменте должно быть не менее 250):
— Для всех оставшихся адресов проставляем в соседнем столбце параметр C:
— Импортируем получившиеся столбцы обратно в тот же самый список Мейл Чимп, используя Copy/Paste from Excel (как загружать базу, читаем здесь).
— Важно! При импорте обязательно нужно проставить галочку в чек-боксе Auto-Update My Existing List, чтобы Чимп не добавлял адреса заново, а обновил уже существующие данные:
— Столбец с email Чимп определит сам.
— Для букв A, B и C создаём новый столбец в формате text, называем его, например, Сегмент для теста:
— Не забываем потом скрыть этот столбец в формах Чимп, поскольку это служебная информация:
— Нажимаем кнопку Import и ждём, когда список рассылки будет обновлён.
Теперь, если мы хотим протестировать, к примеру, заголовки в письме, картинки, ссылки или призыв к действию, то можно провести такой тест вручную:
- Создаём кампанию А (как Regular Ol’ Campaign).
- На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент А:
- Создаём содержание кампании А.
- Делаем копию кампании А (называем, соответственно, кампания В).
- На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент B:
- Изменяем в содержании кампании B то, что хотим протестировать (например, вместо ссылок вставляем кнопки).
- Отправляем одновременно кампании А и B.
- Через заданное время (например, через день), сводим результаты в таблице и выбираем лучшую:
Здесь уже можно воспользоваться расширенной аналитикой рассылок, если в каждую кампанию добавлена своя метка веб-аналитики.
- Создаём копию этой кампании (называем её С).
- На шаге 1 накладываем фильтр на список рассылки, чтобы выделить сегмент С:
- Не меняя содержания кампании, делаем рассылку.
- Через заданное время (например, через неделю), замеряем результаты и сравниваем их с результатами кампании-победителя, чтобы удостовериться в корректности теста.
Делая новую кампанию, состав сегментов в списке рассылки можно изменить, вновь воспользовавшись выгрузкой-загрузкой базы через Excel.
Если база достаточно велика, то можно создавать и больше тестовых сегментов: A, B, С, D и т.д. и проводить уже многопараметрические проверки.
Способ с Excel немного мудрёный, но работоспособный. Может быть, он вам пригодится)
P.S. В следующий раз вернёмся к теме автоответчиков в рассылках.
P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! 🙂
 |
Примечание |
| Частично информация в этой статье ещё актуальна, однако сам интерфейс сплит-тестов радикально переменился. Читайте об этом в более поздней статье блога: №59 Новое A/B тестирование MailChimp. | |
