Практичный email [CRM] маркетинг

В прошлый раз мы наконец-то “добили” Мэйл Чимп — создание email кампании в сервисе по шагам. Сегодня поговорим про АБ тест в рассылках.

Обычно маркетологам трудно сразу предсказать реакцию подписчиков на то или иное послание. Но при помощи тестирования результаты рассылок можно существенно улучшить.

Суть А/В тестирования проста: части подписчиков вы предъявляете вариант письма А, другой части — вариант В, сравниваете их эффективность и “победителя” по намеченному вами параметру (числу просмотров, числу кликов) рассылаете третьей части базы — самой большой.

 Впрочем, здесь есть свои тонкости:

— Варианты А и В должны отличаться только по 1 параметру.

Если параметров больше, то нельзя точно определить, что именно повлияло на результаты тестирования.

— Тестирование нужно проводить по более или менее однородному сегменту базы.

Если вы тестируете кампанию на покупателях товара 1, а затем рассылаете её по покупателям товара 2, то итог вовсе не обязательно будет таким же.

— Выборка подписчиков в тестовые группы должна быть случайной.

Но с этим-то как раз проблем нет: если сервис рассылок, которым вы пользуетесь, поддерживает А/В тесты, он позаботится об этом. При разработке собственного механизма тестирования о таком условии нужно предупредить программистов.

— Объём выборки должен быть достаточным.

Для получения статистически значимых результатов нужно, чтобы группы А и В были достаточно велики. Практика показывает, что число подписчиков, входящих в них, должно находиться в следующих пределах:

250 < A/B < 20 000

Если подписчиков в группе меньше 250, вы не можете поручиться за достоверность тестирования. Ну а проверять группы больше 20 000 не имеет смысла, поскольку больший объём выборки в данном случае уже не приведёт к уточнению результатов.

— Размер групп А и В желательно не должен превышать 10% базы.

Это делается для того, чтобы лучшее содержание получили большинство подписчиков. Однако есть и исключения. Если ваша база невелика (например, порядка 1000 email адресов), то протестировать 500 из них и лучший вариант разослать по остальной половине — не самая  плохая идея.

А вот если база меньше 1000 подписчиков, то заморачиваться с А/В тестами, пожалуй, не стоит. Вложенные усилия не окупятся.

АБ-тест: что тестировать?

Вообще, тестировать можно всё, однако есть типовые моменты, которые подлежат проверке:

— тема письма (формулировка — с персонализацией/без, с вопросом/утверждением, с призывом к действию/констатацией факта, длинная/короткая),

— заголовки, подзаголовки (есть/нет, формулировка),

— текст (объём письма, отдельные формулировки, форматирование — шрифты, выделение жирным, курсивом, подчёркивание, цвет, маркированные списки/нумерация),

— картинки (есть/нет, размер, расположение, вид),

— ссылки (расположение, количество, формулировка, форматирование),

— время отправки (будни/выходные, время суток).

АБ-тест: как тестировать?

Отклик базы подписчиков постоянно меняется: что однажды сработало хорошо, в следующий раз может сработать гораздо хуже. Поэтому имеет смысл проводить тесты постоянно (если, конечно, хватает времени этим заниматься).

Проведя А/В тестирование для какой-либо повторяющейся рассылки, вы определяете, что победил вариант А.

В следующий раз вы придумываете новый вариант В и снова проверяете свою гипотезу.

Если вариант В и в самом деле окажется лучше, вам удалось ещё немного повысить эффективность своей кампании. Если остался лидером А — тоже неплохо. Вы лишний раз убедились, что рассылаете наиболее удачный вариант содержания. Но, конечно, не наилучший (наилучший — это 100% подписчиков, открывших ваше письмо и выполнивших заложенное в нём целевое действие).

АБ-тест: пример

1) Для рекламы новой акции в рассылке подготовлено 2 варианта письма:

• А: Тема содержит призыв к действию

Алексей, получите бонус и выиграйте джип!

• В: Тема содержит вопрос

Алексей, хотите выиграть автомобиль?

В остальном письма абсолютно одинаковы.

Тестовая рассылка проводится по случайно выбранным подписчикам: соответственно, часть из них получает вариант А, а другая часть — вариант В.

На следующий день после рассылки измеряются результаты:

Вариант	Тема письма	Кпр
А	Алексей, получите бонус и выиграйте джип	0,14
В	Алексей, хотите выиграть автомобиль?	0,16

Открываемость письма B выше, чем у A (это основной параметр, на который может влиять тема).

Вариант B рассылается остальной части базы, причём примерно в то же время, в которое была проведена тестовая рассылка.

Окончательный результат: открываемость практически повторяет величину, полученную на предварительном тестировании: 0,16.

2) Теперь пробуем повысить количество кликов:

• А:  В конце письма размещена ссылка

Подробнее об акции

• В:  В конце письма размещена кнопка

(Рассылка проводится через месяц, по сегменту новых клиентов, ещё не получавших эту кампанию, сегмент насчитывает порядка 1800 подписчиков).

При этом тема у двух вариантов письма одинаковая — выбран выигрышный вопрос. Если бы тема у писем была разная, то количество подписчиков, открывших их, могло различаться существенно, что наверняка сказалось бы и на количестве кликов.

Расположение других элементов письма также одинаковое, чтобы исключить и эту возможность повлиять на клики.

В результате побеждает вариант А:

Вариант	Ссылка	Ккл
А	Простая ссылка	0,08
В	Кнопка	0,05

Вполне вероятно, кнопка, залитая в письмо картинкой, отобразилась не во всех почтовых программах и это повлияло на количество кликов.

3) Тестируем формулировку ссылки на эффективность:

• А — информирующая формулировка:

Подробнее об акции

• В — формулировка, призывающая к действию и выделенная жирным

Узнать больше об акции

…

Акция длится 6 месяцев и есть возможность анонсировать её среди новых клиентов ежемесячно, а также иногда делать рассылки с напоминанием по всей базе.

В общей сложности, экспериментировать с письмом можно порядка 10 раз и за это время не только повысить эффективность анонса одной конкретной акции, но и использовать те же наработки в других рассылках (вопрос, а не призыв к действию, ссылка, а не кнопка и т.д.).

В заключение

Уже из приведённых выше примеров виден один существенный недостаток А/В тестов — улучшения здесь проводятся медленно. Иногда даже слишком. Возможно, у вас не будет шанса так долго экспериментировать с содержанием письма: оно станет не актуальным или вы исчерпаете свою базу.

Поэтому интересно было бы найти более быстрый способ проверки своих гипотез. И такой способ есть. Это многопараметрическая проверка. Используя его, вы тестируете множество комбинаций сразу: сочетание темы письма и ссылок в нем, картинок и текста и так далее.

Однако и этот способ не лишён недостатков. Если для А/В тестирования вам вполне достаточно базы в 1000 подписчиков, то для многопараметрической проверки требования к объёму базы возрастают. Если вы хотите проверить 3-4 варианта, вам уже понадобятся минимум 2000 подписчиков. Ну а чтобы воспользоваться всеми преимуществами такого тестирования, хорошо иметь базу тысяч в 10. К тому же, чтобы продумать и реализовать такой тест, нужно гораздо больше усилий и времени. Однако порой оно того стоит.

 

P.S. В следующий раз посмотрим, как провести А/В тестирование на практике — в моём любимом рассылочном сервисе Мэйл Чимп.

 

P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! 🙂