В прошлый раз мы наконец-то “добили” Мэйл Чимп — создание email кампании в сервисе по шагам. Сегодня поговорим про АБ тест в рассылках.
Обычно маркетологам трудно сразу предсказать реакцию подписчиков на то или иное послание. Но при помощи тестирования результаты рассылок можно существенно улучшить.
Суть А/В тестирования проста: части подписчиков вы предъявляете вариант письма А, другой части — вариант В, сравниваете их эффективность и “победителя” по намеченному вами параметру (числу просмотров, числу кликов) рассылаете третьей части базы — самой большой.
Впрочем, здесь есть свои тонкости:
— Варианты А и В должны отличаться только по 1 параметру.
Если параметров больше, то нельзя точно определить, что именно повлияло на результаты тестирования.
— Тестирование нужно проводить по более или менее однородному сегменту базы.
Если вы тестируете кампанию на покупателях товара 1, а затем рассылаете её по покупателям товара 2, то итог вовсе не обязательно будет таким же.
— Выборка подписчиков в тестовые группы должна быть случайной.
Но с этим-то как раз проблем нет: если сервис рассылок, которым вы пользуетесь, поддерживает А/В тесты, он позаботится об этом. При разработке собственного механизма тестирования о таком условии нужно предупредить программистов.
— Объём выборки должен быть достаточным.
Для получения статистически значимых результатов нужно, чтобы группы А и В были достаточно велики. Практика показывает, что число подписчиков, входящих в них, должно находиться в следующих пределах:
250 < A/B < 20 000
Если подписчиков в группе меньше 250, вы не можете поручиться за достоверность тестирования. Ну а проверять группы больше 20 000 не имеет смысла, поскольку больший объём выборки в данном случае уже не приведёт к уточнению результатов.
— Размер групп А и В желательно не должен превышать 10% базы.
Это делается для того, чтобы лучшее содержание получили большинство подписчиков. Однако есть и исключения. Если ваша база невелика (например, порядка 1000 email адресов), то протестировать 500 из них и лучший вариант разослать по остальной половине — не самая плохая идея.
А вот если база меньше 1000 подписчиков, то заморачиваться с А/В тестами, пожалуй, не стоит. Вложенные усилия не окупятся.
АБ-тест: что тестировать?
Вообще, тестировать можно всё, однако есть типовые моменты, которые подлежат проверке:
— тема письма (формулировка — с персонализацией/без, с вопросом/утверждением, с призывом к действию/констатацией факта, длинная/короткая),
— заголовки, подзаголовки (есть/нет, формулировка),
— текст (объём письма, отдельные формулировки, форматирование — шрифты, выделение жирным, курсивом, подчёркивание, цвет, маркированные списки/нумерация),
— картинки (есть/нет, размер, расположение, вид),
— ссылки (расположение, количество, формулировка, форматирование),
— время отправки (будни/выходные, время суток).
АБ-тест: как тестировать?
Отклик базы подписчиков постоянно меняется: что однажды сработало хорошо, в следующий раз может сработать гораздо хуже. Поэтому имеет смысл проводить тесты постоянно (если, конечно, хватает времени этим заниматься).
Проведя А/В тестирование для какой-либо повторяющейся рассылки, вы определяете, что победил вариант А.
В следующий раз вы придумываете новый вариант В и снова проверяете свою гипотезу.
Если вариант В и в самом деле окажется лучше, вам удалось ещё немного повысить эффективность своей кампании. Если остался лидером А — тоже неплохо. Вы лишний раз убедились, что рассылаете наиболее удачный вариант содержания. Но, конечно, не наилучший (наилучший — это 100% подписчиков, открывших ваше письмо и выполнивших заложенное в нём целевое действие).
АБ-тест: пример
1) Для рекламы новой акции в рассылке подготовлено 2 варианта письма:
- А: Тема содержит призыв к действию
Алексей, получите бонус и выиграйте джип!
- В: Тема содержит вопрос
Алексей, хотите выиграть автомобиль?
В остальном письма абсолютно одинаковы.
Тестовая рассылка проводится по случайно выбранным подписчикам: соответственно, часть из них получает вариант А, а другая часть — вариант В.
На следующий день после рассылки измеряются результаты:
| Вариант | Тема письма | Кпр |
| А | Алексей, получите бонус и выиграйте джип | 0,14 |
| В | Алексей, хотите выиграть автомобиль? | 0,16 |
Открываемость письма B выше, чем у A (это основной параметр, на который может влиять тема).
Вариант B рассылается остальной части базы, причём примерно в то же время, в которое была проведена тестовая рассылка.
Окончательный результат: открываемость практически повторяет величину, полученную на предварительном тестировании: 0,16.
2) Теперь пробуем повысить количество кликов:
- А: В конце письма размещена ссылка
Подробнее об акции
- В: В конце письма размещена кнопка
(Рассылка проводится через месяц, по сегменту новых клиентов, ещё не получавших эту кампанию, сегмент насчитывает порядка 1800 подписчиков).
При этом тема у двух вариантов письма одинаковая — выбран выигрышный вопрос. Если бы тема у писем была разная, то количество подписчиков, открывших их, могло различаться существенно, что наверняка сказалось бы и на количестве кликов.
Расположение других элементов письма также одинаковое, чтобы исключить и эту возможность повлиять на клики.
В результате побеждает вариант А:
| Вариант | Ссылка | Ккл |
| А | Простая ссылка | 0,08 |
| В | Кнопка | 0,05 |
Вполне вероятно, кнопка, залитая в письмо картинкой, отобразилась не во всех почтовых программах и это повлияло на количество кликов.
3) Тестируем формулировку ссылки на эффективность:
- А — информирующая формулировка:
Подробнее об акции
- В — формулировка, призывающая к действию и выделенная жирным
Узнать больше об акции
…
Акция длится 6 месяцев и есть возможность анонсировать её среди новых клиентов ежемесячно, а также иногда делать рассылки с напоминанием по всей базе.
В общей сложности, экспериментировать с письмом можно порядка 10 раз и за это время не только повысить эффективность анонса одной конкретной акции, но и использовать те же наработки в других рассылках (вопрос, а не призыв к действию, ссылка, а не кнопка и т.д.).
В заключение
Уже из приведённых выше примеров виден один существенный недостаток А/В тестов — улучшения здесь проводятся медленно. Иногда даже слишком. Возможно, у вас не будет шанса так долго экспериментировать с содержанием письма: оно станет не актуальным или вы исчерпаете свою базу.
Поэтому интересно было бы найти более быстрый способ проверки своих гипотез. И такой способ есть. Это многопараметрическая проверка. Используя его, вы тестируете множество комбинаций сразу: сочетание темы письма и ссылок в нем, картинок и текста и так далее.
Однако и этот способ не лишён недостатков. Если для А/В тестирования вам вполне достаточно базы в 1000 подписчиков, то для многопараметрической проверки требования к объёму базы возрастают. Если вы хотите проверить 3-4 варианта, вам уже понадобятся минимум 2000 подписчиков. Ну а чтобы воспользоваться всеми преимуществами такого тестирования, хорошо иметь базу тысяч в 10. К тому же, чтобы продумать и реализовать такой тест, нужно гораздо больше усилий и времени. Однако порой оно того стоит.
P.S. В следующий раз посмотрим, как провести А/В тестирование на практике — в моём любимом рассылочном сервисе Мэйл Чимп.
P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! 🙂
