Как тесты темы письма влияют на результат в долгосрочной перспективе (№86)

В прошлый раз мы обозревали конкурентов. Сегодня будем говорить
про сплит-тесты темы письма.

Всё-таки они не дают мне покоя:) Весной уже публиковал кейс
на эту тему, но, как мне показалось, он получился недостаточно наглядным.

Задача

То, что сплит-тесты темы у писем дают хороший сиюминутный выигрыш, очень заметно. Вот, например, кейс с ростом кликов на 50%, а вот разница между выигрышным и прочими вариантами более чем в 2 раза.

Но влияет ли это на долгосрочную перспективу?
В принципе, понятно, что улучшая отклик от каждой отдельно взятой рассылки, мы повышаем его и в совокупности.

Однако как именно это работает и какой выигрыш мы получаем по факту — хороший вопрос, который и стал предметом для нынешнего исследования.

 

Исходные данные

В наличии база подписчиков тематической интернет-площадки размером ~800 тыс. человек.

Раз в неделю подписчики получают дайджест всего интересного, что случилось на площадке за это время. Цель дайджеста — напоминать о себе и привлекать трафик.

Рассылка дайджеста проводится с предварительным сплит-тестом темы. Сначала небольшим, отобранным случайным образом группам подписчиков отправляется письма с темами А, Б, В и Г (отличаются только темы, всё остальное содержание одинаковое).

Кстати, о том, какие приёмы можно при этом использовать, есть давняя, но всё ещё актуальная статья: №16 Сочиняем тему для письма

Затем по итогам теста письмо с темой, получившей наибольшее количество просмотров и кликов, рассылается на всю остальную базу — таким образом улучшается общий результат.

Отклик на рассылки в среднем составляет 3-4% просмотров
и до 1% кликов.

 

Контрольная группа

Выделим в базе контрольную группу подписчиков, которым перестанем отправлять сплит-тесты.

Необходимый размер группы определим при помощи
калькулятора статистической значимости
(например, такого: http://www.zettasphere.com/abcalculator/).

При среднем отклике 1% и минимальной разнице показателей теста на 10% получаем размер группы не менее ~80 тыс. подписчиков:

Сплит-тесты: расчёт размера контрольной группы

Возьмём все мыслимые и немыслимые запасы, увеличив этот размер до ~400 тыс. подписчиков — т.е. где-то до половины существующей базы.

Отберём нужное число подписчиков по методу «каждый N-й». Т.е. в нашем случае понадобится взять каждого 2-го подписчика.

 

Методика эксперимента

Проверять эффективность сплит-тестов темы будем следующим образом:

Утром отправляем письма с темами А, Б, В и Г по случайной выборке подписчиков как обычно — однако не включаем сюда нашу контрольную группу.
Днём по результатам теста отправляем письмо с темой-победителем на остальную базу — опять же, не включая контрольную группу.
Одновременно отправляем письмо с темой А, независимо от того, победила она или нет, контрольной группе.
Через неделю после отправки сравниваем отклик базы, получившей письмо с темой-победителем, и контрольной группы, получившей первую тему без теста.

Сроки проведения

Поскольку нас интересует долгосрочный эффект от применения сплит-тестов темы, то мы будем проводить описанный выше эксперимент в течение 3-х месяцев.

У длительного эксперимента есть свои нюансы: база пополняется новыми подписчиками, и за такой промежуток времени их набирается достаточно много.

Это может вносить искажения в результат: контрольная группа «стареет», в то время как остальная база получает «свежую кровь», которая реагирует на рассылки в целом активнее и увеличивает расхождение по отклику между группами.

Импорт подписчиков в контрольную группу

Чтобы этого избежать, каждую неделю будем пополнять контрольную группу новыми подписчиками, отобранными из числа тех, кто добавился за этот период, всё по тому же принципу — с помощью выборки «каждый N-й» (в нашем случае, каждого 2-го).

Таким образом контрольная группа будет обновляться так же, как и остальная база. Часть подписчиков после рассылок убывает из-за отписки, жалоб на спам и технических факторов, но часть и прибывает за счёт новых подписчиков.

 

Результаты

За время эксперимента с июля по октябрь (в августе был сделан перерыв на 3 недели в связи с отпуском), результаты получились следующие:

Сплит-тесты: результаты долгосрочного тестирования темы письма

В среднем отклик базы, получавшей рассылки со сплит-тестом темы, оказался выше, чем у контрольной группы — по просмотрам ~ на 20%, по кликам ~ на 40%.

Т.е. то, что было понятно чисто умозрительно — что сумма выигрышных рассылок даёт и более высокий общий результат — подтвердилось на практике.

При этом, если сравнивать это с тестированием времени отправки, которое увеличивает общий отклик максимум на 10-20% (а в среднем и значительно меньше), то сплит-тесты темы работают сильнее.

Пожалуй, по соотношению трудоёмкость/отдача это самый привлекательный вид тестирования — его просто проводить, а повышение отклика весьма наглядно. И как мы теперь видим, это может приносить долгосрочный, стратегический результат.

 В следующий раз метнёмся от тестов к содержанию:) Разберём тему ошибок в email рассылках, причём постараемся взглянуть на проблему не под самым обычным углом! 

P.S. Вы находите материалы Email-practice полезными?
Тогда читайте мою книгу «E-mail маркетинг для интернет-магазина»!

Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем
почтовом ящике 😉