В прошлый раз мы обозревали конкурентов. Сегодня будем говорить
про сплит-тесты темы письма.
Всё-таки они не дают мне покоя:) Весной уже публиковал кейс
на эту тему, но, как мне показалось, он получился недостаточно наглядным.
Задача
То, что сплит-тесты темы у писем дают хороший сиюминутный выигрыш, очень заметно. Вот, например, кейс с ростом кликов на 50%, а вот разница между выигрышным и прочими вариантами более чем в 2 раза.
Но влияет ли это на долгосрочную перспективу?
В принципе, понятно, что улучшая отклик от каждой отдельно взятой рассылки, мы повышаем его и в совокупности.
Однако как именно это работает и какой выигрыш мы получаем по факту — хороший вопрос, который и стал предметом для нынешнего исследования.
Исходные данные
В наличии база подписчиков тематической интернет-площадки размером ~800 тыс. человек.
Раз в неделю подписчики получают дайджест всего интересного, что случилось на площадке за это время. Цель дайджеста — напоминать о себе и привлекать трафик.
Рассылка дайджеста проводится с предварительным сплит-тестом темы. Сначала небольшим, отобранным случайным образом группам подписчиков отправляется письма с темами А, Б, В и Г (отличаются только темы, всё остальное содержание одинаковое).
![]() |
Кстати, о том, какие приёмы можно при этом использовать, есть давняя, но всё ещё актуальная статья: №16 Сочиняем тему для письма |
Затем по итогам теста письмо с темой, получившей наибольшее количество просмотров и кликов, рассылается на всю остальную базу — таким образом улучшается общий результат.
Отклик на рассылки в среднем составляет 3-4% просмотров
и до 1% кликов.
Контрольная группа
Выделим в базе контрольную группу подписчиков, которым перестанем отправлять сплит-тесты.
Необходимый размер группы определим при помощи
калькулятора статистической значимости
(например, такого: http://www.zettasphere.com/abcalculator/).
При среднем отклике 1% и минимальной разнице показателей теста на 10% получаем размер группы не менее ~80 тыс. подписчиков:
Возьмём все мыслимые и немыслимые запасы, увеличив этот размер до ~400 тыс. подписчиков — т.е. где-то до половины существующей базы.
Отберём нужное число подписчиков по методу «каждый N-й». Т.е. в нашем случае понадобится взять каждого 2-го подписчика.
Методика эксперимента
Проверять эффективность сплит-тестов темы будем следующим образом:
Утром отправляем письма с темами А, Б, В и Г по случайной выборке подписчиков как обычно — однако не включаем сюда нашу контрольную группу. | |
Днём по результатам теста отправляем письмо с темой-победителем на остальную базу — опять же, не включая контрольную группу. | |
Одновременно отправляем письмо с темой А, независимо от того, победила она или нет, контрольной группе. | |
Через неделю после отправки сравниваем отклик базы, получившей письмо с темой-победителем, и контрольной группы, получившей первую тему без теста. | |
Сроки проведения
Поскольку нас интересует долгосрочный эффект от применения сплит-тестов темы, то мы будем проводить описанный выше эксперимент в течение 3-х месяцев.
У длительного эксперимента есть свои нюансы: база пополняется новыми подписчиками, и за такой промежуток времени их набирается достаточно много.
Это может вносить искажения в результат: контрольная группа «стареет», в то время как остальная база получает «свежую кровь», которая реагирует на рассылки в целом активнее и увеличивает расхождение по отклику между группами.
Чтобы этого избежать, каждую неделю будем пополнять контрольную группу новыми подписчиками, отобранными из числа тех, кто добавился за этот период, всё по тому же принципу — с помощью выборки «каждый N-й» (в нашем случае, каждого 2-го).
Таким образом контрольная группа будет обновляться так же, как и остальная база. Часть подписчиков после рассылок убывает из-за отписки, жалоб на спам и технических факторов, но часть и прибывает за счёт новых подписчиков.
Результаты
За время эксперимента с июля по октябрь (в августе был сделан перерыв на 3 недели в связи с отпуском), результаты получились следующие:
В среднем отклик базы, получавшей рассылки со сплит-тестом темы, оказался выше, чем у контрольной группы — по просмотрам ~ на 20%, по кликам ~ на 40%.
Т.е. то, что было понятно чисто умозрительно — что сумма выигрышных рассылок даёт и более высокий общий результат — подтвердилось на практике.
При этом, если сравнивать это с тестированием времени отправки, которое увеличивает общий отклик максимум на 10-20% (а в среднем и значительно меньше), то сплит-тесты темы работают сильнее.
Пожалуй, по соотношению трудоёмкость/отдача это самый привлекательный вид тестирования — его просто проводить, а повышение отклика весьма наглядно. И как мы теперь видим, это может приносить долгосрочный, стратегический результат.
![]() |
В следующий раз метнёмся от тестов к содержанию:) Разберём тему ошибок в email рассылках, причём постараемся взглянуть на проблему не под самым обычным углом! |
P.S. Вы находите материалы Email-practice полезными?
Тогда читайте мою книгу «E-mail маркетинг для интернет-магазина»!
Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем
почтовом ящике 😉