Сплит-тесты в рассылках: 3 примера (№54)

В прошлый раз мы расширяли свои познания в аналитике рассылок. Сегодня посмотрим сразу несколько примеров сплит-тестов (которые ещё называют «АБ тестирование»).

На всякий случай напомню, что сплит-тест — это проверка на малой части базы разных вариантов одного и того же письма, отличающихся только один-двумя параметрами, с последующей отправкой лучшего варианта остальным подписчикам (см. подробнее А/B-тестирование в рассылках).

1. Тестирование темы письма

Самое простое и наглядное АБ тестирование в письмах — это тестирование их темы (содержание строки subject line).

Подготовка такого теста не занимает много времени — от силы 5 минут на придумывание тем — но результатов можно добиться значительных. Например, увеличить количество кликов в 2,5 раза. Такой случай и рассмотрим ниже.

Проводится тест трёх различных тем:

 А:  Узнайте уровень иностранного языка вашего ребёнка
 Б:  Пройдите тест и получите подарок!
 В:  Какой формат обучения подходит вашему ребёнку?

Варианты рассылаются на 10% подписной базы. Итоги следующие:

Тема Кпр*, % Ккл, %
А  Узнайте уровень иностранного языка вашего ребёнка 6,3 0,9
Б  Пройдите тест и получите подарок! 7,6 2,5
В  Какой формат обучения подходит вашему ребёнку? 5,7 1,1

*Подробнее о показателях эффективности рассылок читайте в отдельной статье.

Победила тема Б. Причём если по просмотрам разница не такая большая, то по кликам — серьёзная.

Почему получилось именно так? Можно сказать, что тема Б самая универсальная: здесь и простой призыв к действию, и обещание выгоды. Но если бы победителем оказалась, скажем, тема В, и тут нашлось бы подходящее объяснение: помог вопрос, заинтриговавший подписчиков.

Результаты тестов всегда понятны задним числом. Важнее — подлинная реакция аудитории.

 

2. Тестирование количества ссылок

Довольно распространённый вопрос: сколько ссылок добавлять в письмо, чтобы получить больше кликов?

Хороший повод проверить это появился благодаря однотипным поздравлениям с 8-м марта, которые одна компания отправила своим подписчикам в 2014-м и 2015-м годах.

Тема писем была одинаковая, содержание — тоже практически идентично. Но отличалось количество ссылок. Если в поздравлении образца 2014 кликабельными были только картинки, то в 2015-м ссылки добавили ещё и к текстам — по факту кликабельным стало всё письмо:

АБ тестирование: сравнение карты кликов двух email рассылок

[Карта кликов писем в сервисе рассылок UniSender]

Результаты получились следующими:

Год Количество ссылок Ккл, %
2014 Только в картинках 0,4
2015 В картинках и текстах 0,3

 

Добавление ссылок в данном случае никак не сказалось на кликах (напротив, отклик во втором письме оказался несколько меньше). Возможно, кликабельность текста не играла большой роли, какую мог бы сыграть дополнительный абзац текста с чётким призывом к действию и кнопкой.

Универсален ли такой вывод? Вряд ли. Стоит вспомнить, например, эксперимент с футером, который однозначно показал:
больше ссылок = больше кликов.

Какой из этих тестов “правильнее”? Не важно. Опять же, лучше выдвигать и проверять гипотезы.

 

3. Тестирование длины письма

Какие письма работают лучше — длинные или короткие?

Если вы зададитесь целью найти правильный ответ в сети, то скорее всего обнаружите аргументы (подкреплённые успешными примерами) в пользу и того, и другого подхода.

Остаётся проверить всё на себе, использовав АБ тестирование.

Задача: анонсировать новый онлайн сервис по электронной почте и получить максимум трафика с письма.

Варианты:

 А:  Рассказать о новом сервисе как можно подробнее — сделать длинное письмо с несколькими ссылками.

 Б:  Рассказать о новом сервисе как можно более сжато — сделать короткое письмо с одной единственной ссылкой.

АБ тестирование: сравнение длинного и короткого письма

Результаты:

Длина письма Ккл, %
А Длинное 3,1
Б Короткое 3,5

 

Выводы: короткое письмо сработало лучше длинного.

Возможно, длинное просто не стали читать, а посыл короткого уяснили моментально. Или аудитория уже ждала сервис и ей достаточно было короткого анонса. Развёрнутое же описание несколько “размазало” призыв к действию и получило меньше кликов.

Но по правде говоря, до теста я ставил на длинный вариант (опираясь на кое-какой предыдущий опыт) — и в данном случае проиграл бы…

 

Заключение

Каждая email кампания по своей сути штучный продукт. Даже полностью повторив наработки одного письма в другом и отправив его по той же самой базе, вы можете получить разный результат. Второе письмо может сработать как лучше, так и хуже.

Ведь имеет значение не только контент и аудитория, но и другие факторы, влияние которых заранее трудно предугадать — время и день отправки, текущее качество доставки, предыдущая коммуникация с подписчиками или даже погода за окном.

 

Поэтому если хотите действовать наверняка — тестируйте. Сплит-тесты темы проводите всякий раз, когда отправляете рассылку (если позволяет размеры базы). Содержание проверяйте в самых важных письмах, ради успеха которых стоит и попотеть, заготавливая разные варианты.

 

P.S. В следующий раз на очереди автореспондеры. Думаю продолжить наметившуюся линию и разобрать “по косточкам” конкретный тип автоматического письма: стимулирование нового заказа у клиента.

 

P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! 🙂