№20 А/В тестирование в рассылках

В прошлый раз мы наконец-то “добили” Мэйл Чимп — создание email кампании в сервисе по шагам. Сегодня поговорим о тестах в рассылках.

Обычно маркетологам трудно сразу предсказать реакцию подписчиков на то или иное послание. Но при помощи тестирования результаты рассылок можно существенно улучшить.

Суть А/В тестирования проста: части подписчиков вы предъявляете вариант письма А, другой части — вариант В, сравниваете их эффективность и “победителя” по намеченному вами параметру (числу просмотров, числу кликов) рассылаете третьей части базы — самой большой.

 Впрочем, здесь есть свои тонкости:

- Варианты А и В должны отличаться только по 1 параметру.

Если параметров больше, то нельзя точно определить, что именно повлияло на результаты тестирования.

- Тестирование нужно проводить по более или менее однородному сегменту базы.

Если вы тестируете кампанию на покупателях товара 1, а затем рассылаете её по покупателям товара 2, то итог вовсе не обязательно будет таким же.

- Выборка подписчиков в тестовые группы должна быть случайной.

Но с этим-то как раз проблем нет: если сервис рассылок, которым вы пользуетесь, поддерживает А/В тесты, он позаботится об этом. При разработке собственного механизма тестирования о таком условии нужно предупредить программистов.

- Объём выборки должен быть достаточным.

Для получения статистически значимых результатов нужно, чтобы группы А и В были достаточно велики. Практика показывает, что число подписчиков, входящих в них, должно находиться в следующих пределах:

250 < A/B < 20 000

Если подписчиков в группе меньше 250, вы не можете поручиться за достоверность тестирования. Ну а проверять группы больше 20 000 не имеет смысла, поскольку больший объём выборки в данном случае уже не приведёт к уточнению результатов.

- Размер групп А и В желательно не должен превышать 10% базы.

Это делается для того, чтобы лучшее содержание получили большинство подписчиков. Однако есть и исключения. Если ваша база невелика (например, порядка 1000 email адресов), то протестировать 500 из них и лучший вариант разослать по остальной половине — не самая  плохая идея.

А вот если база меньше 1000 подписчиков, то заморачиваться с А/В тестами, пожалуй, не стоит. Вложенные усилия не окупятся.

Что тестировать?

Вообще, тестировать можно всё, однако есть типовые моменты, которые подлежат проверке:

тема письма (формулировка — с персонализацией/без, с вопросом/утверждением, с призывом к действию/констатацией факта, длинная/короткая),

заголовки, подзаголовки (есть/нет, формулировка),

текст (объём письма, отдельные формулировки, форматирование — шрифты, выделение жирным, курсивом, подчёркивание, цвет, маркированные списки/нумерация),

картинки (есть/нет, размер, расположение, вид),

ссылки (расположение, количество, формулировка, форматирование),

время отправки (будни/выходные, время суток).

Как тестировать

Отклик базы подписчиков постоянно меняется: что однажды сработало хорошо, в следующий раз может сработать гораздо хуже. Поэтому имеет смысл проводить тесты постоянно (если, конечно, хватает времени этим заниматься).

Проведя А/В тестирование для какой-либо повторяющейся рассылки, вы определяете, что победил вариант А.

В следующий раз вы придумываете новый вариант В и снова проверяете свою гипотезу.

Если вариант В и в самом деле окажется лучше, вам удалось ещё немного повысить эффективность своей кампании. Если остался лидером А — тоже неплохо. Вы лишний раз убедились, что рассылаете наиболее удачный вариант содержания. Но, конечно, не наилучший (наилучший — это 100% подписчиков, открывших ваше письмо и выполнивших заложенное в нём целевое действие).

Пример

1) Для рекламы новой акции в рассылке подготовлено 2 варианта письма:

  • А: Тема содержит призыв к действию

Алексей, получите бонус и выиграйте джип!

  • В: Тема содержит вопрос

Алексей, хотите выиграть автомобиль?

В остальном письма абсолютно одинаковы.

Тестовая рассылка проводится по случайно выбранным подписчикам: соответственно, часть из них получает вариант А, а другая часть — вариант В.

На следующий день после рассылки измеряются результаты:

Вариант Тема письма Кпр
 А  Алексей, получите бонус и выиграйте джип 0,14
 В  Алексей, хотите выиграть автомобиль? 0,16

Открываемость письма B выше, чем у A (это основной параметр, на который может влиять тема).

Вариант B рассылается остальной части базы, причём примерно в то же время, в которое была проведена тестовая рассылка.

Окончательный результат: открываемость практически повторяет величину, полученную на предварительном тестировании: 0,16.

2) Теперь пробуем повысить количество кликов:

  • А:  В конце письма размещена ссылка

Подробнее об акции

  • В:  В конце письма размещена кнопка


(Рассылка проводится через месяц, по сегменту новых клиентов, ещё не получавших эту кампанию, сегмент насчитывает порядка 1800 подписчиков).

При этом тема у двух вариантов письма одинаковая — выбран выигрышный вопрос. Если бы тема у писем была разная, то количество подписчиков, открывших их, могло различаться существенно, что наверняка сказалось бы и на количестве кликов.

Расположение других элементов письма также одинаковое, чтобы исключить и эту возможность повлиять на клики.

В результате побеждает вариант А:

Вариант Ссылка Ккл
А  Простая ссылка 0,08
В  Кнопка 0,05

Вполне вероятно, кнопка, залитая в письмо картинкой, отобразилась не во всех почтовых программах и это повлияло на количество кликов.

3) Тестируем формулировку ссылки на эффективность:

  • А — информирующая формулировка:

Подробнее об акции

  • В — формулировка, призывающая к действию и выделенная жирным

Узнать больше об акции

Акция длится 6 месяцев и есть возможность анонсировать её среди новых клиентов ежемесячно, а также иногда делать рассылки с напоминанием по всей базе.

В общей сложности, экспериментировать с письмом можно порядка 10 раз и за это время не только повысить эффективность анонса одной конкретной акции, но и использовать те же наработки в других рассылках (вопрос, а не призыв к действию, ссылка, а не кнопка и т.д.).

В заключение

Уже из приведённых выше примеров виден один существенный недостаток А/В тестов — улучшения здесь проводятся медленно. Иногда даже слишком. Возможно, у вас не будет шанса так долго экспериментировать с содержанием письма: оно станет не актуальным или вы исчерпаете свою базу.

Поэтому интересно было бы найти более быстрый способ проверки своих гипотез. И такой способ есть. Это многопараметрическая проверка. Используя его, вы тестируете множество комбинаций сразу: сочетание темы письма и ссылок в нем, картинок и текста и так далее.

Однако и этот способ не лишён недостатков. Если для А/В тестирования вам вполне достаточно базы в 1000 подписчиков, то для многопараметрической проверки требования к объёму базы возрастают. Если вы хотите проверить 3-4 варианта, вам уже понадобятся минимум 2000 подписчиков. Ну а чтобы воспользоваться всеми преимуществами такого тестирования, хорошо иметь базу тысяч в 10. К тому же, чтобы продумать и реализовать такой тест, нужно гораздо больше усилий и времени. Однако порой оно того стоит.

 

P.S. В следующий раз посмотрим, как провести А/В тестирование на практике — в моём любимом рассылочном сервисе Мэйл Чимп.

 

P.P.S. Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем почтовом ящике! :-)

 

 


  • Artem

    В Mailchimp предусмотрена 
    многопараметрическая 
    проверка? 

    • Нет, к сожалению. Если и пробовать делать что-то такое в MailChimp, то только вручную)
      Но работал ещё с Юнисендером, и как раз там, кажется, можно тестировать одновременно больше 2-х вариантов. Но сам этой возможностью пока не пользовался.

      • Artem

        Будем ждать обновлений, может нечто подобное будет реализовано:-) Кстати, насчет теста вручную: Алексей, Вы, случайно, не знаете как разбить один список на 2 одинаковых? Мы сейчас как раз занялись сплит-тестированием, а в Mailchimp не хватает возможностей для тех тестов, которые мы собираемся провести…У нас  98000 подписчиков, хотелось бы разбить на 2. Тех.поддержка Чимпа рекомендовала бесплатное приложение Hairball, интересное решение, но оно нам не подходит….

        • Тоже хотел вам Hairball посоветовать) хорошее приложение для работы со списками. Почему не подходит? 
          Первое, что приходит в голову — это выгрузить в эксель, там поделить пополам или на сколько вам нужно частей и загрузить в сервис разными списками. 
          Второе, это попробовать воспользоваться сегментацией списка прямо в Чимпе по какому-либо параметру (например, по дате подписки, почтовому клиенту и т.д.). Так можно «методом тыка» выделить в базе несколько более-менее одинаковых частей. Не совсем случайная выборка, но хоть что-то.

          + Мэйл Чимп всё-таки «любительский» сервис для работы с не такими большими списками, вот и функционал у них соответствующий. Возможно, вам имеет смысл переехать на более профессиональную платформу, хотя это дороже (тыс. от 10 в месяц, думаю).

          • Artem

            Деление экселем не подходит…Всё таки списки подписчиков динамичные, придется всё время перекидывать из одно в другой или делить. Тех. поддержка посоветовала группировать, именно не сегментировать, а группировать списки (подробнее здесь кому интересно http://eepurl.com/gWOb ), попробуем-с.

          • Никогда ещё не работал с группами. Но мне всегда казалось, что это всё-таки не предусматривает деление списка на равные части, а скорее ближе к той же самой сегментации. Тем не менее, интересно будет узнать, что у вас получилось. Пишите!:-)

          • Artem

            Да, согласен, это тоже сегментация) Посмотрим, что из этого выйдет))

  • Dan

    А что насчет Subscribe?

    • Пользовался однажды. Не очень понравилось. Интерфейс неудобный. Самый удобный пока что у Mailchimp видел. 
      Под профессиональными сервисами имел ввиду западные: Emailvision и Expertsender. 
      Видел презентацию возможностей и того, и другого — впечатлило. Один минус, что дорого, и реально — для больших списков. 
      Промежуточный вариант, пожалуй, Юнисендер. Интерфейс тоже на троечку, но функционал нормальный + позволяет работать с бОльшими списками, чем Чимп. И подешевле)

      • Артем

        Насчет Subscribe полностью соглашусь, с Чимпом просто отдыхаешь. А сервисы 
        Emailvision и Expertsender  будем тестировать, спасибо за подсказку!

        • Эх, я бы с радостью сам их потестил. Но там всё не так просто. Это чистое bхb — нет возможности зарегить аккаунт, как в том же Чимпе. 
          Только оставить контакт, а потом уже общаться с их отделом продаж.