Практичный email [CRM] маркетинг

В прошлый раз мы измеряли результаты тестов вообще, а сегодня будем тестировать один конкретный элемент email маркетинга — источник подписки. Причём посмотрим не только, как измерять, но и как проводить такие тесты, что тестировать.

Под источниками подписки имею ввиду, конечно, в первую очередь различные формы: поп-ап, в футере, регистрации, заказа, заявки на услугу и так далее. Если форма содержит поле для ввода email, она уже потенциально может быть нашим источником.

 

Что тестировать

Для начала посмотрим, что тестировать у источников подписки.

• Расположение

Первое, что приходит на ум — это как располагается источник подписки на сайте. Например, форма подписки может размещаться в футере, на полях или в шапке. Можно сравнить результаты этих расположений и выбрать наиболее эффективное.

У поп-ап формы тоже есть свои варианты — по центру, сбоку, снизу:

Сюда же добавляются и условия демонстрации: сразу после захода на сайт, спустя какое-то время (10-20-30-… секунд), после просмотра определённого числа страниц (2-3-4-…), после конкретного действия пользователя — например, скроллинга страницы или попытки покинуть сайт.

• Оформление

Следующий предмет для теста — это внешний вид; как источник подписки оформлен.

Можно экспериментировать с цветом, размером, формой, обрамлением рамкой, иллюстрациями и прочими элементами дизайна:

Для поп-апа сюда же добавляется и оформление в динамике: насколько плавно появляется окно, сопровождается ли какими-либо эффектами, анимацией и т.д.

• Содержание

Наконец, важный предмет для тестирования —  что источник подписки содержит: заголовок, текст, количество полей, призыв к действию на кнопке и т.д.

Можно экспериментировать с различными предложениями (подпишитесь на рассылку и получите скидку / полезную брошюру / клиентскую карту). А можно сосредоточиться на нюансах одного и того же предложения (подпишитесь на рассылку и получите скидку 5 / 10 / 15 / … %).

 

Как тестировать

Самый очевидный способ — тестировать источники последовательно.

Т.е. сначала мы размещаем на сайте вариант А, ждём некоторое время, затем меняем его на вариант Б, снова ждём — а потом сравниваем результаты.

Преимущество такого способа — простота. Заголовок в форме подписки, например, нетрудно поменять своими силами. При этом изменённый вариант будет демонстрироваться 100% трафика.

Более «продвинутый» способ тестирования — параллельный,
т.е сплит-тестирование.

Части посетителей сайта мы показываем вариант А, части Б, и в режиме реального времени наглядно сравниваем результаты:

Преимущество такого способа в том, что он точнее. Результаты будут более однозначными, т.к. мы работаем с одним и тем же трафиком (в отличие от последовательного тестирования, когда мы имеем дело с трафиком, разнесённым по времени, который может быть разного качества).

Но есть и недостатки. В первую очередь, параллельный тест технически сложнее. Чтобы его организовать, скорее всего понадобится помощь веб-разработчика (если мы только не пользуемся каким-то готовым решением вроде конструктора лэндингов, куда нужный функционал может быть встроен).

Кроме того, для параллельного теста нужен более интенсивный трафик, чтобы получать достоверные результаты.

 

Как измерять

Здесь воспользуемся методикой, предложенной в прошлой статье.

→ На какие показатели влияет тест?

Очевидно, что тест источника подписки влияет на количество поступающих email-адресов. Чем больше email собирает источник (разумеется, корректных и качественных), тем лучше.

→ Как измерить эти показатели?

Чтобы сравнивать количество email-адресов, поступающих из разных вариантов источника подписки, нам нужно уметь их отличать.

Для последовательного тестирования таким отличием выступает время замеров (на этой неделе мы пробовали вариант А, на следующей неделе будем пробовать Б).

Для параллельного тестирования нужно передавать вместе с email-адресом сведения об источнике подписки. Аккумулировать данные удобно в сервисе рассылок, куда источник подлючается посредством API:

Подробнее о том, как наладить передачу данных см. в статье №35 Синхронизация базы данных с рассылочным сервисом.

→ Когда измерять?

Продолжительность теста зависит от количества трафика. Трафик в любом случае должен быть интенсивным (тысячи посещений), чтобы мы могли получить результат в приемлемые сроки.

Здесь можно воспользоваться статистическим калькулятором, чтобы оценить, сколько трафика нам понадобится для оценки той или иной гипотезы.

Например, текущая конверсия источника в подписку 2%.
Мы предполагаем, что с помощью теста поднимем её на 20%.

Вводим данные в калькулятор (скажем, возьмём такой http://www.evanmiller.org/ab-testing/sample-size.html) и получаем:

Т.е. для проверки гипотезы нам понадобится около 20 000 посещений нашего сайта на каждый вариант.

Если варианта 2, то получаем 20 000 × 2 = 40 000 посещений.
Если средний трафик у нас 2 000 посещений в день, то тест займёт 40 000 / 2 000 = 20 дней, т.е. примерно 3 недели.

→ Достоверен ли получившийся результат?

От количества трафика зависит не только продолжительность, но и достоверность тестирования.

Т.е. получив результат, мы снова обращаемся к нашему калькулятору, чтобы проверить, насколько он статистически значим.

Например, мы получили вместо роста на 20% только 10%:

При текущем количестве трафика статистическая значимость этого результата 83%, что не очень надёжно (вообще, «железобетонная» достоверность — выше 95%; всё, что ниже 80% — недостоверно). Так что здесь не мешало бы продлить тест, чтобы получить более убедительные результаты.

 

Примеры

Ну а теперь, как водится, перейдём к практике. Цифры в примерах взяты условные, но с опорой на то, что можно получить на реальных проектах.

• Тестирование поп-ап окна

Предположим, мы хотим узнать, когда лучше показывать поп-ап — сразу, через 20, 40 или более секунд после посещения пользователем сайта:

У нас нет технической возможности тестировать поп-ап параллельно. Но есть модуль, с помощью которого мы можем менять условия демонстрации окна своими силами, без помощи технического специалиста. Т.е. нам удобно воспользоваться последовательным тестированием.

С помощью калькулятора прикинем, что нам нужен трафик ~7 000 посещений для каждого времени показа окна, при условии, если конверсия окна будет 1%, а мы хотим вырасти на 50%:

Средний трафик на сайт у нас 1 000 посещений в день. Т.е. нам нужно выжидать неделю, тестируя каждый вариант.

Итак, устанавливаем момент демонстрации поп-ап сразу после первого захода пользователя на сайт, ждём 7 дней и фиксируем результат:

Затем увеличиваем момент демонстрации до 20 секунд:

* здесь и далее, сопоставляется лучший вариант по тесту с текущим вариантом.

Продолжаем наращивать время с шагом 20 секунд:

Вариант 20 секунд показал себя лучше, но пока нет уверенности, что он превосходит демонстрацию окна сразу.

Оценим количество трафика, которое нам нужно, чтобы уточнить результат.

Мы видим, что по факту средняя конверсия окна у нас для первых двух вариантов 1,4%. Различие между ними в районе 10%.

Скорректированный прогноз по трафику — более 100 тыс. посещений:

Похоже, в наших условиях достоверно сопоставить эти варианты малореально. Поэтому останавливаемся на 20 секундах.

 

• Тестирование формы подписки

Попробуем оптимизировать форму подписки на полях.
Подготовим 4 варианта формы, отличающиеся по цвету:

Поскольку трафик на наш сайт поступает активно, а у нас в команде есть веб-разработчик, запустим параллельное тестирование цветов формы. Разработчик поможет с настройкой показа разных вариантов (по 25% трафика на вариант), а также добавит к каждой форме свою метку при передаче данных по API в сервис рассылок.

Делаем прикидку по длительности теста с помощью статистического калькулятора (среднюю конверсию формы спрогнозируем в 0,5%, а ожидаемый прирост конверсии на 40%):

Нам нужно по 21 000 посещений на каждый вариант, т.е. 4 × 21 000 = 84 000 посещений на подготовленные 4 цвета формы.

При среднем ежедневном трафике в 10 000 посещений нам понадобится 8-10 дней.

Запускаемся, ждём положенное время, убеждаемся, что за него «набежало» необходимое количество трафика. А затем собираем информацию с помощью имеющейся статистики из сервиса рассылок (сколько у нас было подписок за 10 дней с метками об источнике «син.», «оранж.», «кр.», «зел.»):

Как видим, итоговая конверсия формы в подписку оказалась ниже, чем мы ожидали, поэтому результаты получились неубедительными.

Чтобы принять решение, нам нужны больше трафика, и мы продлеваем тест ещё на 10 дней:

Так лучше. Нам по-прежнему непонятно, различаются ли красный и оранжевый варианты, но по крайней мере они точно обгоняют синий и зелёный.

Предположим, что красный работает лучше, т.к. заметнее всего — и выберем его в качестве победителя теста.

• Тестирование формы заказа

В форме заказа у нас есть чек-бокс на подписку:

Он включён по умолчанию, но часть пользователей выключают его при заказе. На каждые 100 заказов мы получаем 70 подписок (70%), а хотим вырасти до 80 (на 15%).

Исходный вариант формулировки рядом с чек-боксом стандартный:
Подписаться на новости.

Пробуем сделать его более привлекательным:
Подписаться на рассылку спецпредложений и низких цен.

Механику теста будем использовать последовательную.
Конверсия в заказ у нас 1% — т.е. для одного показа формы заказа с чек-боксом нам нужно получать на сайт 100 посещений.

Исходя из этого делаем прогноз продолжительности теста:

Нам нужно где-то 300 заказов, чтобы проверить новый вариант формулировки. Т.е. трафик нужен 30 000 посещений на сайт. Наша средняя посещаемость — 1 000 в день. Итого, ориентировочная продолжительность теста — 1 месяц.

Для начала зафиксируем текущие показатели за предыдущий месяц:

Затем поменяем формулировку рядом с чек-боксом на «маркетинговую» и через месяц посмотрим результат:

Итого, хотя мы «перелопатили» немало трафика, на уровне подписки это практически не сказалось.

Вероятно, пользователи не особо вчитываются в формулировку рядом с чек-боксом. Поскольку это достаточно стандартный элемент формы заказа у разных магазинов, решение принимается скорее исходя из самого наличия чек-бокса. И призыв к действию здесь — слишком тонкий нюанс, чтобы можно было достоверно зафиксировать его пользу.

Тем не менее, второй вариант нам больше по душе. Его и оставим:)

 

Заключение

Теперь у нас есть вполне системный способ протестировать источник подписки:

→ определить, что тестировать
(расположение, оформление или содержание),

→ как тестировать
(последовательно или параллельно),

→ как измерять
(калькулятором стат. значимости и сервисами аналитики / рассылок).

Это важно, поскольку среди потока задач удерживать внимание на тестировании (и уж тем более, правильно интерпретировать его результат), становится сложно.

Когда же в нашем распоряжении последовательность конкретных шагов, можно легко встроить их в своё расписание — не отвлекаясь каждый раз на осмысление теста, а просто механически следуя пунктам плана. Голову при этом «включать» придётся ровно 2 раза: на этапе формирования гипотез и при анализе результатов.

С другой стороны, даже с таким подспорьем корректно протестировать источник подписки — дело хлопотное. Поэтому стоит заранее сократить «фронт работ», сосредоточившись лишь на ключевых источниках, которые приносят больше всего подписок. А затем ещё раз облегчить себе жизнь, задав «потолок» тестирования — скажем, увеличении конверсии источника на 50%.

Удачных тестов!:)

	[В следующий раз у нас на очереди, на мой взгляд, необычная тема, которая ещё не освещалась в сети: составление схем рассылок].

P.S. Вы находите материалы Email-practice полезными?
Тогда читайте мою книгу «E-mail маркетинг для интернет-магазина»!

Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем
почтовом ящике 😉