[Кейс]: Как протестировать поп-ап форму подписки (№99)

В прошлый раз нас занимала экспресс-аналитика рассылок, где мы попробовали уложить все базовые измерения email-кампании в 5 минут. Сегодня пришло время вновь обратиться к теме тестирования.

Один из верных способов увеличить темпы роста базы подписчиков — разместить на сайте поп-ап окно для подписки.

Однако такой шаг может иметь и негативный эффект: не к месту «выскакивающий» поп-ап способен оттолкнуть посетителей и заставить их уйти с сайта без необходимого целевого действия.

На одном проекте мы задались вопросом, а насколько поп-ап влияет на прочие показатели помимо подписки? — иными словами, насколько он может нам навредить?

 

Исходная ситуация

Интернет-магазин сувениров планирует внедрить поп-ап форму подписки в связке с «ярлыком» на полях: по клику на «ярлык» в центре экрана появляется поп-ап, при закрытии формы на полях вновь возникает «ярлык»:

Вариант размещения поп-ап формы подписки с «ярлыком»

По ходу дела мы решили попробовать разные варианты:

A (версия «лайт) — на полях сайта всем новым посетителям демонстрируется «ярлык» с предложением получить скидку; поп-ап окно появляется только при клике по «ярлыку» (соответственно, как только поп-ап заполняют, всё исчезает).

B (версия «хард») — на полях также висит «ярлык», но помимо этого мы добавляем принудительный показ поп-ап без клика по «ярлыку», при наступлении определённых условий: пользователь пробыл на сайте дольше 20 секунд / посмотрел больше 3-х страниц (на 4-й). То есть пользователь может вызвать форму самостоятельно, нажав на «ярлык», а если он этого не сделает, форма появится перед ним сама собой.

C (контрольная версия) — «ярлыка» на полях нет, поп-ап окно посетителям не показывается, мы просто берём «нормальное» состояние сайта, чтобы иметь некие базовые показатели для сравнения.

 

Подготовка

С помощью дизайнера набросали форму с «ярлыком»:

Дизайн поп-ап формы подписки с «ярылком»

Далее с программистом внедрили их на тестовый сайт, чтобы отладить механику демонстрации:

показ формы при наступлении нужных условий,

исключения (запрет показа поп-ап с «ярлыком» на определённых страницах — корзины, заказа и т.д.; после некоторых действий — подписки, регистрации, авторизации, заказа и т.д.; + дополнительные сценарии вроде захода на сайт по ссылке с UTM-меткой, содержащей параметр «email»).

Затем набросали план тестирования, чтобы чётче понимать, что хотим проверить, как это сделать и, что важно, каким образом собираемся это измерять.

Подробнее о методике такого тестирования см.
№92 Как тестировать источники подписки →

Наконец, после всех подготовительных этапов, приступили непосредственно к самому тесту.

 

Тестирование

С помощью программиста (который ознакомился с планом теста), перенесли поп-ап с «ярлыком» на основной сайт со следующими условиями:

1) Для трети посетителей показывается только «ярлык» с возможностью вызвать поп-ап форму по клику (вариант A),

2) Для второй трети показывается связка «ярлык» + поп-ап,
где форма возникает по центру экрана спустя некоторое время самостоятельно (вариант B),

3) Для последней трети «ярлык» с поп-апом выключены, пользователи посещают сайт в обычном режиме (вариант C).

Для проверки работоспособности теста воспользовались расширением браузера EditThisCookie, которое позволяет прописывать вручную, какой вариант теста мы хотим увидеть:

Прописываем вариант сплит-теста формы подписки с помощью расширения браузера

Периодически посматривали, не «поломался» ли тест + заглядывали в статистику по результатам: поступают ли данные о подписках?

 

Измерение результатов

Для измеренией разработчик настроил отчёт в Яндекс.Метрике — Отчёты / Содержание / Параметры визитов:

Измерение результатов сплит-теста формы подписки с помощью Яндекс.Метрики

Там можно было мониторить результат в реальном времени: корректно ли идёт разделение трафика, сколько поступает на каждый вариант подписок, каковы прочие показатели.

Через 2 недели, когда «набежало» достаточное количество посещений сайта, провели окончательное измерение результатов в формате, предусмотренном планом теста.

Помимо основной метрики — количества подписчиков, привлечённых через поп-ап — предусмотрели замер и дополнительных показателей, ради которых, собственно, всё и затевалось:

→ показателей трафика: отказы, время на сайте, количество просмотренных страниц,
→ показателей конверсии: количество заказов в интернет-магазине в абсолютном значении и в отношении к поступающему трафику (конверсия в заказ).

Вот, что получилось:

Результат сплит-теста поп-ап формы подписки

Сочетание «ярлык» + поп-ап достаточно предсказуемо собрало больше подписок — результат сильнее на порядок.

На показатели трафика ни «ярлык», ни поп-ап практически не повлияли. Отличия от контрольного варианта минимальны и, к тому же, статистически не достоверны.

Измерение достоверности сплит-теста формы подписки с помощью статистического калькулятора

(Для примера, сравнение показателей отказов для вариантов A и C:
http://www.evanmiller.org/ab-testing/chi-squared.html)

То есть главное мы для себя выяснили: поп-ап окно можно размещать на сайте без какого-либо ущерба, причём в самом «жёстком» (и наиболее эффективном) варианте — с автоматическим показом всем новым пользователям по центру экрана.

Но вот дальше интереснее. Заказов для поп-ап с «ярлыком» оказалось больше, чем для прочих вариантов, причём по сравнению с контрольным вариантом — с приемлемой достоверностью:

Измерение достоверности количества заказов при сплит-тесте формы подписки с помощью статистического калькулятора

(Сравнение количества заказов для вариантов B и C:
http://www.evanmiller.org/ab-testing/chi-squared.html)

То есть поп-ап не только не «распугал» посетителей сайта, но и в какой-то мере стимулировал их заказы: вот скидка и прочие бонусы — по видимому, это помогает принять решение при покупке.

Последний факт, пожалуй, требует дополнительной проверки на большем количестве трафика. Тем не менее, результат конкретно этого теста достаточно определёнен: поп-ап форма в связке с «ярлыком» эффективнее по всем показателям.

Его и запускаем теперь на 100% посетителей.

 

Заключение

Иногда цель теста — не только повышение эффективности от реализации какой-либо гипотезы, но и учёт возможного вреда от её внедрения.

Для этого стоит оценивать показатели в комплексе. Например, как в рассмотренном случае: не только подписки, но и качество трафика и конверсия в заказы.

Измерение этих показателей может выдать совершенно неожиданную картину: мы собирались проверить, не сильно ли навредит поп-ап сайту, а выяснили, что не только не вредит, а, наоборот, помогает увеличить конверсию.

Итого, если возникает гипотеза относительно форм подписки, и есть ресурсы на её внедрение — не гадаем, тестируем:)

[В следующий раз, в «юбилейном» сотом выпуске нас ждут авторассылки и связанная с ними тема: как настраивать автоматические письма, исходя из возможностей сервиса рассылок].

P.S. Больше информации про тесты в email, причём не только форм подписки, но и других элементов — массовых рассылок, автоматических писем — есть в 10-м уроке моего курса «Email маркетинг под ключ», который полностью посвящён оптимизации. Подписывайтесь! Это бесплатно 🙂

Если вы ещё не получаете уведомлений о новых статьях блога по электронной почте, то всегда можете начать это делать →