![]() |
В прошлый раз нас занимала экспресс-аналитика рассылок, где мы попробовали уложить все базовые измерения email-кампании в 5 минут. Сегодня пришло время вновь обратиться к теме тестирования. |
Один из верных способов увеличить темпы роста базы подписчиков — разместить на сайте поп-ап окно для подписки.
Однако такой шаг может иметь и негативный эффект: не к месту «выскакивающий» поп-ап способен оттолкнуть посетителей и заставить их уйти с сайта без необходимого целевого действия.
На одном проекте мы задались вопросом, а насколько поп-ап влияет на прочие показатели помимо подписки? — иными словами, насколько он может нам навредить?
Исходная ситуация
Интернет-магазин сувениров планирует внедрить поп-ап форму подписки в связке с «ярлыком» на полях: по клику на «ярлык» в центре экрана появляется поп-ап, при закрытии формы на полях вновь возникает «ярлык»:
По ходу дела мы решили попробовать разные варианты:
A (версия «лайт) — на полях сайта всем новым посетителям демонстрируется «ярлык» с предложением получить скидку; поп-ап окно появляется только при клике по «ярлыку» (соответственно, как только поп-ап заполняют, всё исчезает).
B (версия «хард») — на полях также висит «ярлык», но помимо этого мы добавляем принудительный показ поп-ап без клика по «ярлыку», при наступлении определённых условий: пользователь пробыл на сайте дольше 20 секунд / посмотрел больше 3-х страниц (на 4-й). То есть пользователь может вызвать форму самостоятельно, нажав на «ярлык», а если он этого не сделает, форма появится перед ним сама собой.
C (контрольная версия) — «ярлыка» на полях нет, поп-ап окно посетителям не показывается, мы просто берём «нормальное» состояние сайта, чтобы иметь некие базовые показатели для сравнения.
Подготовка
С помощью дизайнера набросали форму с «ярлыком»:
Далее с программистом внедрили их на тестовый сайт, чтобы отладить механику демонстрации:
→ показ формы при наступлении нужных условий,
→ исключения (запрет показа поп-ап с «ярлыком» на определённых страницах — корзины, заказа и т.д.; после некоторых действий — подписки, регистрации, авторизации, заказа и т.д.; + дополнительные сценарии вроде захода на сайт по ссылке с UTM-меткой, содержащей параметр «email»).
Затем набросали план тестирования, чтобы чётче понимать, что хотим проверить, как это сделать и, что важно, каким образом собираемся это измерять.
Подробнее о методике такого тестирования см. №92 Как тестировать источники подписки → |
Наконец, после всех подготовительных этапов, приступили непосредственно к самому тесту.
Тестирование
С помощью программиста (который ознакомился с планом теста), перенесли поп-ап с «ярлыком» на основной сайт со следующими условиями:
1) Для трети посетителей показывается только «ярлык» с возможностью вызвать поп-ап форму по клику (вариант A),
2) Для второй трети показывается связка «ярлык» + поп-ап,
где форма возникает по центру экрана спустя некоторое время самостоятельно (вариант B),
3) Для последней трети «ярлык» с поп-апом выключены, пользователи посещают сайт в обычном режиме (вариант C).
Для проверки работоспособности теста воспользовались расширением браузера EditThisCookie, которое позволяет прописывать вручную, какой вариант теста мы хотим увидеть:
Периодически посматривали, не «поломался» ли тест + заглядывали в статистику по результатам: поступают ли данные о подписках?
Измерение результатов
Для измеренией разработчик настроил отчёт в Яндекс.Метрике — Отчёты / Содержание / Параметры визитов:
Там можно было мониторить результат в реальном времени: корректно ли идёт разделение трафика, сколько поступает на каждый вариант подписок, каковы прочие показатели.
Через 2 недели, когда «набежало» достаточное количество посещений сайта, провели окончательное измерение результатов в формате, предусмотренном планом теста.
Помимо основной метрики — количества подписчиков, привлечённых через поп-ап — предусмотрели замер и дополнительных показателей, ради которых, собственно, всё и затевалось:
→ показателей трафика: отказы, время на сайте, количество просмотренных страниц,
→ показателей конверсии: количество заказов в интернет-магазине в абсолютном значении и в отношении к поступающему трафику (конверсия в заказ).
Вот, что получилось:
Сочетание «ярлык» + поп-ап достаточно предсказуемо собрало больше подписок — результат сильнее на порядок.
На показатели трафика ни «ярлык», ни поп-ап практически не повлияли. Отличия от контрольного варианта минимальны и, к тому же, статистически не достоверны.
(Для примера, сравнение показателей отказов для вариантов A и C:
http://www.evanmiller.org/ab-testing/chi-squared.html)
То есть главное мы для себя выяснили: поп-ап окно можно размещать на сайте без какого-либо ущерба, причём в самом «жёстком» (и наиболее эффективном) варианте — с автоматическим показом всем новым пользователям по центру экрана.
Но вот дальше интереснее. Заказов для поп-ап с «ярлыком» оказалось больше, чем для прочих вариантов, причём по сравнению с контрольным вариантом — с приемлемой достоверностью:
(Сравнение количества заказов для вариантов B и C:
http://www.evanmiller.org/ab-testing/chi-squared.html)
То есть поп-ап не только не «распугал» посетителей сайта, но и в какой-то мере стимулировал их заказы: вот скидка и прочие бонусы — по видимому, это помогает принять решение при покупке.
Последний факт, пожалуй, требует дополнительной проверки на большем количестве трафика. Тем не менее, результат конкретно этого теста достаточно определёнен: поп-ап форма в связке с «ярлыком» эффективнее по всем показателям.
Его и запускаем теперь на 100% посетителей.
Заключение
Иногда цель теста — не только повышение эффективности от реализации какой-либо гипотезы, но и учёт возможного вреда от её внедрения.
Для этого стоит оценивать показатели в комплексе. Например, как в рассмотренном случае: не только подписки, но и качество трафика и конверсия в заказы.
Измерение этих показателей может выдать совершенно неожиданную картину: мы собирались проверить, не сильно ли навредит поп-ап сайту, а выяснили, что не только не вредит, а, наоборот, помогает увеличить конверсию.
Итого, если возникает гипотеза относительно форм подписки, и есть ресурсы на её внедрение — не гадаем, тестируем:)
![]() |
[В следующий раз, в «юбилейном» сотом выпуске нас ждут авторассылки и связанная с ними тема: как настраивать автоматические письма, исходя из возможностей сервиса рассылок]. |
P.S. Больше информации про тесты в email, причём не только форм подписки, но и других элементов — массовых рассылок, автоматических писем — есть в 10-м уроке моего курса «Email маркетинг под ключ», который полностью посвящён оптимизации. Подписывайтесь! Это бесплатно 🙂
Если вы ещё не получаете уведомлений о новых статьях блога по электронной почте, то всегда можете начать это делать →