№89 Как делать выборку «каждый N-й» в email рассылках

В прошлый раз нас занимало построение эффективной базы данных для рассылок. Сегодня посмотрим на один из приёмов работы с уже сформированной базой — создание сегмента «каждый N-й».

Что это

Предположим, у нас есть база в 100 подписчиков:

Исходная база подписчиков

И мы хотим выбрать каждого N-го из них для каких-то своих целей.
Если N=2 (т.е. мы берём каждого второго), выборка будет выглядеть следующим образом:

Выборка в базе подписчиков: каждый второй

Аналогично мы можем выделить каждого третьего, четвёртого или даже сотого подписчика:

Выборка в базе подписчиков: каждый N-й

Результаты такого выделения в базе и будут нашей выборкой.

 

Для чего нужно

Способ выборки «каждый N-й» удобен при построении контрольных групп — т.е. групп подписчиков, на которых мы будем проверять результативность наших маркетинговых усилий, взаимодействуя с ними иначе, чем с остальной базой.

Например, мы можем запустить по всей базе рассылку с акцией, а контрольную группу исключить, чтобы посмотреть, как ведут себя подписчики, не получавшие анонса. Так мы оценим эффект акции точнее, сделав поправку на то, что часть подписчиков всё равно купила бы у нас — независимо от того, информированы они об акции или нет.

Артур Хьюз Впрочем, куда подробнее об этом рассказывает
Артур Хьюз в 11-й главе своей книги
«Маркетинг на основе баз данных»
(откуда, собственно, я и позаимствовал эту идею).

Почему N

Может возникнуть вопрос: а зачем заморачиваться? Ведь многие рассылочные сервисы предоставляют свой функционал тестирования, в котором случайные выборки для различных экспериментов формируются автоматически, по паре щелчков мыши:

Создание выборки для АБ-теста в Мэйл Чимп

Это действительно удобно для разовых тестов, но если речь идёт о создании какой-то более-менее постоянной выборки, которую мы хотим использовать многократно и на достаточно длительных интервалах, то автоматический функционал сервисов не подойдёт.

Конечно, можно сохранить выборку после отправки первого теста, а затем пользоваться ей дальше по своему усмотрению:

Сохранение выборки в Юнисендер

Но не вполне понятно, как именно строятся такие выборки, и что подразумевает их «случайный» характер? Каждый сервис вкладывает в это понятие что-то своё и не всегда механизмы его работы прозрачны:

Как работает алгоритм выборки для АБ-тестов?

На мой взгляд, механизм выборки должен быть на 100% понятным и контролируемым, иначе ошибка в эксперимент может закрасться ещё до его начала.

Отсюда необходимость иногда делать выборки самостоятельно — и тут у способа «каждый N-й» есть хорошее преимущество: он даёт равномерный охват базы по всем параметрам: дате подписки, источнику, клиентскому статусу и так далее.

Например, если мы добавляем в базу большую группу подписчиков из CRM единовременно, а затем ещё долгое время наращиваем её за счёт подписки через формы на сайте, выборка «каждый N-й» учтёт это. И подписчики из разных источников — которые, кстати, могут вести себя по-разному — будут представлены в ней пропорционально.

В конечном итоге, такая выборка лучше отражает общую картину.

 

Размер выборки

Итак, если перед нами стоит задача провести более-менее длительное исследование — к примеру, определить, как в целом email рассылки влияют на количество заказов у клиентов — нам пригодится контрольная группа, в которую входит каждый N-й подписчик в базе.

Следующий вопрос, который нужно решить: а чему должно быть = N? Или, если перефразировать, какой должен быть оптимальный размер выборки, чтобы результат, полученный с её помощью, обладал достоверностью, и при этом выборка не была избыточно большой (вероятно, лишая нас части прибыли)?

Можно прикинуть размеры выборки следующими способами:

• По формуле из книжки Хьюза

Размер контрольной группы = 500 / Ожидаемый уровень отклика.

• С помощью калькулятора статистической значимости

Например, такого: http://www.zettasphere.com/abcalculator/.

Для интереса сравним рекомендуемые размеры выборки, полученные тем и другим способом.

Примем ожидаемый уровень отклика (т.е. нашу конверсию в целевое действие) за 2%. Тогда размер контрольной группы = 500 / 0,02 = 25 000 подписчиков.

Теперь посмотрим на результат калькулятора.
При ожидаемом уровне отклика 2% и приросте на 15% (т.е. в результате эксперимента статистически значимым будет изменение отклика с 2 до 2,3%) получаем ~18 000 подписчиков:

Определение размера выборки с помощью калькулятора статистической значимости

Таким образом, прикидочная формула Хьюза обладает ещё и некоторым запасом, и ей вполне можно пользоваться, если под рукой не оказалось подходящего калькулятора.

А зная размер выборки и полный размер нашей базы, мы можем посчитать N: = Размер базы / Размер контрольной группы.

Например, если у нас в базе 100 000 подписчиков, и нам нужна выборка 25 000: N = 100 000 / 25 000 = 4 — т.е. мы берём каждого четвёртого подписчика.

 

Построение выборки

Чтобы выбрать каждого N-го подписчика в базе, предлагаю воспользоваться старым-добрым Эксель.

Метод взят отсюда ↓↓↓
http://pmweb.ru/vyborka-dannykh-po-nomeru-stroki

Нам понадобится список email-адресов наших подписчиков, который можно выгрузить из рассылочного сервиса в таблицу:

Выгрузка базы из рассылочного сервиса

Создадим в соседнем столбце последовательность значений с шагом N, покрывающую всю нашу базу (например, для N=4 и базы в 100 000 последовательность будет: 4, 8, 12, 16, 20 … 100 000):

Создание последовательности для выборки «каждый N-й»

В третьем столбце введём формулу =ИНДЕКС($A$1:$A$X;B1),
где X — размер нашей базы.

Например, для базы в 100 000 формула будет выглядеть так:
=ИНДЕКС($A$1:$A$100000;B1).

В результате мы получим email, соответствующий порядковому номеру из второго столбца:

Создание члена выборки «каждый N-й» в Эксель

Скопируем формулу в ячейки вдоль всех значений второго столбца, и в итоге получим нашу выборку:

Выборка «каждый N-й» в итоговом варианте

Визуально проверим несколько email — из начала, середины и конца списка: совпадают ли они с исходной базой?

Проверка выборки «каждый N-й»

Если всё ок, копируем получившуюся выборку в отдельный файл и загружаем в рассылочный сервис с пометкой, что эти email-адреса входят в нашу контрольную группу:

Загрузка контрольной группы в рассылочный сервис

Создавать выборку желательно незадолго до начала эксперимента, чтобы её состав был наиболее актуальным.

Кстати, приведённым выше способом я пользовался, чтобы создать выборки в следующих экспериментах:
№82 О пользе тестирования темы письма
№86 Как тесты темы письма влияют на результат…
Оба раза он меня не подвёл и не занял много времени:)

 

Заключение

Метод выборки «каждый N-й» удобен для создания контрольных групп в длительных экспериментах или экспериментах чуть более сложных, чем простой аб-тест.

Преимущества выборки в том, что она даёт равномерный срез базы, а её механизм на 100% прозрачен и управляем. Например, захотели позднее пополнить выборку свежими подписчиками — сделали это легко.

Из недостатков, пожалуй, некоторая степень ручного труда, который неплохо бы автоматизировать, если речь идёт о частых экспериментах.

[В следующий раз у нас на очереди #Содержание. Посмотрим, как можно делать игры с помощью email].

P.S. Вы находите материалы Email-practice полезными?
Тогда читайте мою книгу «E-mail маркетинг для интернет-магазина»!

Если вы ещё не подписались на мою рассылку — самое время это сделать. Я не только анонсирую свежие статьи блога, но и делюсь с подписчиками бонусной информацией, а также показываю отдельные приёмы email маркетинга на практике. До встречи в вашем
почтовом ящике 😉