• Что такое контрольные группы и зачем они нужны
• Контрольные группы в Campaign
• Что такое А/В тесты и зачем они нужны
• A/B тестирование в Manzana Campaign
• Настройка шага А/В тестирование
• Пример настройки A/B тестирования

Что такое контрольные группы и зачем они нужны

Согласно определению контрольной группы из википедии: «Контрольная группа — группа участвующих в определённом эксперименте людей или иных организмов, которая не подвергается воздействию, эффект которого предполагается изучить в эксперименте".

Если переводить на маркетинговый язык, то контрольная группа – это группа клиентов, которая не получает рассылки и не участвует в специальных промо. Используется контрольная группа для того, чтобы оценить эффект от той или иной маркетинговой активности путем сравнения отклика от клиентов, получивших, к примеру, рассылку и клиентов, не получавших ее. То есть таким образом можно проверить, был ли реальный эффект от коммуникации или покупатель все равно бы пришел в магазин, даже не получив сообщение.

Приведем пример:

Компания решила провести акцию для клиентов, которые раньше часто покупали, но в последний месяц ни разу не пришли в магазин. Для этого выделятся сегмент, им выпускаются персональные купоны и отправляется рассылка. Для оценки эффективности промо из этого сегмента выделяется КГ, которой соответственно не создается купон и не отправляется коммуникация. По окончанию промо производится анализ и сравниваются результаты промо между участниками контрольной группы и остальными. Самый популярный, пожалуй, показатель – это количество выручки и сравнение числа покупок, но могут быть и другие показатели. И по результатам можно понять, насколько промо эффективно сработало.

Еще один пример использования КГ для интернет-магазинов, чтобы узнать, насколько эффективна рассылка и сколько денег она принесла – посчитать заказы, сделанные после кликов по кнопке внутри письма и сравнить с результатами КГ, которая письмо не получала.

Таким образом, выделение КГ может помочь ответить на вопросы, касаемо рассылок:

• Была ли рассылка эффективна?
• Сколько клиентов пришло бы без рассылки? Принесла ли она вообще какую-то дополнительную прибыль?
• Это был самый удачный способ использовать рекламный бюджет, или другой канал коммуникации справился бы лучше?
• И другие

Также нужно отметить, что контрольная группа бывает двух типов – локальная и глобальная. 

Глобальная контрольная группа не получает никаких коммуникаций вообще, кроме транзакционных сообщений. Тестирование с глобальной контрольной группой поможет понять, насколько в целом маркетинг помогает клиентам принимать решение о покупке. 

Локальная контрольная группа не получает только определенные рассылки — она помогает оценить эффективность конкретной коммуникации и ее влияние на совершение целевого действия.

Но иногда для проведения различных маркетинговых активностей требуется выделение нескольких случайных групп клиентов и отправка им разного контента. Это не является контрольной группой как таковой и скорее ближе к сплит-тесту.

Контрольные группы в Campaign

Мы с вами разобрали, что такое контрольная группа, теперь давайте посмотрим, как можно реализовать настройку в Кампейн.

Для настройки функциональности можно использовать два основных способа. Они зависят от бизнес-требований .

Первый вариант:

Если КГ необходимо выделить только для рассылки и это могут быть случайные клиенты, то используем функционал разделения сегмента. Также, если КГ исключается и из рассылки, и из промо, но рассылка отправляется заранее, а состав КГ может быть случайным, то тоже можем использовать разделение сегмента, сохранив КГ в список и исключив этот список из промо при настройке правил лояльности. 

Второй вариант:

Если КГ необходимо выделять и для рассылки, и для промо в лояльности и при этом к моменту рассылки промо в лояльности уже должно быть активировано, если нужен выпуск купонов заранее, или рассылка отправляется позже, чем промо начало действовать, или в принципе нам нужно в КГ выделить определенных участников программы лояльности, мы используем ручное исключение маркетингового списка. То есть из сегмента заранее выделяется контрольная группа и создается в лояльности в виде маркетингового списка. И далее этот МС исключается и из правила начисления или выпуска купонов в лояльности, и из сегмента в кампейне.

Что такое А/В тесты и зачем они нужны

АБ тестирование - это метод, позволяющий протестировать несколько версий письма, текста рассылки или другого креатива, чтобы оценить, как изменения в рассылке влияют на открытия, кликабельность и конверсию и другие показатели. 

На основе результатов можно:

• выбрать самый эффективный вариант и отправить его остальной аудитории,
• проверять гипотезы и планировать рассылки на будущее с учётом вкусов аудитории.

То есть А/B тестирование помогает определить наиболее эффективный вариант рассылки путем сравнения нескольких вариантов одного, например, письма. Мы можем в результате анализа узнать, какая тема или заголовок или другие изменения в письмах получат больше открытий. Или сравнить разные шаблоны сообщения, чтобы выявить, как влияет дизайн и какой из шаблонов наберет больше переходов по ссылкам.

Также можно встретить такие названия, как ABN-тестирование или сплит-тестирование. Некоторые источники описывают разницу в том, что АБ тестирование – это сравнение двух вариантов, а АВN или сплит-тестирование – может включать в себя 3 и более вариантов. Но большинство маркетологов все же говорит, что это, по сути, разные названия одного и того же, и наиболее часто используемый термин – это АБ тест не зависимо от количества тестируемых гипотез.

Также, говоря о терминах, обязательно стоит отметить, что существует еще и АА тест. Как понятно, из названия это вариация А/Б-теста, но если при А/Б-тесте сравниваются разные варианты, к примеру, письма, то при А/А-тесте оригинал сопоставляется сам с собой и победителя быть не должно. По сути, основная цель АА теста – проверить, а можно ли доверять результатам АБ теста, который будет запущен в тех же условиях, но с разными вариантами. То есть АА тест показывает, насколько однородна выборка, насколько правильно работает платформа для проведения АБ тестов и насколько одинаковые условия предоставляет. Таким образом, если в ходе А/А-теста победителя выявить не удалось, можно запускать А/Б-тест. В обратном случае необходимо проверять настройки окружения и выборки.

Есть еще возможности для маркетолога при использовании АА теста – это определить погрешность в измерении результатов АБ теста, которую нужно учитывать при анализе этих результатов и возможность оценки минимального объема выборки и время проведения АБ теста, чтобы считать результат выигрышным.

Конечно, АА тестирования в чистом виде многие считают бесполезным из-за того, что занимает много времени, ресурсов и результат не является 100%. И появился еще один вариант подобного тестирования – это ААБ тестирование. То есть в этом случае для сравнения берется сразу три варианта, например, письма, где будет два одинаковых и одно или несколько отличающихся.

A/B тестирование в Manzana Campaign

Кампейн предоставляется возможность проводить разного рода тестирование.

Первый вариант – это чистый эксперимент, просто рассылка двух разных сообщений для анализа определения лучшего варианта. В этом случае мы можем использовать шаг разделение сегмента, поделить аудиторию при помощи него на две равные группы, отправить им разные сообщения и потом по результатам про анализировать статистику и принять решение.

Либо второй вариант – можно провести автоматизированный АБ тест, для этого используем шаг АБ тестирование. Тут мы берем сразу весь сегмент, которому хотим отправить коммуникацию, выделяем несколько групп для проведения эксперимента, устанавливаем таймаут ожидания откликов и запускаем. Далее АБ тест отправит каждый из выбранных групп указанное сообщение, в течение установленного времени будет собирать результаты и в итоге выполнить автоматическую доотправку остальной аудитории по лучшему варианту.

Настройка шага А/В тестирование

А/B тестирование позволяет сравнивать тестовые группы по целевому показателю для определения лучшего (победившего) варианта. В текущей реализации выбор контактов для тестовой отправки происходит случайным образом.

Шаг “А/В тестирование” находится в разделе “Операторы” конструктора коммуникаций.

Для использования шага «А/B тестирование» необходим вывести шаг А/В теста в конструкторе коммуникаций и настроить его.

Функционал А/В тестов является автоматическим и происходит следующим образом:

• Отправляется несколько разных вариантов коммуникаций (согласно настройкам шага);
• В течение указанного в настройке времени происходит сбор ответов от пользователей;
• Ответы собираются по показателям, установленным в шаге (открыто/прочитано);
• После наступления настроенной даты, система автоматически определяет наиболее эффективную ветку;
• Остальной аудитории коммуникация отправляется автоматически по самой эффективной ветке.

Статистика шага доступна для просмотра в шаге «A/B тестирование начало». Статистика рассчитывается только для коммуникаций, которые не находятся в статусе Черновик, то есть в одном из следующих статусов: Запущена, Остановлена или Завершена.

Статистика содержит следующие данные:

• Кол-во контактов – количество контактов, которые были распределены по веткам;
• Открытий – количество уникальных открытий отправленной коммуникации;
• Переходов – количество уникальных переходов из отправленной коммуникаций;
• Покупок – количество покупок, совершённых клиентами, которые открыли письмо в заданный период времени. Количество покупок рассчитывается если в поле «Критерии выбора результата» был выбран критерий «Покупки».

Пример настройки A/B тестирования

Пример: нужно с помощью А/В теста выявить, какой из двух шаблонов писем с разными дизайнами больше нравится пользователям, и сделать рассылку победившего варианта на основную часть сегмента.

Для проведения А/В тестирования достаточно следовать следующему порядку действий:

1. Нужно создать 2 шаблона email с разными дизайнами, дать им названия, например, "Праздничная акция_дизайн_1" и "Праздничная акция_дизайн_2".

2. В разделе “Коммуникации” Manzana Campaign создаём рассылку с шагами A/B тестирования, "Email" и "Завершение", соединяем их и сохраняем рассылку.

3. Делаем нужные настройки в шагах "Старт акции" и "Сегмент".

4. Переходим в настройку шага "A/B тестирование начало". Нажимаем на "+ Добавить ветку". Должно быть столько веток, сколько вариантов планируется протестировать.

5. Далее нужно в поле “Кол-во контактов в АБ-тесте” указать, сколько контактов всего будет участвовать в тестировании. При этом автоматически рассчитается количество контактов для каждой ветки. 

Если нажать галочку в поле “Количество контактов в процентах”, то можно установить количество контактов для тестирования в % от всего сегмента коммуникации.

6. Указываем критерий выбора результата. Оценить лучший, по мнению пользователей, дизайн письма поможет критерий “Переход”.

7. После этого нужно установить срок для проверки отклика. Его можно указать в днях, часах и минутах, если активна настройка “Таймаут”. При переключении настройки на “Дедлайн” устанавливается конкретная дата и время окончания A/B теста.

8. После этого нужно нажать кнопку “Сохранить” в окне настройки шага "A/B тестирование начало”.

9. Далее в редакторе акции нужно добавить шаг “Email” для второй ветки тестирования. Затем соединяем его с шагами "A/B тестирование начало" и "A/B тестирование конец".

10. Настраиваем шаги “Email”: для каждого выбираем нужный шаблон письма и отправителя.

11. Активируем акцию.

В рассмотренном примере после запуска акции по каждой из двух веток отправится по 100 писем. Далее система будет 1 день ждать отклика на рассылку по критерию “Переход”. 

Статистику по тестированию можно смотреть:

1. В шаге "А/В тестирование начало" в столбцах “Открытий” или “Переходов”, в зависимости от выбранного критерия для теста. В разработке находится еще один критерий “Покупки”. Он будет доступен позже.

2. На шаге коммуникации “Email” тестовой акции во вкладке "Статистика"

3. В разделе “Статистика” Manzana Campaign. Здесь нужно в фильтре указать нужную тестовую акцию для просмотра данных по ней. 

По истечении 1 дня на остальную часть сегмента будет автоматически отправлен победивший шаблон письма