Контрольная группа: что это и зачем нужна в маркетинге

Эффективность рекламной кампании не всегда нужно оценивать только по прямым показателям — конверсиям или кликам. Потому что не в каждом случае именно маркетинговые действия влияют на результат. Может оказаться, что к покупке привёл не тот канал, который зафиксировали в аналитическом отчёте. К примеру, если компания использовала модели атрибуции и выбрала last click, когда «заслуга» приписывалась именно последнему каналу, после которого случилось целевое действие.

Такое видение результатов введёт в заблуждение, и маркетолог сделает неправильные выводы по планированию следующих кампаний: если получилось в этот раз, в следующий стоит повторить такие же приёмы. Но окажется, что по-старому почему-то не работает.

Чтобы посмотреть на эффективность маркетинга с разных сторон, используют метод контрольных групп. В статье расскажем, что это такое, зачем такой способ нужен бизнесу и как проводится исследование.

Что такое контрольная группа

Контрольная группа — это проверка эффективности маркетинговых кампаний (email, Push, SMS рассылок) через людей, которые не вступали в маркетинговые коммуникации с компанией или получали ограниченное количество уведомлений (например, только транзакционные). Метод пришёл из науки, где с его помощью доказывали связь одного явления с другим.

Через контрольные группы исследуют действия клиентов, которые не получали рекламных сообщений от бренда, не считая транзакционных (глобальная группа), или им отправлялось ограниченное количество посланий (локальная группа). Дальше сравнивают с активностью пользователей, которые получали рассылки. В итоге оценивается, стала ли причиной покупки работа маркетинга, или клиент оказался готов к покупке и без дополнительных напоминаний.

Проверяет контрольная группа количество проданных товаров/услуг или заявок, величину среднего чека, просмотры, подписки, переходы на сайт и другие показатели.

Например, прошла email рассылка по распродаже обуви с двумя вариантами текста и дизайна (A/B -тестирование), во время которой продажи выросли в два раза. На первый взгляд кампания прошла успешно, выделилось более эффективное сочетание текста и дизайна A. Но работа контрольных групп показала, что большой процент покупок также совершили пользователи, которые не знали про акцию, так как не получали уведомлений.

Тестовая и контрольная группа: в чём отличия

Эти два понятия кажутся похожими по смыслу, но принцип работы с ними отличается.

Важно, что при проведении A/B тестирования учитываются все результаты: контрольная группа и тестовая вместе. После исследования оценивается также отрицательный контроль — как повлияло на пользователей отсутствие каких-либо изменений.

Контрольная группа подтверждает или опровергает результаты, которые дала тестовая.

Зачем нужна контрольная группы

Использование контрольной группы:

• Повышает эффективность маркетинговых кампаний, потому что предоставляет более широкий анализ результатов и демонстрирует истинное влияния маркетинга на конверсии или другие показатели. Исключаются нерелевантные предложения и формируется более желанный для клиентов оффер.
• Экономит ваши ресурсы. Исследование выявляет плохо работающие или ненужные каналы, куда вы тратите бюджеты. После их исключения высвобождается время и деньги для других способов продвижения.
• Указывает на изменения в предпочтениях клиентов и ситуации на рынке, которые оставались незаметными. Со временем аудитория выгорает, и переманить пользователей может даже более привлекательный интерфейс приложения конкурентов. Контрольная группа выявит, какой именно стимул заставит клиентов вовлекаться в коммуникацию с брендом снова.
• Тестирование гипотез для новых рекламных кампаний. Например, вы хотите проверить, повысится ли количество покупок в интернет-магазине, если отправлять пуш сообщения о дополнительной скидке на брошенный в корзине товар.

Площадки для работы с контрольными группами

Метод гибкий и адаптируется для проверки гипотез на разных digital-ресурсах:

• Электронная почта и другие каналы для рассылок — здесь исследуется влияние на активность пользователей через email, Push, SMS или мессенджеры. К примеру, проверяется влияние купона на скидку для тестовой группы и его отсутствие для контрольной.
• Лендинги, где разным выборкам пользователей во время A/B тестирования показывают варианты, которые отличаются друг от друга. Для тестовых групп меняются тексты, изображения, заголовки. Контрольная группа здесь всегда видит один и тот же вариант без изменений.
• Реклама. Здесь также возможны варианты переменных: креативов, офферов, текстов и форматов для тестовой группы.

Когда не стоит использовать контрольные группы

Формирование контрольной группы нужно не для каждой маркетинговой кампании. Метод не принесёт результата, если клиентская база недостаточная. Для аудитории в несколько сотен человек исследование окажется незначимым с точки зрения статистики (слишком маленькая выборка, чтобы сделать глобальный вывод).

Также придётся отказаться от части выручки. Например, глобальная контрольная группа будет исключаться из рассылок и, возможно, ничего не купит, если не получит маркетинговое сообщение. Чтобы минимизировать потери, некоторые компании не используют метод контрольных групп в высокий сезон продаж.

Не стоит также выбирать это исследование, если нельзя правильно отследить все взаимодействия клиента с компанией во всех онлайн-источниках, если их несколько.

Недостатки контрольных групп

Не всегда выводы исследования получится перенести на более широкую аудиторию из-за нерепрезентативности. Контрольная группа — это определённый процент клиентов, которые не каждый раз отражают характеристики всех пользователей. Если для теста выбрали больше мужчин, то данные об их поведении могут быть нерелевантны в отношении женской аудитории.

Контрольные группы обычно небольшие в соотношении со всеми пользователями. Потому что компания не станет рисковать доходом ради исследования и отдавать под него больше 20% клиентов. Такое количество, возможно, окажется незначимым с точки зрения статистики, и результаты получатся неточными.

Компания не сможет учесть все внешние факторы, которые влияют на решения контрольной группы. Например, бренд проводил рассылки для теста и проверял их контрольной группой. Допустим, что результат получился слабым по количеству конверсий. То есть рекламная кампания неэффективная. Но если знать, что в это время проходила закрытая распродажа конкурента с большими скидками, такой вывод можно оспорить.

Как провести исследование с контрольной группой

Для начала обозначьте цель: какую гипотезу вы хотите проверить через контрольные группы и какой ответ получить. Далее нужно:

1. Определить сегмент аудитории для исследования. Общим для пользователей могут стать определённые признаки. Например, клиенты, которые купили на сумму N за последние полгода. Важно, чтобы контрольная группа отражала ту, которой отправлялись рекламные сообщения — быть схожей по демографии и другим характеристикам. Иначе исследование окажется недостоверным.
2. Выбрать нужное количество пользователей, которое влияет на значимость результата. Здесь действует правило: чем больше размер аудитории для таргетинга, тем меньше юзеров следует использовать для исследования. И наоборот: меньшее количество требует больше людей для выборки. К примеру, для 12 000 контрольной группой может быть 5%, а для 2000 клиентов стоит выбрать 10-20%. Если в результате исследования оказывается, что компания работает отлично, при следующих тестах контрольная группа уменьшится. Когда происходит наоборот — реклама неэффективная, — при каждой следующей проверке количество пользователей в выборке должно увеличиваться.
3. Задайте сроки исследования. Можно провести короткое на одну кампанию, но более долгое в течение нескольких месяцев и с учётом внешних факторов подскажет больше идей для повышения эффективности.
4. Сделать рассылку в контексте рекламной кампании с продуманным для этого контентом. Возможен вариант тестирования одной маркетинговой активности и комплекса действий. Тогда получится оценить эффективность всей стратегии. Выбирайте вариант, который отвечает запросам бизнеса.
5. Проанализировать результаты после завершения исследования. Например, 15% из контрольной группы купили, а 30% получили рассылку об акции и тоже купили. Это значит, что кампания сработала. Однако если проценты в обеих группах почти одинаковые, скорее всего стратегия рекламы недостаточно эффективная. Для оценки значимости результатов воспользуйтесь одним из калькуляторов для А/В-тестирования.
6. Скорректируйте кампании и стратегии для улучшения показателей. На этом этапе вы, возможно, поймёте, что надо отказаться от некоторых каналов, с которых нет отдачи.

Резюме

Контрольная группа — метод проверки маркетинговых кампаний, по которому некоторое количество пользователей исключаются из всех или некоторых каналов коммуникации бренда. Это важно, чтобы оценить значимость рекламных активностей в достижении результата бизнеса, сэкономить бюджет, время, протестировать гипотезы и выявить изменения рынка.

Бывают следующие виды контрольных групп: глобальная (клиенты получают только транзактные сообщения) и локальная (некоторые маркетинговые рассылки остаются). Такое исследование нужно для проведения A/B тестов, чтобы понять эффект от отсутствия изменений в кампаниях.

Выбор контрольной группы зависит от количества аудитории для рекламы: чем меньше людей в выборке, тем больше нужно для тестов. На эту аудиторию запускается реклама, и анализируется результат. После маркетологи делают вывод об эффективности стратегий и корректируют их.

Подписывайтесь на наш Telegram-канал. Там вы найдёте актуальные новости в области digital-маркетинга, полезные статьи и интересные исследования. Будьте в теме вместе с нами:)