В сервисе Marquiz появилась новая функция: запускайте А/Б тесты для роста конверсии прямо внутри сервиса. В этой статье, расскажу как этим пользоваться, и почему мы так долго не хотели публиковать эту возможность.
Что такое А/Б тест?
А/Б тестирование – способ поднять конверсию квиза / лендинга / рекламного объявления с помощью сравнения вариантов. Суть такого теста элементарна: создай две версии квиза, где будут различаться заголовки / вопросы / изображения или другие элементы. Затем покажи половине посетителей версию А, второй половине версию Б. Посмотри, какая из них работает лучше.
Стандартный пример А/Б теста выглядит примерно так: запустили рекламу на две версии квиза. В одной версии кнопка белая, в другой – черная. Трафик делится пополам на обе версии. Спустя 250 кликов на каждую мы увидели, что конверсия в заявку на версии А = 2%, а конверсия версии Б = 3%. Оставили кнопки черного цвета и приступили к тестированию другого элемента, например, заголовка на стартовой странице.
Почему мы так долго не хотели публиковать этот функционал?
В теории А/Б тестирование выглядит очень простым, но подходит оно далеко не всем. Ниже собрал грубые ошибки, которые превратят ваш эксперимент в бесполезную трату времени, и даже могут ухудшить результат.
Ошибка 1 – тестировать несколько изменений за один раз
В попытке поскорее улучшить конверсию хочется сразу протестировать несколько элементов. Например, во второй версии квиза поменять заголовок на стартовой странице, выбрать другую фотографию и вместо скидки предложить другой бонус.
Даже если вторая версия окажется лучше первой, мы не сможем понять, что именно сработало: заголовок, бонус или изображение. Чаще всего результат будет примерно такой же, но если бы мы тестировали эти 3 элемента отдельно, то заметили бы:
- заголовок на стартовой поднял конверсию с 5% до 6.5%
- изображение никак не повлияло на конверсию
- в вот новая версия бонуса за прохождение снизило конверсию на 5%
Вывод: в рамках эксперимента тестируй один элемент квиза, чтобы понять его влияние на объем заявок. В конце статьи ты найдешь список гипотез, которые можно проверить на своем квизе.
Ошибка 2 – подвести итоги эксперимента раньше времени
Бывает, что уже в первый день эксперимента можно увидеть разницу в конверсии между двумя версиями. Вот это удача – теперь можно закончить эксперимент и перераспределить рекламный бюджет сразу на вариант победителя.
Звучит логично, но здесь кроется грубая ошибка, которая может сильно подпортить результаты в будущем. Перед началом эксперимента обязательно определите время и количество визитов, после которых будете принимать решение. Закладывайте на эксперимент от 7 дней, чтобы учесть разное поведение людей в разные дни недели.
Ошибка 3 – запускать эксперименты с маленьким трафиком
А/Б тесты бесполезны на маленьком трафике; чтобы улучшить конверсию, вам лучше пообщаться с потенциальными клиентами лично, чтобы узнать их получше. В аналитике есть такой термин – "статистически значимое изменение конверсии", его не учитывают многие, даже опытные, маркетологи. Приведу пример: на каждую версию квиза пришло 250 человек
- Конверсия первой версии – 4%
- Конверсия второй версии – 5%
Значит ли это, что если на вторую версию привести в 10 раз больше людей, то получим примерно 120-125 заявок?
Нет. Поскольку изменение конверсии могло быть связано с погодой, настроением или любым другим фактором помимо вашего изменения в квизе. Чтобы рассчитать статистически значимое изменение, воспользуйтесь калькулятором или более мудреной версией – тут можно настраивать % вероятности. Более подробно про статистическую значимость хорошо написано в блоге Олега.
Ошибка 4 – запускать эксперимент сразу на всю аудиторию
Финальная ошибка в рамках этой статьи – запускать эксперимент на 100% аудитории: горячие и теплые клиенты покажут разную конверсию; тест в мобильной версии и десктопе тоже отличается, и нужно уметь запустить эксперимент в рамках одной когорты потенциальных клиентов. Иначе вывод будет неверным.
Как проводить А/Б тесты квиза?
Если я всё-ещё не отговорил вас от идеи экспериментов, давайте по шагам запустим первый из них прямо сейчас.
Определим метрику, которую нужно улучшить
Общая конверсия квиза состоит из 3-х промежуточных этапов:
- Конверсия в начало прохождения – показывает, насколько это интересно вашей аудитории;
- Конверсия в ответы на все вопросы – показывает, насколько они грамотно составлены;
- Конверсия в заполнение формы контактов – показывает, насколько сильное вы сделали предложение.
Чтобы определить нужный этап для "подкрутки", сперва заглянем в текущую аналитику квиза. Самый простой и удобный вариант – внутренняя аналитика с наглядной воронкой и статистикой по ответам. Но если у вас также подробно настроены события в Яндекс Метрике или Google Analytics, можно заглянуть туда.
Задача найти точку, на которой мы теряем больше всего заявок. Это может быть отдельный вопрос, форма контактов или стартовая страница.
Сформулируем гипотезу
Гипотеза – это наше предположение, которое требует доказательства на практике. Правильная гипотеза строится из нескольких частей:
- мы заметили <узкое место>;
- если мы <описание изменений>
- это улучшит <метрика>
- на <Х>% для <сегмент пользователей>»
Мы заметили, что на 3-м вопросе уходит большая часть людей, нам кажется, что если поменять формат вопроса с "ввод текста" на "выбор варианта", то можно увеличить % ответов на этот вопрос на 5 п.п. для посетителей с мобильных устройств.
Ремарка – не путайте изменение на n% и на n процентных пунктов. Если конверсия квиза А = 5%, а конверсия квиза Б = 7%, то в результате эксперимента вы подняли конверсию на 2 процентных пункта 5%+2%=7% или на 40% (7-5)/5*100% = 40%
Определить, что будем считать успешным или неудачным тестом.
Для этого нам нужно:
- определить время эксперимента, минимум неделя;
- определить выборку – количество человек, которые будут участвовать в эксперименте;
- изменение конверсии, которое подтвердит наше предположение.
Необходимое число человек в выборке можно определить с помощью уже знакомого калькулятора. Чем меньше человек, тем менее точным будет ваш эксперимент.
Внести изменение в квиз
Поменяем формат вопроса с "ввод текста" на "выбор ответа", сохраним и опубликуем квиз. Всё – это единственное изменение на грядущий эксперимент. Если он будет удачным, то мы увидим больше ответов на этот вопрос и общее количество заявок. Если нет – попробуем внести другое изменение.
Как работает тест технически со стороны сервиса, можно почитать в заботливой заметке наших разработчиков.
Проверить аудиторию перед стартом: А/А тест.
Этот шаг нужно пройти тем, кто любит эксперименты и хочет разобраться, что именно влияет на изменение конверсии. Напомню, чтобы провести эксперимент, мы показываем оба варианта аудитории поровну. Чтобы убедиться, что аудитория одинаковая, можно запустить А/А тестирование: в этом сценарии оба вариант квиза одинаковые. Если мы увидим, что разница в конверсии присутствует, значит мы привлекаем разнородную аудиторию. Если конверсия одинаковая или ее разница несущественная, то можно внести изменение во второй вариант и запустить полноценный тест.
Подвести итоги
Через неделю или обозначенный период нужно заглянуть в аналитику и проверить разницу конверсии. Убедитесь, что разница статистически значима, с помощью калькулятора. Если эксперимент удачный, оставьте вариант-победитель и переходите к запуску нового теста. Если эксперимент неудачный, а таких может быть большинство, попробуйте разобраться в причине и провести новый эксперимент.
Идеи для тестирования
Собрали для удобства список гипотез для тестирования. Можно взять любую из них или пройтись по всем последовательно, а когда набьете руку – переходите к собственным формулировкам гипотез.
Поднимаем конверсию в начало прохождения квиза
- Поменять картинку на стартовой
- Тестируем заголовок или подзаголовок
- Экспериментируем с текстом на кнопке
- Сравниваем вариант "стартовая страница" и "лендинг пейдж" с контактами организации
- Пробуем поменять формат стартовой: выравнивать все по центру, разместить картинку слева или сделать её во весь экран
- Сравниваем эффективность картинки против видео или гифки
Поднимаем конверсию в ответы на все вопросы
- тестируем форматы вопросов (их у нас уже 10 вариантов)
- добавляем и убираем подсказки консультанта
- пробуем эффект нарастающей или тающей скидки
- проводим эксперимент с подключением и отключением бонусов
- добавляем и сокращаем количество вопросов
- меняем формулировки вопросов
- упрощаем или усложняем варианты ответов
- подключаем и отключаем ветвление вопросов
- тестируем с возможность пропустить вопрос
- посмотрим, как влияет на конверсию возможность выбора нескольких ответов против ограничения в один вариант
Поднимаем конверсию в заполнение контактов
- экспериментируем с предложением
- добавляем и убираем бонусы за заполнение формы
- тестируем разный формат подзаголовков на этом шаге
- проводим эксперимент с показов результатов до или после формы контактов
- экспериментируем с заголовком результата до формы
- проводим эксперимент с изображением или видео в результатах до формы контактов
- экспериментируем с текстом на кнопке результата до формы
- пробуем двухшаговую форму контактов
- тестируем количество полей в форме контактов
- пробуем собирать контакты мессенджеров вместо классических телефона и email
Сохрани статью у себя и переходи к своему первому А/Б тесту.
А если хотите быстро опробовать новую нишу, но нет времени на долгое тестирование и анализ статистики, то можете протестировать нашу однокнопочную интеграцию с Яндекс.Бизнесом. Яндекс.Бизнес сам создаст и настроит объявление, запустит в трафик и проследит, чтобы реклама работала сама. К тому же, после этого всегда можно провести A/Б тестирование уже среди вариантов, дающих нужные вам результаты.
И чтобы вам было вдвойне приятнее, мы дарим промокод на 3000₽ от наших партнёров Яндекс.Бизнеса, найти и почитать подробнее можно тут
.jpg)
.jpg)
.jpg)
