A/B тест: что это такое и как его провести

Интернет-магазин книг ведёт трафик на сайт, но покупают мало: люди добавляют товар в корзину и уходят. Команда подозревает, что виновата громоздкая форма оплаты. Причина может быть и другой — цены, отзывы, доставка. Проверить, поможет ли новая форма, можно A/B-тестом.

А/В-тестирование (сплит-тестирование) — эксперимент, в котором сравнивают два варианта:

– вариант А — контрольный, без изменений;
– вариант В — тестовый, с одним изменением, которое проверяет гипотезу.

Аудиторию случайным образом делят на две группы, обычно 50/50. Одна группа видит вариант А, другая — вариант В. Затем сравнивают, какой вариант лучше влияет на выбранную метрику: продажи, заявки, клики, регистрации.

Тестировать можно почти всё, с чем взаимодействует клиент: посадочные страницы, заголовки и креативы объявлений, кнопки призыва к действию, формы заявок, темы рассылок, экраны онбординга, вопросы и стартовые страницы квизов. A/B-тест помогает опираться на данные вместо интуиции и делать продукт удобнее для клиента.

Какие метрики сравнивают в A/B-тестах

Метрику выбирают под гипотезу. Чаще всего сравнивают конверсию, клики и регистрации.

Коэффициент конверсии

Показывает, какая доля посетителей совершила целевое действие — оставила заявку, купила, подписалась. Коэффициент выражается в процентах.

Конверсия в клики (CTR)

CTR — более чувствительная метрика: для её изменения достаточно кликов. При этом клик не всегда означает победу варианта — пользователь может кликнуть случайно. CTR сравнивают, когда тестируют рекламное объявление или баннер.

💡 Подробнее про клики и расчёт CTR для рекламы, рассылок и соцсетей — в нашей статье

Количество регистраций или подписок

A/B-тест помогает найти форму регистрации, через которую клиенту удобнее авторизоваться, сделать заказ или оформить подписку.

Сравнивать можно и другие показатели — время просмотра, средний чек, долю вернувшихся пользователей.

Когда A/B-тест лучше не проводить

A/B-тест срабатывает не всегда. Есть ситуации, когда время и бюджет лучше потратить на другое.

❌ Когда ещё нет достаточного трафика

Чтобы выявить предпочтения аудитории, нужна достаточная выборка. Если трафика мало, тест будет идти месяцами или так и не покажет результат.

❌ Когда нет точки отсчёта

Допустим, лендинг запустили недавно или на сайте не стоял счётчик аналитики. Тогда непонятно, с чем сравнивать результат, — сначала стоит собрать данные о текущих показателях.

❌ Когда изменение слишком маленькое

Смещение кнопки на пару пикселей вряд ли даст заметный эффект, а для его проверки понадобится огромная выборка. Однажды команда Google протестировала 41 оттенок синего и увеличила конверсию на сотые доли процента. При трафике Google это принесло около 200 млн долларов, но для небольшого бизнеса такой тест обычно не окупается.

❌ Когда нет обоснованной гипотезы

Хороший учёный не начинает эксперимент без проработанной гипотезы. Если гипотеза сырая, лучше вернуться к поиску проблемы — болевая точка может оказаться совсем в другом месте.

❌ Когда улучшение очевидно

Если изменение почти наверняка улучшит продукт, а риски невелики, тест можно пропустить и сразу внедрять.

Что важно знать о статистике A/B-теста

Разница между вариантами может появиться случайно. Несколько понятий помогают отличить реальный эффект от шума.

Статистическая значимость

Статистическая значимость помогает оценить, насколько наблюдаемая разница между вариантами совместима со случайными колебаниями. Например, при пороге значимости 5% результат считают статистически значимым, если при отсутствии реального эффекта получить такую или ещё большую разницу было бы маловероятно.

Проще говоря, чем больше данных и стабильнее разница между вариантами, тем меньше оснований считать эффект обычным шумом.

Порог значимости 5% не означает, что 5% пользователей сделали выбор случайно. И он не означает буквально «с вероятностью 95% вариант В лучше».

Мощность теста

Мощность показывает, насколько тест способен обнаружить реальный эффект заданного размера, если он действительно существует. Часто при планировании используют мощность 80%.

Маленькая выборка опасна в обе стороны. Можно принять случайный всплеск за победу варианта В. А можно совершить обратную ошибку — решить, что изменение ничего не дало, хотя эффект на самом деле есть.

Минимальный заметный эффект (MDE)

Ещё до запуска решаем, какое минимальное изменение метрики вообще имеет смысл обнаруживать. Это и есть MDE (Minimum Detectable Effect).

Пример: текущая конверсия — 10%. Рост до 10,1% компании неинтересен, а рост до 11% уже окупает внедрение изменения. Значит, MDE = +1 п. п.

Чем меньший эффект хотим поймать, тем больше понадобится выборка. Для примера выше при пороге значимости 5% и мощности 80% нужно примерно 15 000 посетителей в каждой группе. Если искать эффект в 0,5 п. п., выборка вырастет почти вчетверо.

Статистическая и практическая значимость

Статистическая значимость отвечает на вопрос, есть ли основания считать разницу реальной. Практическая — достаточно ли велика эта разница, чтобы ради неё менять продукт.

Пример: конверсия выросла с 20 до 20,1%. Благодаря миллионам пользователей результат статистически значим, но внедрение изменения стоит 5 млн ₽. Эффект существует, но бизнесу он может быть не нужен.

Одни и те же +0,2 п. п. конверсии могут быть огромным эффектом для маркетплейса с миллионами покупок и бессмысленными для небольшого сайта с дорогой доработкой.

Как провести A/B-тест

Разберём шаги на примере компании, которая продаёт пилорамы. Маркетолог вёл трафик из Яндекс Директа на квиз и сравнил две стартовые страницы — пример из кейса.

Шаг 1. Находим проблему и формулируем гипотезу

Компании нужно больше заявок на дорогие станки. Реклама на прежнюю посадочную страницу принесла один звонок за 40 000 ₽, так что трафик перевели на квиз и стали искать самое сильное предложение для стартовой страницы.

Гипотеза — предположение о том, как изменится метрика, если изменить один элемент продукта. В ней называют решение и показатель, который должен улучшиться.

Пример: если на стартовой странице пообещать расчёт стоимости и скидку вместо общего описания пилорамы, больше посетителей дойдут до отправки формы.

Идеи для гипотез берут из разных источников:

– данные веб-аналитики — карты кликов и прокрутки, воронки в Яндекс Метрике;
– опросы клиентов;
– исследования удобства интерфейса;
– интервью с клиентами (кастдев);
– исследования рынка и конкурентов;
– обращения в службу поддержки;
– мозговые штурмы вокруг конкретной метрики.

💡 В Марквизе есть готовые шаблоны квизов для опроса клиентов

Как изучить потребности покупателей — в статье «Что такое CustDev и как провести исследование»

Шаг 2. Выбираем основную и контрольные метрики

Основная метрика показывает, подтвердилась ли гипотеза. Для квиза с пилорамами это конверсия в отправку формы.

Контрольные метрики помогают заметить побочные эффекты. Например, конверсия выросла, но заявки стали дороже или менеджеры жалуются на их качество — тогда внедрять изменение рано.

Шаг 3. Определяем минимальный заметный эффект

Решаем, какой рост основной метрики окупит изменение. Допустим, компании интересен рост конверсии хотя бы на 1 п.п. — с 7,5 до 8,5%.

Шаг 4. Рассчитываем выборку и длительность

Для расчёта выборки нужны базовое значение метрики, MDE, уровень значимости, мощность и количество вариантов.

💡 Выборку удобно посчитать в бесплатном калькуляторе, например у Mindbox

Чтобы поймать рост с 7,5 до 8,5% при мощности 80% и уровне значимости 5%, нужно около 11 500 посетителей в каждой группе. За месяц рекламы квиз с пилорамами собрал примерно по 750 визитов на вариант. С таким трафиком тест замечает только крупную разницу — рост конверсии примерно с 7,5 до 11,5%.

Если трафика мало, тестируем смелые изменения: другое предложение, другой формат страницы. Мелкие правки вроде цвета кнопки на небольшой выборке не покажут ничего.

Тест заканчивают после того, как набрана рассчитанная выборка и прошло достаточно времени, чтобы учесть циклы поведения аудитории. Если сервисом для бизнеса пользуются в основном по будням, тест стоит провести через несколько рабочих недель. Если покупки в будни и выходные сильно отличаются, эксперимент должен захватить и те и другие дни.

Итого длительность теста складывается из выборки и временного цикла аудитории — универсального срока вроде «14 дней» нет.

Шаг 5. Готовим контроль и вариант, проверяем аналитику и распределение трафика

Для проверки гипотезы нужна страница без изменений (А) и страница с одним изменением (В). Меняем только один элемент — если изменить несколько, будет непонятно, какой из них повлиял на результат.

В примере вопросы и форма контактов остались одинаковыми, менялась только стартовая страница. В варианте А — общее описание пилорамы и кнопка «Подобрать пилораму».

Вариант А — надёжность, производительность и простота обслуживания

В варианте В — расчёт стоимости, скидка до 22 000 ₽ и кнопка «Рассчитать стоимость».

Вариант В — расчёт стоимости и скидка

На квиз ставим счётчик Яндекс Метрики и цели для фиксации конверсий. Марквиз передаёт в Метрику параметр визита marquiz_ab, по нему результаты вариантов сравнивают в отчёте. Перед запуском проверяем, что оба варианта загружаются одинаково быстро и выглядят корректно на всех устройствах.

💡 Как установить счётчик Яндекс Метрики в квиз — в нашей статье

Шаг 6. Одновременно запускаем варианты на случайных группах

Оба варианта показываем одновременно. Если запустить их по очереди, не получится понять, что повлияло на результат — изменение или колебания спроса из-за сезона.

Группы формируются случайно: каждый пользователь с одинаковой вероятностью видит вариант А или В. Участники не должны знать о тесте, иначе это повлияет на их реакцию.

В примере весь трафик шёл на одну ссылку квиза, а Марквиз сам делил посетителей между вариантами.

❗ Во время теста варианты не меняем, иначе результат будет нечестным.

Шаг 7. Дожидаемся правила остановки

В классическом тесте с заранее рассчитанной выборкой результаты оценивают только после того, как выборка набрана. Проверить через 1–2 дня, что тест работает без технических ошибок, полезно, а вот делать выводы по промежуточным цифрам рано.

Метрики колеблются. Сегодня вариант В выглядит победителем, а через три дня разница исчезает. Если каждый день проверять значимость и выключать тест при первом «успехе», вероятность получить ложного победителя растёт. Эту ошибку называют подглядыванием.

Некоторые современные платформы используют последовательные статистические методы и позволяют корректно смотреть результаты раньше. Тогда следуем правилам конкретного сервиса.

Шаг 8. Оцениваем статистическую и бизнес-значимость, фиксируем вывод

Смотрим, значима ли разница, достаточно ли она велика для бизнеса и как изменились контрольные метрики.

Отчёт Яндекс Метрики по целям квиза: слева вариант В, справа вариант А

Вариант В впереди по всем целям, но разница около 1 п.п. при 750 визитах на вариант статистически не значима. По правилам классического теста это исход «данных недостаточно»: доказать, что В лучше, тест не смог.

Маркетолог перевёл основной трафик на вариант В. Для небольшого бизнеса это разумное решение: вариант не хуже контрольного, а предложение конкретнее. Важно только честно записать вывод — «В выглядит не хуже А», а не «В доказанно лучше».

Результаты теста полезно задокументировать вместе с гипотезой и выводами. Такой архив ускоряет следующие мозговые штурмы и помогает не повторять уже проверенные идеи.

💡 Как квиз принёс 110 заявок на пилорамы за месяц — в кейсе «Как получить лиды дешевле чашки кофе на товар с чеком от 300 000 ₽»

Когда нужен A/A-тест

В A/A-тесте сравнивают вариант А с таким же вариантом А. Разницы быть не должно — если она появилась, ошибка в настройке теста или аналитике.

A/A-тест полезен:

– при первом запуске собственной системы экспериментов,
– после серьёзных изменений в механике распределения трафика,
– когда есть подозрения на ошибки аналитики,
– для оценки естественной вариативности метрик.

Проводить A/A-тест перед каждым маркетинговым A/B-тестом не обязательно.

Как читать результаты A/B-теста

Отсутствие статистически значимого результата — нормальный исход. Возможны четыре варианта:

Важно различать: «мы не нашли разницу» ≠ «мы доказали, что разницы нет».

Где проводить A/B-тесты в 2026 году

Сервис выбирают под то, что тестируем.

A/B-тестирование в Марквизе

В Марквизе A/B-тест квиза запускают прямо в панели, без создания нескольких квизов. Ссылка на квиз остаётся одна, а вариантов может быть несколько. Можно сравнивать стартовые страницы, иллюстрации, вопросы и форматы ответов, лендинг Marquiz Pages и обычную стартовую страницу.

Переключаться между вариантами А и В можно в правом верхнем углу панели

💡 Инструкция: Настройка А/В-теста в квизе

Так проверяли стартовые страницы в примере с пилорамами выше: ссылка на квиз одна, трафик делится между вариантами автоматически, а результаты видны в Яндекс Метрике.

Varioqub — сайты и приложения

Varioqub — сервис Яндекса для A/B-тестов сайтов и мобильных приложений. Он работает в связке с Яндекс Метрикой и сам оценивает статистическую значимость результатов.

Яндекс Директ — рекламные кампании

В Директ Про есть отдельный механизм A/B-экспериментов. Можно сравнивать кампании, креативы, акции, посадочные страницы и настройки. Яндекс рекомендует в рамках одного эксперимента проверять одну гипотезу с одним параметром.

Результаты эксперимента «АБ-тест приземления трафика на две разные посадочные». Значение метрик для вариантов и их сравнение с контрольным

А/В-тестирование в Unisender

С помощью сплит-тестирования можно понять эффективность рассылок и узнать, какие письма по-настоящему работают и вызывают отклик подписчиков. Например, в сервисе Unisender вы можете создать два варианта письма: часть аудитории получит первое, часть — второе. Вариант, собравший больше открытий, отправится по всей базе.

Функция A/B тестов рассылок позволяет быстро выбирать лучшую идею или гипотезу. Можно проверить, как подписчики реагируют на эмоджи в теме, как относятся к анимации в теле письма и насколько часто кликают по кнопкам.

А ещё это хороший способ ближе узнать свою аудиторию — не нужно опрашивать каждого подписчика, их действия скажут сами за себя. Например, какие товары, указанные в письме, вызывают больший интерес или какие статьи открывают чаще. В Unisender можно тестировать:

• тему и прехедер;
• имя отправителя;
• цвет кнопок и ссылок;
• текст внутри сообщения;
• формат письма — текст или HTML;
• наличие или отсутствие цен;
• призыв к действию внутри сообщения — один или несколько.

A/B тесты легко объединить с другими инструментами Unisender. В сервисе можно собирать и сегментировать базы подписчиков, быстро создавать любые виды писем по готовым шаблонам или в блочном конструкторе, запускать чат-ботов и отслеживать аналитику.

Специализированные платформы для экспериментов

Продуктовые команды с большим трафиком используют отдельные платформы для экспериментов. Они позволяют вести много тестов одновременно, работать с последовательными статистическими методами и связывать результаты с продуктовой аналитикой.

Частые ошибки A/B-тестирования

Разберём ошибки, которые чаще всего ломают выводы. Опираемся на разбор проблем A/B-тестирования от Rocketlab 2026 года.

Ошибка 1. Ориентироваться на среднего пользователя

Средние значения метрики описывают вымышленного среднего человека и скрывают различия в поведении реальных клиентов. Показатели могут вырасти в одной группе и упасть в другой.

Пример: 80% покупателей интернет-магазина верхней одежды — мужчины. Магазин хочет продавать больше женских пуховиков и тестирует главную страницу с упором на мужскую одежду (А) против страницы с упором на женскую (В). Вариант А почти наверняка победит, и тест не скажет ничего нового. Быстрее выявить посетительниц и показать им релевантный контент.

Чтобы избежать ошибки, результаты смотрят по сегментам, например:

– новые и постоянные посетители,
– мужчины и женщины,
– мобильный трафик и трафик с компьютеров,
– лояльные клиенты и разовые покупатели.

Если эффект есть только в одном сегменте, изменение не внедряют для всех, а проверяют повторным тестом на этом сегменте.

💡 Подробнее о сегментировании — в нашей статье

Ошибка 2. Не проверять, как разделился трафик

Задумали разделить аудиторию 50 на 50, а получили 45 на 55. Такой перекос называют SRM (sample ratio mismatch). Обычно он значит, что сломалось распределение трафика или аналитика: одному человеку показываются оба варианта, часть событий теряется, боты попадают только в одну группу. Результатам такого теста доверять нельзя, даже если разница значима.

Перед анализом сравниваем фактическое деление трафика с запланированным. Заодно проверяем, что источники трафика и устройства распределились по группам примерно одинаково.

Ошибка 3. Сосредоточиться на краткосрочной перспективе

Первые сигналы теста часто отличаются от результатов после того, как пользователи привыкли к изменению. Особенно это заметно в интерфейсах: люди охотнее жмут на новую яркую кнопку, но через несколько дней эффект новизны слабеет.

Бывает и наоборот. Постепенные улучшения рекомендаций или скорости приложения не дают быстрого измеримого эффекта, но со временем заметно повышают удовлетворённость аудитории.

Ошибка 4. Останавливать тест, как только В впервые стал «значимым»

В классическом тесте выборку и правило остановки задают до запуска. Если выключить тест при первом значимом результате, легко принять случайное колебание за победу.

Ошибка 5. Смотреть на десятки метрик сразу

Чем больше метрик сравниваем, тем выше шанс, что какая-то из них покажет значимую разницу случайно. Даже в A/A-тесте, где группы одинаковые, из 100 метрик несколько окажутся «значимыми».

Основную метрику выбираем до запуска и выводы делаем по ней. Остальные метрики — контрольные: они помогают заметить побочные эффекты, но не назначают победителя.

Что ещё может испортить A/B-тест

❌ Неправильные гипотезы.
❌ Неудачно выбранные метрики.
❌ Трактовка результатов в свою пользу без цифр и фактов.
❌ Решение без проверки статистической значимости.
❌ Неправильная аудитория.
❌ Запуск в праздники или во время крупных акций, когда поведение аудитории нетипично.
❌ Сбои систем и ошибки в отчётах.
❌ Слишком долгая настройка, из-за которой тест теряет актуальность.

Основные мысли

● A/B-тест сравнивает контрольный вариант с тестовым на случайных группах аудитории и помогает принимать решения на основе данных;
● выборку считают до запуска: для этого нужны базовая метрика, минимальный заметный эффект, уровень значимости и мощность;
● длительность теста зависит от выборки и циклов поведения аудитории, а промежуточные цифры в классическом тесте не повод для выводов;
● статистически значимая разница бывает бесполезной для бизнеса, а отсутствие разницы не доказывает, что варианты одинаковы;
● квизы тестируют прямо в Марквизе, сайты и приложения — в Varioqub, рекламу — в Яндекс Директе, рассылки — в сервисах рассылок.