A/B-тестирование
Проверяем гипотезы цифрами. Заголовки, CTA, лейауты — что реально поднимает конверсию.
Обновлено
A/B-тестирование на сайте: проверяем гипотезы по заголовкам, офферу и формам на реальном трафике и считаем результат честно. Срок — 14+ календарных дней. Стоимость считаем после короткого брифа.
Что входит
- План тестов с приоритезацией
- Настройка через GTM или GrowthBook
- Sample size и стат.значимость считаем сами
- Расшифровка результатов простым языком
- Внедрение выигравшего варианта
Спор «какой заголовок лучше» в команде можно вести неделями, а можно поставить два варианта на сайт и дать ответ посетителям. A/B-тест делит трафик на группы: одни видят текущую версию, другие изменённую, и через какое-то время становится видно, какой вариант чаще приводит к заявке или покупке. Главная ценность не в отдельном выигрыше, а в том, что решения о сайте перестают приниматься по вкусу руководителя или дизайнера.
Сразу о том, когда тест бессмысленен. Если на страницу приходит несколько десятков человек в день, статистически значимого результата придётся ждать месяцами, а за это время поменяется сезон, реклама и сам продукт. На малом трафике полезнее аудит сайта, записи сессий и разговоры с клиентами: явные проблемы видны и без эксперимента. Мы скажем об этом на старте, а не после того, как месяц теста ничего не показал.
Кому подходит
- Интернет-магазинам и сервисам с заметным трафиком, где даже небольшой рост конверсии в корзине или регистрации хорошо ощущается в деньгах.
- Компаниям, которые много платят за рекламу и хотят выжать больше заявок из того же бюджета, — особенно на лендингах под рекламные кампании.
- Продуктовым командам, которые выпускают изменения регулярно и хотят знать, какие из них реально помогают, а какие вредят.
Как работаем
- Проверка аналитики. До первого теста убеждаемся, что цели и события считаются правильно. Тест, построенный на кривой метрике, даёт уверенный, но неверный ответ.
- План тестов с приоритетами. Собираем гипотезы из данных: где люди уходят, на каком шаге формы бросают, что смотрят и не нажимают. Оцениваем каждую по возможному эффекту, уверенности и стоимости, и выстраиваем очередь.
- Расчёт выборки. Сами считаем, сколько посетителей и дней нужно, чтобы заметить разницу заданного размера. Фиксируем срок и метрику до запуска, а не подбираем их задним числом.
- Настройка. Через Google Tag Manager для простых правок текста и блоков или через GrowthBook, если нужны серверные эксперименты, флаги и тесты в приложении. Проверяем, что варианты отображаются без мерцания и обе группы получают сопоставимый трафик.
- Анализ. Расшифровываем результат простым языком: выиграл ли вариант, насколько мы в этом уверены, не повлиял ли он на другие показатели вроде среднего чека или отказов.
- Внедрение. Выигравший вариант переносим в код сайта нормально, а не оставляем висеть в скрипте тестирования, который замедляет загрузку.
Где тесты обычно врут
Самая частая ошибка — подсматривать. Посмотрели через три дня, вариант Б впереди, тест остановили. Но в начале эксперимента результаты скачут, и ранний «победитель» часто оказывается случайностью. Поэтому срок и размер выборки фиксируем заранее и не останавливаем тест из-за красивой промежуточной цифры.
Вторая проблема — неравномерное распределение. Если в одну группу по технической причине попало заметно больше людей или туда не попадают мобильные пользователи, сравнение теряет смысл. Это проверяем отдельно в каждом тесте. Третья — слишком много изменений сразу: переделали весь первый экран, конверсия выросла, но непонятно, за счёт чего, и повторить это на другой странице не получится.
Ещё одна вещь, о которой не все помнят: тест на стороне браузера может мешать поисковой индексации и скорости. Скрипт подменяет содержимое после загрузки, и если он тяжёлый, посетитель видит мелькание старой версии. Поэтому тесты держим короткими и после завершения убираем. С чего начинать, если опыта экспериментов нет, — в статье что тестировать первым.
Сроки и стоимость
Подготовка, первый тест и анализ — от 14 календарных дней, но длительность самого эксперимента определяется трафиком: где-то хватает двух недель, где-то нужен месяц. Стоимость считаем после короткого брифа. Она зависит от того, в каком состоянии аналитика, сколько тестов в плане, клиентские они или серверные, и нужно ли дорабатывать вёрстку или логику под варианты.
Пример из практики
Например, для онлайн-школы, где страница курса получает много рекламного трафика, а до оплаты доходят немногие. Команда спорит, что мешает: цена, длинный текст или форма с лишними полями. Вместо того чтобы переделать всё сразу, разумно начать с самой дешёвой и вероятной гипотезы, например, сократить форму, а следующим тестом проверить подачу цены. Если вариант не выиграл, это тоже результат: гипотеза закрыта, и команда больше не тратит на неё время.
Что нужно от вас
- Доступ к Метрике или другой аналитике и к контейнеру GTM, если он есть.
- Понимание главной цели: заявка, оплата, регистрация, — и оценка, сколько стоит одна такая конверсия для бизнеса.
- Доступ к коду или админке сайта для внедрения победителей.
- Готовность не трогать тестируемые страницы, пока идёт эксперимент.