В бизнесе постоянно приходится работать над улучшением показателей. В противном случае проект застопориться и перестанет приносить деньги. Для улучшения показателей и проверки наилучших вариантов существует множество разных инструментов, один из них — это A/B тестирование.
A/B тестирование — это метод исследования в маркетинге, который помогает определить наиболее эффективную версию продута на рынке.
При тестировании пользователей условно делят на две группы и показывают им две версии рекламы или веб-страницы. На какой отклик лучше — та и считается более удачной.
Метод используется когда:
- если требуется улучшить показатели;
- если требуется что-то изменить и есть несколько вариантов, как это можно сделать;
- если клиент считает, что нужны изменения, и вам нужно это проверить;
- если есть необходимость показать, что новый инструмент или новая версия продукта эффективны.
В этих случаях A/B-тестирование позволяет строить продажи и продвижение основываясь на реальных данных.
Пример:
Специалист по маркетингу считает, что при перемещении кнопки «заказать» снизу наверх, конверсия увеличится на несколько процентов.
Чтобы подтвердить свою теорию, он создает вторую версию сайта. А потом сравнивает, на каком сайте было больше продаж.
Таким образом маркетологи тестируют рекламные креативы, e-mail-рассылки или элементы веб-страниц — например, шрифт, расположение кнопок, заголовок, описание продукта, дизайн, цену товара и т.д.
Как проводить A/B тесты
A/B-тестирование проводится в несколько этапов.
- Сформулировать гипотезу
Грубо говоря, нужно двигаться по такой формуле — «Вариант B работает лучше, чем вариант A».
То есть в нашем случае маркетолог говорит «Сайт с кнопкой “заказать” вверху будет работать лучше, чем сайт с кнопкой “заказать” внизу».
Одновременно с этим должны быть и нулевая гипотеза — обратное предположение, которое подразумевает, что вариант A работает лучше, чем вариант B. «Сайт с кнопкой “заказать” внизу работает лучше, чем сайт с кнопкой “заказать” вверху».
- Определить метрики для отслеживания результата
Для определения потребуются количественные метрики такие как CTR, CPA, LTV, ER.
- Рассчитать размер выборки
Есть специальные калькуляторы — например, Mindbox — они показывают, сколько пользователей должно быть задействовано при A/B тестировании.
Обычно для A/B-теста задействуют от 2% до 30% от генеральной совокупности показателей (всей пользователи, которые взаимодействуют с объектом).
Например, в нашем случае маркетолог должен взять среднее число посетителей в месяц и вычесть из него до 30%.
- Запустить тестирование
Есть несколько способов это сделать:
- С помощью встроенных инструментов. Возможность тестирования есть в некоторых рекламных системах.
- Ручное тестирование. Оно подойдет для запуска рекламных объявлений — например, в соцсетях запустить одновременно два варианта объявления на одну аудиторию. Но нужно иметь в виду, что такой способ трудозатратный.
- С помощью специальных сервисов. Например, Leadpages или Cdn. Для тестирования через сервисы, нужно установить на сайт их код. Сервис автоматически распределит трафик и посчитает результат.
- С помощью программирования. Этот способ подходит для сложных случаев — например, когда нужно отслеживать сразу несколько метрик и несколько сегментов целевой аудитории.
- Проанализировать результаты
После тестирования нужно определить, какой вариант был лучше. Если выясняется, что новый вариант дал лучший результат, то его внедряют и используют. Если же старый вариант оказался более результативным или разницы нет, то формируют новую гипотезу и проверяют уже ее.
Ошибки при A/B тестировании
По незнанию при тестировании можно допустить ошибки, которые могут повлиять на результат.
Проверка нескольких гипотез одновременно
Так почти невозможно понять, какой из элементов повлиял на результат, что приводит к неправильным выводам. Поэтому рекомендуем во время одного теста проверять только одну гипотезу.
Разные версии сайта в разное время
Например, может возникнуть мысль один месяц показывать пользователям вариант A, а в следующем месяце — вариант B. Это очень опасный путь, потому что если тестирование проводится не одновременно, то здесь может вмешаться случай — сезонность, обстановка в мире и другие факторы. И получится, что на самом деле на результат повлияли совсем не изменения в сайте или креативе.
Завершение тестирования раньше времени
Несколько дней не могут служить показателем конверсии. Поэтому, если эксперимент пришлось завершить раньше, не стоит считать эти результаты корректными. Статистическая достоверность при A/B тестировании должна быть не менее 95%.
Итог
A/B тестирование помогает выяснить, какой из вариантов сайта/рекламы/креатива и т.д. может дать наилучший результат. Для тестирования используют специальные сервисы, встроенные инструменты, проверяют вручную или задействуют программирование.
