Что такое A/B-тестирование и зачем оно нужно
А/В-тестирование – это метод маркетингового исследования, в рамках которого сравниваются контрольный вариант продукта (А) и его измененная версия (В). Иначе говоря, тестируется эффективность двух вариантов – какой из них будет более успешным.
Как правило, A/B-тесты применяются для проверки различных элементов сайта, например:
- Заголовок, описание
- Изображения
- Объем текста на странице
- Расположение, размер, цвет и пр. кнопок и конверсионных форм и т.д.
Также могут тестироваться стоимость товара, УТП, различные акции и многое другое.
В рамках тестирования специалисты выдвигают гипотезу о том, как именно измененный элемент улучшит показатели эффективности, после чего определяют конкретные метрики – например, клики, конверсия и т.д. Затем подключаются системы аналитики, внедряются изменения и запускается сам процесс тестирования, длящийся 10-15 дней. Наконец, специалисты оценивают результаты и делают выводы – оказался ли измененный вариант более успешным, чем изначальный.
Зачем это нужно:
- Увеличение конверсии. Практически каждый сайт стремится конвертировать посетителя в клиента, мотивируя его выполнить целевое действие – например, подписаться на рассылку, оформить заказ и пр.
- Снижение количества отказов. Более удобное расположение элементов на сайте, подходящая цветовая гамма, оптимальное количество текста и пр. позволяют удержать посетителя на сайте.
- Адаптация под требования аудитории. Благодаря А/В-тестам вы сможете держать руку на пульсе – убирать негативно воспринимаемые элементы, добавлять популярный контент и пр.
- Улучшение юзабилити. Вы можете узнать, какой функционал стоит добавить, какой упростить и пр.
- Снижение рисков при внедрении изменений. Тесты позволяют выяснить, как аудитория относится к внедряемым изменениям. При негативной реакции вы сможете оперативно откатить их назад.
Простыми словами, благодаря А/В-тестам вы сможете улучшить поведенческие факторы и конверсию на сайте, а также доход своего бизнеса.
Виды А/В-тестирования
Есть несколько вариантов тестирования:
1. Простое А/В-тестирование (или «сплит-тест»)
Традиционный вид тестирования, при котором сравнивают контрольный и тестовый варианты. Поскольку вносимые изменения являются точечными (т.е. они глобально не затрагивают работу сайта), тестирование является максимально эффективным.
Пример: сравнение двух лендингов – с красной и синей кнопкой призыва к действию. Вариант с красной кнопкой является контрольным, с синей – тестовым. Если показатели эффективности второго варианта окажутся выше, внедряемые изменения будут одобрены, если нет – сохранится исходный вариант.
2. A/B/n-тестирование
Одновременное сравнение нескольких вариантов. С его помощью вы можете подготовить различные варианты изменений и выбрать из них наиболее эффективный. Тестирование предполагает сравнение конверсий всех вариантов при условии равного количества посетителей на каждом из них.
Пример: сравнение лендингов с красной, синей, желтой и зеленой кнопкой призыва к действию. Трафик между ними распределяется равномерно (по 25% на каждый). Лендинг, продемонстрировавший наилучшую конверсию, будет выбран в качестве основного.
3. Многовариантное тестирование
Сравнение двух вариантов нескольких элементов в разных комбинациях. Более сложный вариант тестирования, позволяющий исследовать воздействие на аудиторию сочетания элементов друг с другом, а не каждого элемента по отдельности.
Пример: сравнение лендингов с разными вариантами кнопок призыва к действию и логотипом.
Подключите городские номера МТТ для точности А/В-тестов Настройте номера под разные сегменты клиентов 
Как проводить А/В-тестирование
Процедура А/В-тестирования включает следующие этапы:
1. Выдвижение гипотезы
В первую очередь, вы должны определить, что именно вы планируете изменить и к каким результатам эти изменения должны привести. Например, изменение цвета кнопки призыва к действию приведет к увеличению конверсии – это и есть гипотеза.
Гипотеза должна выдвигаться на основе анализа пользовательского опыта. Нельзя в буквальном смысле «взять ее из головы». Воспользуйтесь отчетами из систем аналитики, картами скроллинга, картами кликов.
2. Определение метрик
На основе выдвинутой гипотезы вы должны выбрать метрики, которые понадобится отслеживать для оценки эффективности внедренных изменений. Например, это может быть конверсия, количество кликов, время нахождения на странице. Выбирайте количественные показатели исходя из целей исследования.
3. Выбор системы аналитики
Теперь необходимо выбрать инструмент, с помощью которого вы будете отслеживать результаты тестирования. Например, вы можете воспользоваться:
- Google Optimize. Один из наиболее популярных инструментов. Полностью бесплатный и подходит как для лендингов, так и многостраничных сайтов. Позволяет выбирать процент трафика, участвующего в исследовании, проводить несколько тестов и т.д.
- Optimizely. Программа для А/В-тестирования с простым интерфейсом. Позволяет работать с сайтами, рассылками и пр. Имеет достаточно широкий функционал. Предусмотрена бесплатная версия для одного сайта.
- Visual Website Optimizer. Функциональный сервис дл сплит-тестирования на любой странице сайта. Позволяет фиксировать навигацию, конверсию и пр. Доступна бесплатная демо-версия (на 1 месяц) с ограничением по числу пользователей.
Также вы можете пользоваться привычными системами аналитики и вручную отслеживать результаты. В ряде случаев, например, при А/В-тестировании креативов в рекламе могут понадобиться дополнительные инструменты – такие, как коллтрекинг.
4. Проведение тестирования
В среднем, длительность теста должна составлять не менее 10-15 дней. В первую неделю пользователи только привыкают к изменениям, поэтому статистика может быть не особо точной.
5. Анализ результатов
Наконец, по окончании теста вы можете приступить к оценке результатов. Для этого стоит воспользоваться специальными калькуляторами, которые позволяют определить статистическую значимость.
