Прежде чем вносить изменения в проект — например дорабатывать продукт, добавлять новый раздел на сайт, менять упаковку — стоит убедиться в том, что будущие изменения оценят пользователи и потребители. Если не проверить гипотезу, возрастает риск вложить деньги в разработку ненужного продукта и остаться без спроса на свой товар или услугу. Исключить такую вероятность позволяет A/B-тестирование — сегодня разберемся, как использовать данный инструмент для проверки гипотез.
Что дает A/B-тестирование и когда используется
Так называется методика, которая позволяет выявить, какой из двух вариантов продукта, страниц сайта, приложения является наиболее понятным, удобным, простым для потенциальных клиентов — и станет эффективным вариантом для интеграции в ваш бизнес.
Как правило, его применяют тогда, когда в компании возникает необходимость в существенных изменениях или появляется гипотеза о том, что нужно сделать для увеличения прибыли.
Примеры ситуаций, когда он будет полезен:
- Появилась идея добавить новую функцию или раздел на сайт, в приложение, изменить упаковку продукта, дополнить товарную матрицу новой позицией — в этих случаях необходимо убедиться, понравятся ли конкретные новшества целевой аудитории.
- Когда в команде есть разные идеи относительно развития проекта и необходимо прийти к общему мнению, опираясь на факты.
- Существует необходимость изменения конкретных показателей эффективности проекта, и необходимо выбрать способ, который позволит это сделать.
Если говорить просто, то A/B-тестирование представляет собой эксперимент, когда сравнивают два образца, чтобы определить наиболее удачный из них с точки зрения поставленной цели. Пользователей делят на две группы, предлагают выбрать из нескольких вариантов и оценивают их поведение.
Представьте, что вы владелец онлайн-школы и планируете запустить продажи обучающего курса, но перед тем как вложить основной бюджет в продвижение посадочной страницы, разрабатываете два варианта и демонстрируете их тестовой группе, чтобы отследить конверсию в целевое действие. Благодаря A/B-тестированию можно будет найти решение, опираясь на обратную связь и показатели тестовой группы.
Если запустить рекламу без предварительного теста, легко потратить бюджет впустую и не добиться поставленной цели. Далее поговорим о том, как правильно организовать этот процесс, не допустив распространенных ошибок.
Как провести A/B-тестирование
Шаг первый — сформулировать гипотезу. Например, вы владелец онлайн-магазина одежды, которую сами и производите. Благодаря постоянному мониторингу и аналитике заметили, что число «брошенных заказов» стало выше, что негативно сказывается на прибыли. Также многие пользователи начали оставлять обратную связь, где говорят, что на их взгляд необходимо изменить в структуре страницы для более удобного шопинга. В итоге вы приходите к тому, что необходимо переделать систему оформления заказов, но прежде чем заняться нововведениями, решаете их протестировать.
В таком случае гипотеза будет звучать примерно так: «Новая версия страницы увеличит конверсию продаж на 5%».
Шаг второй — выбор метрики, которая позволит оценить результат проводимого эксперимента. Можно измерять разные показатели — например количество продаж, конверсию целевого действия, объем входящего трафика и т. д. Кроме того, необходимо определиться с количеством респондентов — чем больше человек примут участие в исследовании, тем объективнее окажутся результаты и их можно будет считать статистически значимыми. Нужно исключить присутствие в эксперименте ответов сотрудников, так как в противном случае данные вряд ли будут объективными. Для подсчета результатов можно воспользоваться онлайн-калькуляторами: в них потребуется ввести количество тестируемых вариантов, ожидаемые результаты по конверсии, и программа выдаст количество аудитории, которую понадобится привлечь для участия в эксперименте.
Шаг третий — подбор инструмента, который позволит реализовать A/B-тестирование. Конечно, можно работать вручную, допустим, самостоятельно настраивать показы рекламных объявлений, осуществлять проверку целевых страниц и т. д. Но в современных исследованиях большинство компаний используют специальные программы для сбора аналитики — среди них калькулятор Яндекс, Google Optimize, optimizely.com, MyTarget и другие. Выбор сервиса зависит от целей тестирования.
Шаг четвертый — проведение A/B-тестирования и обработка результатов. Тут все просто: если ожидаемые данные по конверсии подтвердились, гипотезу можно считать рабочей, а изменения — внедрять. Если нет — важно ее скорректировать и продолжать проверять предположения.
Обратите внимание, чтобы на результаты не повлияла одна из распространенных ошибок, которые встречаются при отсутствии опыта реализации таких исследований. Например:
- Небольшая тестовая группа, в таком случае итоги эксперимента нельзя считать достоверными. Если нет понимания, какое количество людей должны пройти тестирование, лучше воспользоваться онлайн-калькулятором.
- Проверка сразу нескольких изменений — допустим, опираясь на пример выше, вы решили скорректировать страницу оформления заказа, но добавили сразу три-четыре функции. В таком случае будет сложно понять, что конкретно повлияло на конверсию покупок, поэтому лучше проводить A/B-тестирование в отношении только одного решения. Допустим, изменение визуала кнопки «купить», добавление категории «вы смотрели на сайте ранее» на целевую страницу и т. д.
Несмотря на кажущуюся сложность методики, ее использование позволит избежать необоснованных изменений в проекте, которые лишь создадут ненужную работу, могут снизить прибыль компании, не приведя в итоге к ожидаемому результату.