Узнавая бизнесы наших клиентов, мы заметили, что единицы проводят A/B тесты при продвижении своих услуг/продуктов. А зря! Это и побудило нас к написанию статьи о том, как тестирование гипотез делает нашу жизнь лучше.
Давайте пройдется немного по вводным и поговорим о том, что такое A/B тестирование и зачем оно нужно. Википедия подсказывает нам, что A/B тест или по-другому сплит-тестирование «метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель». Говоря проще — есть какая-то версия A, есть какая-то версия B, есть гипотеза (то, чем собственно A отличается от B), есть метрики для замеров и есть сроки (дедлайны на время теста). На выходе мы должны понять, что для нас лучше — A или B, согласно интересным для нас показателям. Чем меньше гипотез участвует в тесте, тем лучше, так как необходимо четко понимать, какие действия привели к положительным/отрицательным результатам.Обычно тесту подлежат маркетинговые материалы — начиная от определения лучшей рекламной площадки, вариантов объявлений, отдельных блоков сайта/целого сайта.
Проводить A/B тест нужно обязательно, для того чтобы коррелировать собственную адекватность и ценность предложения для внешнего мира. Потому что все, что разрабатывается для привлечения клиентов, разрабатывается на знании продукта/услуги и маркетинговых знаний (своих или подрядчиков), но лучше всего о том, насколько удалось попасть в цель скажут 1000 пользователей на ресурсе.
Предлагаю более подробно остановиться на пунктах, описывающих суть A/B тестирования
Гипотеза
Тестирование ради тестирования — пустая трата времени. Сначала определяем определяем цели, которые хотим достичь. К примеру, это может быть повышение конверсии вашей посадочной страницы. Исходя из целей можно построить гипотезу того, что приведет нас к этой цели. Например, мы будет тестировать разные варианты оффера, чтобы поднять конверсию в заявку.
A и В версия
Этот пункт больше относится к технической части подготовки. Например, мы для тестирований используем «эксперименты Google Analytics». Но так же помимо Analytics существует огромное количество сервисов, которые позволяют проводить тесты.
Метрики для замеров
Метрики для замеров — это показатели, на которые будем ориентироваться во время теста. Наиболее популярные это метрики, которые относятся к конверсиям страницы, кликабельностью на рекламные объявления (CTR), открытий писем с рассылки (Open Rate) и т.д.
Сроки (дедлайны)
Каждая проектная задача должна иметь дату начала и конца реализации. То же самое касается и проведения A/B тестов. Обращаю ваше внимание на то, что будет правильнее показывать версии A и B одновременно, чтобы не позволить каким-либо факторам препятствовать чистоте теста.
Выводы
Не всегда тестирование приводит к положительным результатам. Повторюсь, но изначально наши гипотезы основываются на нашем видении ситуации, и могут быть в пух и прах разбиты после запуска. Тем не менее главной нашей задачей получить пищу для размышления, хорошо когда результаты хорошие, но плохой результат — это так же результат, с который стоит анализировать и над которым стоит проводить работу.
Наш опыт
Ну и напоследок, хотелось бы показать непредсказуемость теста на наших собственных результатах. Обычно мы, работая над проектами наших клиентов, первые запуски делаем сразу на A и B версии, и в последующем работаем над улучшением победившей версии.
В проекте для R2.network мы мы изначально подготовили 2 страницы. Нашей гипотезой была проверка продающей структуры страницы. Измеряемый показатель — конверсия в заявку. Трафик шел с 4 разных каналов, 50% видели A версию, 50% — B версию.
A — версия содержала: основной оффер, актуализацию проблемы (блоки «Если вы» и т.д.), основная ценность услуги, повышение лояльности (за счет узнаваемых лиц), описание услуги и преимущест.
B — версия содержала: основной оффер, основная ценность услуги, актулизацию проблемы, повышение лояльности, описание услуги и преимуществ.
По итогам недельного теста (конверсия в заявку):
| A версия | 2,03% |
| B версия | 0,83% |
Дизайн и копирайтинг оставался неизменным. У меня все. Хорошего настроения и применяйте A/B тест в ваших проектах!
