Как проводить A/B тесты, чтобы получить длительные результаты

Любая компания хочет увеличить доход, сделав несколько простых улучшений на сайте. Все хотят больше конверсий, больше кликов, больше акций и больше пользователей. Что чаще всего советуют маркетологам? Ну, конечно, провести А/В тестирование! Сравните две версии страницы, определите ключевую цель (например, клики) и посмотрите, где у вас больше кликов. Но действительно ли это работает?

«По своей природе A / B тест – это эксперимент, который оценивает множественные (часто 2) версии функции или страницы относительно определенной метрики».

A/B тестирование – как временное решение проблемы

Для компаний с миллионами пользователей небольшие косметические изменения, такие как цвет, макет и язык, могут привести к заметному увеличению ключевых показателей, таких как увеличение количества кликов и взаимодействие с пользователем. Реальный вопрос заключается в следующем: для компаний с меньшими пользовательскими базами нужно ли сосредоточиться на разных цветах кнопки «Зарегистрироваться!» Или на том, чтобы сделать сам продукт лучше?

Фишка в том, что многие компании видят в А/В тестировании спасительный круг из-за  низкой стоимости. Но!  Если ваш контент не цепляет, то он не является достойным пользовательского внимания, независимо от того, насколько яркой  вы делаете свою кнопку «Поделиться сейчас!».

Более того, возможно, ваша цель не должна быть лишь перспективой щелкнуть по кнопке. Возможно, вашей основной целью должно быть создание доверия, предоставление демонстрации продукта или расширение возможностей для принятия решения.

Данные опроса

По оценкам AppSumo , только 25%  A/B тестов действительно дали значительные результаты.  Почему? Давайте определим, что такое значительные результаты. Для многих из этих тестов главной задачей был рост конверсии. Таким образом, если конверсии не росли, тест не удался.

«Менее 25%   А/B тестов дали значительные положительные результаты». – AppSumo

Однако можно было бы рассмотреть это по-другому. Если вы измените заголовок, и посмотрите на задачу под другим углом, возможно, это указывает на большую проблему. Сбой теста должен быть индикатором следующего:

1. Ваши посетители не готовы конвертировать;
2. Ваши посетители ищут что-то еще помимо регистрации;
3. Ваш основной продукт принципиально непривлекателен;
4. Вам нужно создать более квалифицированный подход к вашему продукту

Ниже представлены результаты опроса про проведение A / B тестирования от 26 практикующих специалистов по А / Б тестам, проводимых с 1 мая по 30 мая в 2016 году (Northwestern, IDS – Justin Baker, 2016). Хотя это не полный перечень вопросов, он все равно может дать некоторые интересные идеи.

Ключевые моменты

• 45%респондентов сказали, что их компании начинают новый A/B тест один раз в 3 месяца, причем 40% начинают один раз в неделю или месяц;
• 60%респондентов заявили, что их  A/B тесты продолжаются от 1 недели до 1 месяца;
• 38%респондентов заявили, что менее 10% их экспериментов по A/B тестированию фактически переходят в действие; а также
• 45%респондентов заявили, что изменения после  A/B тестирования сохраняются в течение 1-6 месяцев.

Только 10%  экспериментов с A/B тестами привели к действительным изменениям – формальному выпуску новой версии страницы или функции.

Интервью

В дополнение к количественным исследованиям, A/B тестировщики (от 2 до 6 лет опыта тестирования) задавали открытые вопросы относительно эффективности  A/B тестирования. Вот некоторые из ключевых приемов:

«50% команд не могли принять решения исходя из экспериментальных  A/B тестов из-за неубедительных или плохо измеряемых данных».

• 10 из 12 опрошенных отметили, что основным недостатком A /B тестирования было то, что 90% или более экспериментов «не удалось»;
• 6 из 12 опрошенных отметили, что было очень сложно принимать решения по продуктам на основе результатов  A/B тестирования, поскольку большинство результатов были неубедительными или явно не удались . Это означает, что статус-кво поддерживался примерно в 90% случаев; а также
• 10 из 12 опрошенных отметили, что основным преимуществом  A/B было тестирования «увеличение доходов».

О чем говорят нам эти результаты?

Компании могут проводить  A/В тесты слишком часто в течение слишком малого времени, что способствует высокой частоте отказов, а это делает результаты  теста менее ценными и значимыми.

Вот несколько советов, которые помогут сделать A/B тестирование полезным для вашего сайта.

1. Не отвлекайтесь –изменение цветов, текст на кнопках  могут оказать незначительное влияние на ключевые показатели производительности. Однако эти результаты, кажется, очень недолговечны. Устойчивый рост не является результатом изменения кнопки от красного до синего, это происходит от создания продукта, который люди хотят использовать.
2. Помните пословицу «от осинки не родятся апельсинки». Так вот, если вы не продаете осинки, то сосредоточьтесь на создании лучшего пользовательского опыта и лучшего предложения ценности.
3. Используйте фактическую статистику.Не полагайтесь на простые сравнительные показатели, чтобы диктовать, что работает и не работает. « Версия A дает 20-процентный коэффициент конверсии, а версия B дает 22-процентный коэффициент конверсии, поэтому мы должны перейти на версию B!» Пожалуйста, не делайте этого. Используйте фактические доверительные интервалы, z-баллы и статистически значимые данные.
4. Чем дольше, тем лучше.Чем дольше вы проводите тест, тем лучше ваши данные будут учитывать колебания и посторонние переменные. Не проводите тест по выходным дням, используя красную / белую / синюю тему, а затем переключитесь на эту тему до конца года.
5. Неудачи случаются, но  стоят дорого –если вы продолжаете делать ненужные тесты, то какое влияние это оказывает на ваши показатели? Если большинство экспериментов не срабатывают, тогда вы приносите себе больше вреда, чем пользы.  Сколько времени вы тратите на проектирование и внедрение экспериментальных испытаний A / B тестов? Неудача и экспериментирование – это естественные побочные продукты создания компании. Если что-то не работает, возможно, это не потому, что ваша кнопка должна быть ярче, возможно, это потому, что вам нужно сделать вашу функцию  или продукт лучше.

Эффективные A/B тесты касаются решения проблем, которые приносят долгосрочное, положительное значение для ваших клиентов

Испытайте значимые функции, используйте реальную статистику, получите реальную обратную связь и запустите тесты в течение более длительных периодов времени. Предоставляйте истинные ценности своим пользователям вместо того, чтобы играть с цветовыми оттенками и умными линиями тегов.

Эта статья была первоначально размещена на странице Justin’s Medium .

Узнать больше об А/B-тестах, оценке эффективности интетрнет-рекламы и поведении пользователей на вашем сайте можно на курсе «Веб-аналитика».