Продвинутое тестирование: 9 советов от эксперта, который провел 4000 А/В тестов

За плечами Аят Шукайри, соучредительницы и вице-президента компании Invesp, 11 лет опыта A/B тестирования. После 4000 успешных реализаций оптимизации конверсии (CRO), Шукайри наработала более чем обширные знания.

Вот 9 выводов, которые она сделала после проведенных 4000 тестирований.

• Мы часто фокусируемся на не тех вещах

Шукайри посоветовала прекратить фокусироваться на краткосрочной перспективе. Необходимо учитывать  долгосрочные планы тестирования при выполнении стратегий.

Кроме того, она напомнила аудитории, что лучше скептически относиться к гигантским подъемам при тестировании; если вы видите огромный рост коэффициента конверсии (CVR), тогда проверьте, что:  (a) вы достаточно долго выполняли тест, чтобы получить значимые результаты, и (b) этот тест не является экспериментальным выбросом.

• Создайте захватывающий контент вашего веб-сайта

Существует три типа тестирования A/B:

• тестирование уровня элемента;
• тестирование уровня страницы (макет);
• тестирование потока посетителей.

Шукайри отмечает, что тестирование уровня страницы может привести к улучшению CVR на 7-9 процентов, в то время как тестирование потока посетителей дает вам большие улучшения (успешные реализации могут показать улучшение на 16-18 процентов). Однако даже лучшие тестеры в определенный момент остановятся без убедительного повествования. Найдите свою историю для целевой аудитории.

• Не думайте, что живете в вакууме

Ваш веб-сайт – это всего лишь один эпизод для клиентов, поэтому важно учитывать ваш сайт в контексте всего вашего бренда. Подумайте о своем бренде с точки зрения потенциальных клиентов – спросите себя: «Как мой бренд смотрит на мою аудиторию?» Понимайте каждую точку касания и ее влияние на потребителя, поскольку каждый момент воздействия может влиять на коэффициенты конверсии.

• Не предполагайте, что вы знаете все о клиентах

Изучайте клиентов, проводя качественные исследования. Опросы, чтобы выявить мотивацию, должны проводиться до запуска тестов A/B. Хорошо продуманное исследование рынка имеет важное значение для разработки хорошей гипотезы.

• Задействуйте всех и каждого при тестировании

Убедитесь, что вы получаете информацию и данные от каждого, заинтересованного в философии CRO. Чем больше информации, обсуждения и участия вы получаете от разных отделов, тем успешнее ваши усилия CRO будут.

• Будьте готовы к неудаче

Шукайри отметила, что только 13 процентов A/B тестов сообщают о значительных подъемах, что означает, что 87 процентов нет. Пусть этот факт изменит то, как вы думаете о CRO. Чаще всего ваши тесты не будут стимулировать значимый рост. Это означает, что вы должны проталкивать и внедрять инновации в свою неудачу, используя неудачные тесты A/B для создания исследовательских возможностей.

• Сравните и согласуйте цели вашего сайта и общие бизнес-показатели KPI

Инструмент тестирования эффективен только благодаря полезному материалу, полученному от него. Поэтому при измерении результатов ваших тестов A/B вам может потребоваться обновить отчеты, чтобы убедиться, что вы измеряете те  KPI, которые наиболее точно соответствуют бизнес-целям. Используйте данные, чтобы выявить проблемы, которые мешают росту бизнеса, и убедитесь, что проблемы, которые вы решаете, оказывают прямое влияние на ключевые показатели эффективности.

• Понимайте статистику  A/В тестирования

Существует ключевая статистика, которую большинство тестировщиков недоиспользуют: статистическая мощность. Статистическая мощность – вероятность отклонения основной (или нулевой) гипотезы при проверке статистических гипотез в случае, когда конкурирующая (или альтернативная) гипотеза верна. Чем выше мощность статистического теста, тем меньше вероятность совершить ошибку второго рода (вывод о том, что на самом деле нет эффекта).

Тесты с высокой статистической мощностью и высоким доверительным порогом уменьшат вероятность ложного положительного результата, поэтому всегда собирайте значительный размер выборки, прежде чем  вы начнете определять результаты.

• Будьте осторожны с искажением результатов A/B тестирования

Выполняйте тесты долго и не вносите изменения во время выполнения теста. Любые изменения, которые вы внесли в тестовую среду во время теста, будут искажать ваши результаты. Это включает в себя отсечение невыполненных изменений, изменение процента распределения трафика и т. д. Если вам абсолютно необходимо внести изменения в среду, вам нужно будет перезапустить свои тесты и начать с чистого листа.

Общий совет, который дала Аят Шукайри:  «Измените то, как вы думаете об оптимизации коэффициента конверсии ».

Презентация Аят Шукайри:

Источник