Полное руководство по A/B тестированию
Полное руководство по A/B тестированию
Все ресурсы для начала экспериментов
A/B-тестирование, также известное как сплит-тестирование, – это маркетинговая техника, которая включает в себя сравнение двух версий веб-страницы или приложения, чтобы увидеть, какая из них работает лучше. Эти варианты, известные как A и B, представляются пользователям в случайном порядке. Часть из них будет направлена на первую версию, а остальные – на вторую. Затем статистический анализ результатов определяет, какая версия, А или В, оказалась лучше, в соответствии с определенными заранее заданными показателями, такими как коэффициент конверсии. Другими словами, вы можете проверить, какая версия получила больше кликов, подписок, покупок и так далее. Эти результаты могут помочь вам оптимизировать ваш сайт для конверсии.
Примеры A/B-тестирования
Какие типы веб-сайтов подходят для A/B тестирования?
Любой сайт может извлечь пользу из A/B-тестирования, поскольку все они имеют “причину существования” – и эта причина поддается количественному измерению. Будь то интернет-магазин, новостной сайт или сайт по привлечению потенциальных клиентов, вы стремитесь повысить коэффициент конверсии, каким бы видом она ни была.
Термин “лид” используется для обозначения лидов продаж или потенциальных клиентов. Здесь особенно уместны электронные письма, отправленные с целью повышения продаж. В этом случае A/B-тестирование использует информацию о характере людей, к которым обращаются, например, их пол или возраст.
СМИ
В контексте СМИ уместнее говорить о “редакционном A/B-тестировании”. В отраслях, тесно сотрудничающих с прессой, идея A/B-тестирования заключается в проверке успешности определенной категории контента – например, чтобы понять, подходит ли она целевой аудитории. Здесь, в отличие от приведенного выше примера, A/B-тестирование имеет редакционную функцию, а не функцию продаж. A/B-тестирование заголовков контента – обычная практика в медиаиндустрии.
Электронная коммерция
Неудивительно, что цель использования A/B-тестирования в контексте электронной коммерции – определить, насколько хорошо сайт или коммерческое онлайн-приложение продает свои товары. А/Б-тестирование использует количество завершенных продаж для определения того, какая версия лучше работает. Особенно важно обратить внимание на главную страницу и дизайн страниц товаров, но также нелишним будет рассмотреть все визуальные элементы, связанные с совершением покупки (кнопки, призывы к действию).
Какие A/B-тесты следует использовать?
- Классический A/B-тест. Классический A/B-тест представляет пользователям две вариации ваших страниц по одному и тому же URL. Таким образом, вы можете сравнить две или несколько вариаций одного и того же элемента.
- Сплит-тесты или редирект-тесты. Сплит-тест перенаправляет ваш трафик на один или несколько разных URL. Если вы размещаете на своем сервере новые страницы, это может быть эффективным подходом.
- Многомерное тестирование или MVT-тест . Наконец, многомерное тестирование измеряет влияние нескольких изменений на одну и ту же веб-страницу. Например, вы можете изменить баннер, цвет текста, презентацию и многое другое.
- Используйте A/B-тестирование на веб-сайтах. A/B-тестирование на веб-сайтах позволяет сравнить версию A и B страницы. После этого результаты анализируются в соответствии с заранее определенными целями – клики, покупки, подписки и так далее.
- Используйте A/B-тестирование для нативных мобильных приложений iPhone или Android. A/B-тестирование в приложениях сложнее. Это связано с тем, что невозможно представить две разные версии после того, как приложение было загружено и развернуто на смартфоне. Существуют обходные пути, позволяющие мгновенно обновлять приложение. Вы можете легко изменить дизайн и напрямую проанализировать влияние этого изменения.
- Используйте А/Б-тестирование на стороне сервера через API. API – это интерфейс программирования, который позволяет соединяться с приложением для обмена данными. API позволяют автоматически создавать кампании или вариации на основе сохраненных данных.
С помощью таких решений, как AB Tasty, можно проводить тестирование на нескольких устройствах.
A/B-тестирование и оптимизация конверсии
Оптимизация конверсии и A/B-тестирование – это два способа увеличения прибыли для компаний. Их цель проста: получить больше доходов при том же объеме трафика. В свете высоких затрат на привлечение и сложных источников трафика, почему бы не начать с извлечения максимальной выгоды из имеющегося трафика?
Amazon хорошо знаком с A/B-тестированием – они постоянно проводят тесты, чтобы улучшить UX и повысить конверсию.
- Данные веб-аналитики . Хотя эти данные не объясняют поведение пользователей, они могут выявить проблемы конверсии (например, определить отказ от корзины). Они также могут помочь вам решить, какие страницы тестировать в первую очередь.
- Оценка эргономики. Эти анализы позволяют недорого понять, как пользователь воспринимает ваш сайт.
- Пользовательское тестирование. Несмотря на ограничения по размеру выборки, тестирование пользователей может дать огромное количество информации, которую невозможно получить с помощью количественных методов.
- Тепловая карта и запись сеансов. Эти методы позволяют получить представление о том, как пользователи взаимодействуют с элементами на странице или между страницами.
- Отзывы клиентов . Компании собирают большое количество отзывов от своих клиентов (например, мнения, приведенные на сайте, вопросы для службы поддержки клиентов). Их анализ может быть выполнен с помощью опросов об удовлетворенности клиентов или живых чатов.
Веб-аналитика
Тепловые карты
Запись сессий
Живой чат
Пользовательские тесты
Обратная связь с пользователями
Как найти идеи для A/B-тестирования?
- быть связаны с четко обозначенной проблемой, которая имеет идентифицируемые причины
- упоминать возможное решение проблемы
- указывать ожидаемый результат, который напрямую связан с измеряемым KPI.
используйте весь спектр доступных решений, чтобы понять, что мешает вашим пользователям.
Что вам следует протестировать на своем сайте?
Что вы должны тестировать на своем сайте? Этот вопрос возникает снова и снова, потому что компании часто не знают, как объяснить свои показатели конверсии, будь то хорошие или плохие. Если бы компания была уверена, что пользователи испытывают трудности с пониманием ее продукта, она не стала бы тестировать расположение или цвет кнопки добавления в корзину – это было бы не по теме. Вместо этого они бы протестировали различные формулировки своих преимуществ для клиентов. Каждая ситуация индивидуальна. Вместо того чтобы предоставить исчерпывающий список элементов для тестирования, мы предпочли дать вам схему А/Б тестирования.
Важно создать четкую и лаконичную форму. Вы можете попробовать изменить заголовок поля, удалить необязательные поля, изменить расположение полей, отформатировать с помощью линий или столбцов и т.д.
Вы можете протестировать различные соединения страниц, предложив несколько туннелей конверсии в одной или нескольких частях. Например, вы можете разместить режим оплаты и информацию, касающуюся доставки, на одной странице или разделить их на две.
Изображения так же важны, как и текст. Рекомендуется попробовать разные изображения. Например, если вы занимаетесь электронной коммерцией prêt-à-porter, проверьте, что фотографии предметов одежды на моделях пользуются большей популярностью, чем фотографии самих предметов. Также играйте с размером и эстетикой ваших фотографий (оттенок, насыщенность, яркость и т.д.), а также с расположением (справа, слева, вверху, внизу).
Структура ваших страниц, будь то главная страница или страницы категорий, должна быть особенно хорошо проработана. Вы можете добавить карусель, выбрать фиксированные изображения, изменить баннер, представить несколько флагманских продуктов на главной странице.
Целевые страницы для привлечения лидов очень важны для того, чтобы побудить пользователей к определенным действиям. Используя сплит-тестирование, вы можете сравнить совершенно разные версии этих страниц с разным оформлением или дизайном. Прочитайте руководство, чтобы узнать, как проводить A/B-тестирование целевой страницы.
Используйте различные алгоритмы для превращения посетителей в покупателей или увеличения их корзины: похожие статьи, наиболее часто просматриваемые товары. Вы можете предлагать потенциальным клиентам то, что, скорее всего, их заинтересует.
A/B тестирование ценообразования может быть деликатным. Это связано с тем, что вы не можете продавать один и тот же товар или услугу по разной цене. Вам придется применить немного изобретательности при тестировании коэффициента конверсии. Например, если вы предлагаете услуги, вы можете создать недорогое предложение с меньшим количеством вариантов. Если вы продаете товары, предложите другой цвет, форму или материал.
Продумайте план действий для получения дополнительной прибыли. Например, если вы продаете целевой товар, почему бы не разнообразить ассортимент, предложив дополнительные продукты или дополнительные услуги?
Понимание статистики A/B-тестирования
Этап анализа тестирования является наиболее чувствительным. Решение для A/B-тестирования должно, как минимум, предлагать интерфейс отчетности, показывающий количество конверсий, сохраненных для каждого варианта, коэффициент конверсии, процент улучшения по сравнению с оригиналом и индекс статистической надежности, сохраненный для каждого варианта. Наиболее продвинутые решения сужают исходные данные, сегментируя результаты по измерениям (например, источник трафика, географическое положение посетителей, типология клиентов и т.д.).
Прежде чем приступить к анализу результатов тестирования, основная сложность заключается в получении достаточного уровня статистической достоверности. Обычно принимается порог в 95%. Это означает, что вероятность того, что различия в результатах между вариантами обусловлены случайностью, очень мала. Время, необходимое для достижения этого порога, значительно варьируется в зависимости от посещаемости сайта для тестируемых страниц, начального коэффициента конверсии для измеряемой цели и влияния внесенных изменений. Оно может составлять от нескольких дней до нескольких недель. Для сайтов с низкой посещаемостью рекомендуется тестировать страницу с более высокой посещаемостью. До достижения порогового значения делать какие-либо выводы бессмысленно.
Кроме того, статистические тесты, используемые для расчета уровня доверия (например, тест хи-квадрат), основаны на объеме выборки, близком к бесконечности. Если объем выборки невелик, будьте осторожны при анализе результатов, даже если тест показывает надежность более 95%. При малом объеме выборки возможно, что оставление теста активным еще на несколько дней значительно изменит результаты. Именно поэтому рекомендуется иметь достаточно большую выборку. Существуют научные методы расчета размера этой выборки (используйте наш калькулятор ab-тестирования), но с практической точки зрения желательно иметь выборку не менее 5 000 посетителей и 75 конверсий, сохраненных для каждой вариации.
Существует два типа статистических тестов:
Фреквентистские тесты. Метод хи-квадрат, или метод Frequentist, является объективным. Он позволяет анализировать результаты только в конце теста. Таким образом, исследование основано на наблюдении, а его надежность составляет 95%.
Байесовские тесты. Байесовский метод является дедуктивным. Беря за основу законы вероятности, он позволяет анализировать результаты до окончания теста. Однако не забудьте правильно считать доверительный интервал. Ознакомьтесь с нашей специальной статьей, чтобы узнать все о преимуществах байесовской статистики для A/B-тестирования.
- И наконец, хотя посещаемость сайта позволяет быстро получить достаточно большую выборку, рекомендуется оставить тест активным на несколько дней, чтобы учесть различия в поведении, наблюдаемые по дням недели или даже по времени суток. Предпочтительна минимальная продолжительность в одну неделю, в идеале – две недели. В некоторых случаях этот период может быть даже больше, особенно если конверсия касается продуктов, цикл покупки которых требует времени (сложные продукты/услуги или B2B). Таким образом, стандартной продолжительности тестирования не существует.
- Другие статьи о статистике для A/B-тестирования:
Советы и лучшие практики для A/B-тестирования
Ниже приведены несколько лучших практик, которые помогут вам избежать проблем. Они являются результатом опыта, как хорошего, так и плохого, наших клиентов во время проведения тестирования.
Обеспечьте надежность данных для решения по А/Б тестированию
Проведите как минимум один А/Б-тест, чтобы обеспечить случайное распределение трафика по разным версиям. Это также возможность сравнить показатели решения для A/B-тестирования и показатели вашей платформы веб-аналитики. Это делается для того, чтобы убедиться, что показатели находятся на одном уровне, а не для того, чтобы они точно соответствовали друг другу.
Проведите приемочный тест перед началом работы
Некоторые результаты кажутся нелогичными? Правильно ли был настроен тест и правильно ли определены цели? Во многих случаях время, отведенное на приемочное тестирование, экономит драгоценное время, которое было бы потрачено на интерпретацию ложных результатов.
Тестируйте по одной переменной за раз
Это позволяет точно изолировать влияние переменной. Если расположение кнопки действия и ее метка изменяются одновременно, невозможно определить, какое изменение вызвало наблюдаемое воздействие.
Проводите по одному тесту за раз
По тем же причинам, о которых говорилось выше, рекомендуется проводить только один тест за раз. Результаты будет трудно интерпретировать, если параллельно проводить два теста, особенно если они находятся на одной и той же странице.
Адаптируйте количество вариаций к объему
Если на небольшой трафик приходится большое количество вариаций, тест продлится очень долго, прежде чем даст какие-либо интересные результаты. Чем меньше трафик, выделенный на тест, тем меньше должно быть различных версий.
Дождитесь статистической надежности, прежде чем действовать
Пока тест не достиг статистической надежности не менее 95%, не рекомендуется принимать какие-либо решения. В противном случае вероятность того, что различия в наблюдаемых результатах обусловлены случайностью, а не внесенными изменениями, очень высока.
Пусть тесты проводятся достаточно долго
Даже если тест быстро демонстрирует статистическую надежность, необходимо учитывать размер выборки и различия в поведении, связанные с днем недели. Желательно, чтобы тест длился не менее недели-двух, а в идеале – не менее 5 000 посетителей и 75 конверсий на одну версию.
Знайте, когда нужно завершить тест
Если тест длится слишком долго, чтобы достичь показателя надежности 95%, то, скорее всего, тестируемый элемент не оказывает никакого влияния на измеряемый показатель. В этом случае продолжать тест бессмысленно, так как это приведет к излишней монополизации части трафика, который можно было бы использовать для другого теста.
Измерение нескольких показателей
Рекомендуется измерять несколько показателей во время теста. Одну главную цель, которая поможет вам определиться с вариантами, и второстепенные цели, которые обогатят анализ результатов. К таким показателям можно отнести коэффициент кликов, коэффициент добавления корзины, коэффициент конверсии, средняя корзина и другие.
Обратите внимание на маркетинговые действия во время теста
Внешние переменные могут фальсифицировать результаты теста. Зачастую кампании по привлечению трафика привлекают аудиторию пользователей с необычным поведением. Желательно ограничить побочные эффекты, выявляя подобные тесты или кампании.
Сегментные тесты
В некоторых случаях проведение теста на всех пользователях сайта является бессмысленным. Если целью теста является измерение влияния различных формулировок преимуществ клиента на уровень регистрации на сайте, то использование текущей базы данных зарегистрированных пользователей неэффективно. Вместо этого тест должен быть нацелен на новых посетителей.
Другие статьи о лучших практиках и ловушках, которых следует избегать
Выбор программного обеспечения для А/Б-тестирования
Выбрать лучший инструмент для A/B-тестирования довольно сложно. Посетите нашу статью о сравнении программного обеспечения для A/B-тестирования и инструментов сплит-тестирования, чтобы получить больше информации о том, как сравниваются различные поставщики.
Мы можем лишь порекомендовать вам использовать AB Tasty. Помимо полного решения для A/B-тестирования, AB Tasty предлагает набор программного обеспечения для оптимизации конверсии. Вы можете анализировать поведение своих пользователей с помощью тепловых карт и записи сеансов (также известной как воспроизведение сеанса пользователя). Вы также можете персонализировать свой сайт с помощью многочисленных критериев таргетинга и сегментации аудитории.
Но чтобы не быть исчерпывающим, а также предоставить вам как можно больше ценной информации при выборе поставщика, вот несколько статей, которые помогут вам выбрать инструмент A/B тестирования с обзорами программного обеспечения.
Другие формы А/Б тестирования
A/B-тестирование не ограничивается модификацией страниц вашего сайта. Вы можете применить эту концепцию ко всем вашим маркетинговым мероприятиям, таким как привлечение трафика через маркетинговые кампании по электронной почте, кампании AdWords, Facebook Ads и многое другое.
Ресурсы для дальнейшего развития A/B-тестирования:
Лучшие ресурсы по A/B-тестированию и CRO
Мы, конечно, рекомендуем вам прочитать наш собственный блог об A/B-тестировании, но другие эксперты в области международной оптимизации также публикуют очень актуальные статьи на тему A/B-тестирования и конверсии в целом. Вот наша подборка, чтобы оставаться в курсе событий в мире CRO.