Руководство для начинающих по A/B тестированию
Руководство для начинающих по A/B-тестированию
Если вы думаете о проведении A/B-тестов, вы, вероятно, просмотрели первые несколько страниц результатов Google в поисках лучших практик, методик и идей.
Мы хотели предоставить вам единое место, где вы сможете решить все свои проблемы, связанные с A/B-тестированием. Добавьте эту страницу в свой репертуар исследований A/B-тестирования для вопросов, которые могут прийти вам в голову до, во время или после проведения теста.
Что такое А/Б тестирование?
Назовем вашу текущую веб-страницу А. Вы решили, что изменение этой страницы определенным образом может повысить конверсию. Назовем эту новую, модифицированную версию B.
A/B-тестирование – это представление двух версий вашей веб-страницы (A и B) аудитории с общими характеристиками в случайном порядке для получения результатов, подтверждающих или опровергающих вашу гипотезу.
Оригинал/версия A: контрольная версия B/n: Вариант
Если вы решите создать несколько версий контрольной версии (A), это станет A/B/n тестированием.
Основной целью A/B-тестирования является улучшение пользовательского опыта, что в конечном итоге повышает вероятность преобразования посетителей в потенциальных клиентов. Задавая конкретные вопросы об изменениях на вашем сайте, вы можете собрать данные о влиянии этих изменений.
Разница между A/B, сплит URL и многомерными тестами
A/B-тест: Тестирование версий веб-страницы, содержащих небольшие различия.
Сплит-тест URL: Версия A/B-теста, которая предполагает полное изменение дизайна исходной страницы при сохранении ее основной идеи.
Многомерное тестирование: Продвинутая стратегия A/B-тестирования, при которой вы тестируете несколько переменных одновременно. Например, вы проводите многовариантное тестирование целевой страницы, если решили создать две или более вариаций с обновленным текстом заголовка, разной длиной формы регистрации и разными скриншотами.
Может ли А/Б тестирование нанести ущерб рейтингу органического поиска (SEO)?
Идея о том, что A/B-тестирование вредит рейтингу поисковых систем, поскольку ваша страница может быть классифицирована как дублированный контент, на самом деле является мифом. Google не будет наказывать ваш сайт за проведение A/B-тестов до тех пор, пока вы не представите различные версии в зависимости от агента пользователя (данные браузера, операционной системы и устройства). Если вы все еще беспокоитесь, вы всегда можете добавить тег “no index” к вашим вариативным страницам.
Подготовка к A/B-тестированию с помощью количественного и качественного анализа
Перед проведением A/B-тестирования необходимо четко сформулировать гипотезу. Важнейшая часть выигрышной гипотезы? Определение проблемы, которую вы хотите решить. Чтобы разработать четко сформулированную гипотезу, необходимо провести подробный качественный и количественный анализ.
Количественный анализ
Отслеживайте показатели сайта, чтобы определить страницы, которые имеют относительно высокий трафик, но в то же время имеют значительное количество отказов/переходов. Продолжайте анализировать поведение посетителей на этих страницах с помощью тепловых карт, анализа воронки и записи сеансов. Отчеты по каждому из этих методов позволят выявить точки трения на веб-странице.
Качественный анализ
Установите связь с посетителями один на один с помощью опросов на сайте, опросов в приложении и юзабилити-тестирования. Собирайте отзывы о пользовательском опыте и выявляйте моменты, которые мешают посетителям конвертироваться.
Объедините данные, полученные с помощью этих двух методов, чтобы определить проблему, с которой сталкиваются ваши посетители и которая стоит вам конверсии.
Например: Ваша проблема может заключаться в том, что посетители уходят со страницы продукта, потому что не уверены, что продукт соответствует их требованиям. Вы предполагаете, что это происходит потому, что ни изображения, ни текст не затрагивают четко спецификацию продукта. Поэтому ваша гипотеза может заключаться в том, что добавление более подробной информации о продукте приведет к увеличению конверсии.
Как только вы соберете достаточно информации из количественного и качественного анализа, можно переходить к следующему этапу создания A/B-теста: определению гипотезы.
Определение выигрышной гипотезы для A/B-теста
Гипотеза – это идея или теория, которую вы проверяете, с целью либо доказать ее, либо опровергнуть. Важно, чтобы гипотеза основывалась на четко определенной проблеме, и, что еще важнее, чтобы она была прочно основана на данных и имела количественно измеримый результат.
Например, вы изучаете особенности заполнения форм вашими посетителями и обнаруживаете, что значительная часть посетителей покидает форму, когда сталкивается с полем для ввода номера телефона. Ваша гипотеза в этом случае может быть следующей: “Удаление поля с номером телефона из формы увеличит количество успешных заполнений формы”.
Теперь вы проверяете эту идею, создавая вариацию без поля с номером телефона в форме, а затем измеряя количество успешных отправлений формы. Если количество увеличится, вы доказали, что ваша гипотеза была верна. Если оно остается неизменным или уменьшается, вы отвергаете свою гипотезу как неверную.
В целом, каждая выигрышная гипотеза состоит из трех элементов: проблема, подкрепленная доказательствами, изменение и измеримый результат.
Наличие четко сформулированной гипотезы
- Помогает разработать надежные выводы из теста, даже если он не дает результатов.
- упрощает привязку подъемов конверсии к конкретным тестам
- Поможет вам построить надежные гипотезы для последующих тестов на постепенное увеличение конверсии.
Посмотрите этот шаблон с примером создания надежной гипотезы тестирования.
Создание вариаций и внесение изменений в A/B-тест
Возможно, вы сталкивались с ситуациями, когда коэффициент конверсии увеличивался при тестировании разных цветов CTA, альтернативной копии или даже другого изображения героя. Не позволяйте этим исследованиям ввести вас в заблуждение, считая, что вы можете изменять только один основной элемент за раз (и уж тем более не верьте, что одно небольшое изменение может повысить конверсию).
Вы можете изменять свои вариации любыми способами, если они соответствуют замыслу гипотезы.
Гипотеза:
“Если сделать CTA более заметным, это привлечет внимание посетителей и, следовательно, позволит получить больше кликов”.
Гипотеза:
“Изменение цвета CTA привлечет внимание посетителей и, следовательно, позволит получить больше кликов”.
- Увеличение размера CTA
- Перемещение его на сгиб, который обеспечивает наибольшую вовлеченность
- Обновление текста CTA на более ориентированный на действие
- Придать ему новый цвет, который соответствует палитре страницы и в то же время выделяется на ее фоне
- Придать CTA оттенок, резко контрастирующий со страницей, чтобы сделать его более ярким.
Решение о количестве вариантов для тестирования
Не существует ограничения на количество вариаций, которые вы можете добавить к вашему
Вы можете тестировать CTA, длину копий, содержание копий, макет и многое другое. Не существует установленного правила, что именно следует тестировать на своем сайте; тестировать можно все, на что можно количественно оценить эффект. Главное, чтобы изменения в вариациях были основаны на общей теме и работали вместе для решения общей проблемы.
Если вы ищете вдохновение, вот 20 идей A/B-тестирования, которые помогут вам начать.
Понимание статистической значимости и ее важности
Достижение статистической значимости в ваших тестах означает, что когда результаты статистического тестирования покажут, какой из вариантов привел к большему количеству конверсий, они подтвердят идею о том, что увеличение конверсий напрямую связано с внесенными вами изменениями, а не является случайностью.
Например, если вы установили статистическую значимость на уровне 95%, это означает, что существует вероятность 5% или меньше, что улучшение конверсии в результате изменений, внесенных вами в вариации, объясняется чистой удачей или случайностью.
Вы можете увидеть явный выигрыш в ходе тестирования – если у вас значительный трафик, вы можете увидеть, что один вариант работает лучше других в течение нескольких дней. Однако, если тест не достиг значимости, не стоит торопиться и внедрять изменения победившего варианта. Чтобы перенести повышение конверсии, полученное в результате теста, на ваш оригинальный сайт, вы должны внимательно следить за статистической значимостью теста.
Разделение трафика между вариантами в A/B-тесте
Не существует магического числа посетителей для каждой вариации, которое сделает тест успешным. Правильное количество посетителей зависит от количества конверсий, необходимых каждому варианту для достижения статистической значимости теста. Это количество – конверсии, которые вы получаете на каждый вариант – в значительной степени зависит от продолжительности теста и изменений в каждом варианте.
Например, компания SaaS проводит тест на длину формы регистрации на главной странице. При посещаемости не менее 500 посетителей в день (
250 на вариацию), тест может достичь значимости за восемь дней. В то время как другой тест на странице внутреннего уровня, сравнивающий различные копии, может не достичь значимости, несмотря на 1000 посетителей (~500 на вариацию) в день в течение 20 дней.~В первом случае, несмотря на меньшее количество посетителей, чем во втором, одна из вариаций явно преобладала над другой, когда речь шла о количестве конверсий на вариацию.
Таким образом, количество посетителей, необходимое для успешного проведения каждого теста, – величина переменная. Вы должны следить за его статистической значимостью.
Выделение вариации посетителю по значению cookie-файла
Итак, видит ли посетитель оригинал в одной сессии и вариацию в следующей? Нет, это не так – как только посетитель попадает на ваш сайт, ему присваивается файл cookie. Этот файл cookie используется для отслеживания информации о пользователе в тестах. Он помогает определить, является ли посетитель сайта участником теста, и достигает ли он поставленных перед ним целей. Они также отслеживают вариант, который посетитель сайта просмотрел, и используются для предоставления посетителю того же самого варианта. co
Если вы запускаете несколько тестов одновременно, тщательно следите за общим трафиком между этими тестами. Если только взаимодействие между тестами не минимально, лучше не запускать несколько тестов с перекрывающимся трафиком. При небрежной настройке такие тесты будут показывать ложные положительные результаты.
Даже если вы решите провести такие тесты, убедитесь, что вы равномерно разделили трафик между взаимосвязанными пользовательскими впечатлениями.
корзина
Допустим, вы проводите A/B-тест на странице списка желаний (W1 против W2) и другой A/B-тест на странице корзины (C1 против C2). Не забудьте разделить трафик 50 на 50 с W2 на C1 и C2.
Определение продолжительности и частоты проведения A/B-тестирования
For example: The usual course of a visitor journey on your website is: wishlist —>В идеале, вы должны проводить A/B-тестирование достаточно долго, чтобы иметь выборку, включающую посетителей из разных источников. Скажем, вы запустили новую кампанию в социальных сетях, чтобы привлечь посетителей на свой сайт, и видите повышение конверсии – не приостанавливайте тестирование, даже если оно достигло статистической значимости. Эта выборка необъективна (смещение отбора) и не является репрезентативной для среднего набора персон посетителей, которые приходят на ваш сайт.
Кроме того, обязательно учитывайте изменение притока посетителей в будние и выходные дни, через различные источники трафика и благодаря текущей маркетинговой деятельности. Все это вместе формирует полный бизнес-цикл. Для большинства предприятий этот цикл длится 2-4 недели.
Как только вы зафиксируете выборку и тест достигнет статистической значимости (95% или более), вы можете остановить тест и начать извлекать из него значимые выводы.
Проверьте, удалось ли вам избежать смещения отбора
Убедитесь, что вы учли полный цикл деловой активности
Проверьте, достиг ли ваш тест статистической значимости, на которую вы его настроили – в идеале 95% или более.
- Принятие решения о частоте тестирования
- Вы никогда не должны прекращать оптимизацию. Вы можете проводить тесты в течение всего месяца, в течение нескольких бизнес-циклов или даже больше – просто убедитесь, что все ваши тесты основаны на надежной гипотезе. С каждым тестом вы сможете лучше понять своего посетителя; эти знания можно использовать в других маркетинговых каналах, таких как рассылки по электронной почте, реклама PPC и создание контента.
- Получение действенных выводов из A/B-тестов
Каждое A/B-тестирование подталкивает вашу маркетинговую стратегию, оттачивая ее в соответствии с требованиями ваших посетителей, и со временем повышает коэффициент конверсии. Например, вы хотите отслеживать конверсии в 5 самых популярных геолокациях, которые пользуются вашими услугами. Допустим, это: США, Великобритания, Канада, Австралия и Индия. Вы можете провести тесты, нацеленные на аудиторию именно из этих регионов, и персонализировать их веб-сайт на основе результатов тестов. Вы даже можете детализировать отчеты A/B-тестов, чтобы выяснить, как ведут себя подсегменты аудитории в условиях тестирования. Постоянно настраивайте этот цикл, чтобы найти различные версии вашего сайта, которые лучше всего резонируют с конкретными сегментами целевой аудитории.
Наконец, помните, что не все тесты будут иметь выигрышные варианты. Однако неубедительный результат – это все равно возможность для обучения вашей команды. В ходе таких тестов вы должны до мельчайших подробностей узнать о своих посетителях. Даже в этом случае вы можете сегментировать отчеты, чтобы найти различия в конверсионном поведении по демографическим группам. Вы также можете анализировать микроконверсии, такие как время, проведенное на странице, и общую вовлеченность. Наконец, не отбрасывайте гипотезу – вместо этого попробуйте другой подход к ее проверке.
БОНУС:
Проведение A/B-тестов на основных формах взаимодействия с посетителями
Если у вас есть необходимые инструменты, вы можете проводить A/B-тесты на любой тип взаимодействия с посетителями. Вот два таких примера:
Электронная почта: Протестируйте две или более версии электронных писем, которые вы рассылаете. Например, вы можете провести тест между обычным текстовым письмом и письмом на основе шаблона, чтобы проверить, какой тип получает больше кликов или ответов.
PPC-реклама: Google Ads и некоторые другие рекламные платформы PPC имеют настройки для проведения A/B-тестов объявлений, которые вы размещаете. Это отличный способ оптимизировать расходы на рекламу, сохраняя при этом конверсии, получаемые от каждой кампании.
Введение в A/B тестирование
Основа для настройки A/B
Определение выигрышной гипотезы