Полное руководство по A/B-тестированию: Советы экспертов из Google, HubSpot и других компаний

Если вы опытный предприниматель или только начинаете, есть большая вероятность, что вы видели бесчисленные статьи и ресурсы об A/B-тестировании. Возможно, вы даже уже проводите A/B-тестирование тематических строк своих электронных писем или постов в социальных сетях.

Несмотря на то, что в области маркетинга об А/Б-тестировании было сказано немало, многие люди по-прежнему ошибаются. Результат? Люди принимают важные бизнес-решения, основываясь на неточных результатах неправильного тестирования.

Нажмите здесь, чтобы начать продавать онлайн прямо сейчас с Shopify

A/B тестирование часто слишком упрощается, особенно в контенте, написанном для владельцев магазинов. Ниже вы найдете все, что вам нужно знать, чтобы начать работу с различными типами A/B-тестирования для электронной коммерции, объясненными как можно проще. A/B-тестирование может стать решающим фактором при выборе правильного позиционирования товара, повышении конверсии на целевой странице и многом другом.

Оглавление

Что такое А/Б тестирование?

A/B-тестирование, иногда называемое сплит-тестированием, – это процесс сравнения двух версий одной и той же веб-страницы, электронного письма или другого цифрового актива с целью определить, какая из них лучше работает на основе поведения пользователя. Это полезный инструмент для повышения эффективности маркетинговой кампании и лучшего понимания того, что привлекает вашу целевую аудиторию.

Этот процесс позволяет ответить на важные вопросы бизнеса, помогает получить больший доход от уже имеющегося трафика и закладывает основу для маркетинговой стратегии, основанной на данных.

Узнайте больше: Как провести SWOT-анализ для вашего бизнеса

Как работает A/B тестирование

При использовании A/B тестирования в контексте маркетинга вы показываете 50% посетителей версию A вашего актива (назовем ее “контрольной”) и 50% посетителей версию B (назовем ее “вариантом”).

Побеждает тот вариант, который дает наибольший коэффициент конверсии. Например, допустим, вариант (версия B) дал самый высокий коэффициент конверсии. Тогда вы объявите его победителем и переведете 100% посетителей на этот вариант.

Затем этот вариант становится новым контролем, и вы должны разработать новый вариант.

Стоит отметить, что коэффициент конверсии А/Б-тестов часто может быть несовершенным показателем успеха.

Например, если на одной странице вы предлагаете товар по цене 50 долларов, а на другой странице он совершенно бесплатный, это не даст никакой действительно ценной информации. Как и любой инструмент или стратегия, которые вы используете для своего бизнеса, они должны быть стратегическими.

Вот почему вы должны отслеживать ценность конверсии на протяжении всего пути к окончательной продаже.

Список бесплатного чтения: Оптимизация конверсии для начинающих

Превратите больше посетителей сайта в покупателей, получив краткий курс по конверсии

Спасибо за подписку. Вскоре вы начнете получать бесплатные советы и ресурсы. А пока начните создавать свой магазин с бесплатной 3-дневной пробной версии Shopify.

Что такое A/B/n тестирование?

При A/B/n тестировании вы можете протестировать более одного варианта против контрольного. Так, вместо того чтобы показывать 50% посетителей контрольный вариант и 50% посетителей – вариант, вы можете показать 25% посетителей контрольный вариант, 25% – первый вариант, 25% – второй вариант и 25% – третий вариант.

Примечание: Это отличается от многовариантного тестирования, которое также включает в себя несколько вариантов. При многовариантном тестировании вы не только тестируете несколько вариантов, но и несколько элементов, например, A/B тестирование UX или сплит-тестирование SEO. Цель состоит в том, чтобы выяснить, какая комбинация работает лучше всего.

Источник изображения: Google .

Для проведения многомерных тестов вам потребуется много трафика, поэтому пока их можно игнорировать.

Как долго должны проводиться A/B-тесты?

Проведите A/B-тестирование в течение как минимум одного, а в идеале – двух полных бизнес-циклов. Не останавливайте тестирование только потому, что вы достигли значимости. Вам также необходимо соблюсти заранее определенный размер выборки. Наконец, не забудьте провести все тесты с шагом в полную неделю.

Почему именно два полных бизнес-цикла? Для начала:

Вы можете учесть покупателей, которым “нужно подумать”.

Вы можете учесть все различные источники трафика (Facebook, рассылка по электронной почте, органический поиск и т.д.).

Вы можете учитывать аномалии. Например, ваша пятничная рассылка по электронной почте.

Двух бизнес-циклов обычно достаточно, чтобы получить ценное представление о поведении пользователей вашей целевой аудитории.

1. Если вы использовали какой-либо инструмент для тестирования целевых страниц с помощью A/B-тестов, вам, скорее всего, знаком маленький зеленый значок “Статистически значимо”.
2. Для многих, к сожалению, это универсальный знак “тест готов, отменяйте его”. Как вы узнаете ниже, то, что статистическая значимость A/B-теста достигнута, не означает, что вы должны прекратить тест.
3. А ваш заранее определенный размер выборки? Это не так страшно, как кажется. Откройте калькулятор размера выборки, как этот от Эвана Миллера, чтобы использовать его на всех своих веб-страницах для повышения коэффициента конверсии.

Этот расчет говорит о том, что если ваш текущий коэффициент конверсии составляет 5%, а вы хотите иметь возможность обнаружить эффект в 15%, вам нужна выборка в 13 533 человека для каждого варианта. Таким образом, в общей сложности, если это стандартный A/B-тест, необходимо более 25 000 посетителей.

Посмотрите, что произойдет, если вы хотите обнаружить меньший эффект:

Все, что изменилось, – это минимальный обнаруживаемый эффект (MDE). Он уменьшился с 15% до 8%. В этом случае вам понадобится выборка из 47 127 вариантов. Таким образом, в целом, если это стандартное А/Б тестирование, необходимо почти 100 000 посетителей.

Независимо от того, проводите ли вы A/B-тестирование UX или сплит-тестирование SEO, размер вашей выборки должен быть рассчитан заранее, до начала тестирования. Ваш тест не может быть остановлен, даже если он достигнет значимости, пока не будет достигнут заранее определенный размер выборки. В противном случае тест будет недействительным.

Вот почему вы не можете бесцельно следовать лучшим практикам, таким как “остановиться после 100

Теперь предположим, что вы потратили $100 на рекламу в Facebook, чтобы направить 10 человек на ваш сайт. Ваша средняя стоимость заказа по-прежнему составляет $25. Однако на этот раз только пять из этих посетителей уходят, ничего не купив, а остальные пять тратят по $25. Результат? Вы заработали 25 долларов.

Конечно, это один из самых простых примеров A/B-тестирования. Но, увеличив коэффициент конверсии для своего интернет-магазина, вы сделали тот же трафик более ценным.

А/Б-тестирование изображений и копий также поможет вам раскрыть глубокие знания, независимо от того, выиграет ваш тест или проиграет. Эта ценность очень легко передается. Например, копирайтинг, полученный в результате A/B-тестирования описания товара, может помочь в разработке ценностного предложения, видеоролика о товаре или описания других товаров.

Также нельзя игнорировать ценность постоянного повышения эффективности вашего интернет-магазина.

Должны ли вы проводить A/B-тестирование?

Не обязательно. Если у вас сайт с низкой посещаемостью или веб- или мобильное приложение, то A/B-тестирование, вероятно, не является для вас лучшим способом оптимизации. Скорее всего, вы получите более высокую отдачу от инвестиций (ROI), если проведете пользовательское тестирование или, например, поговорите с вашими клиентами.

Несмотря на распространенное мнение, оптимизация коэффициента конверсии не начинается и не заканчивается тестированием.

Рассмотрим цифры из приведенного выше калькулятора размера выборки. 47 127 посетителей на вариацию, чтобы обнаружить эффект в 8%, если ваш базовый коэффициент конверсии составляет 5%. Допустим, вы хотите протестировать страницу товара. Получит ли она около 100 000 посетителей за две-четыре недели?

Почему от двух до четырех недель? Помните, мы хотим провести тесты в течение как минимум двух полных бизнес-циклов. Обычно это составляет от двух до четырех недель. Возможно, вы думаете: “Нет проблем, я буду проводить тест дольше, чем две-четыре недели, чтобы достичь необходимого размера выборки”. Это тоже не сработает.

Чем дольше проводится тест, тем больше он подвержен внешним угрозам валидности и загрязнению выборки. Например, посетители могут удалить свои cookies и снова попасть в A/B-тест как новый посетитель. Или кто-то может переключиться с мобильного телефона на настольный компьютер и увидеть альтернативный вариант.

По сути, слишком долгое проведение теста так же плохо, как и недостаточно длительное.

Тестирование стоит проводить тем магазинам, которые могут обеспечить необходимый размер выборки за две-четыре недели. Магазинам, которые не могут этого сделать, следует рассмотреть другие формы оптимизации, пока их трафик не увеличится.

Юлия Старостенко, менеджер по продуктам Pinterest, согласна с этим, объясняя:

Юлия Старостенко, Pinterest

“Экспериментировать – это весело! Но важно убедиться в точности результатов”.

“Спросите себя: Достаточно ли велика ваша аудитория? Достаточно ли вы собрали данных? Для достижения истинной статистической значимости (в разумные сроки) размер аудитории должен быть достаточно большим.”

Что вы должны тестировать?

Я не могу сказать вам, что вы должны тестировать. Знаю, знаю. Конечно, вам будет легче жить, если я дам вам список из 99 вещей, которые нужно протестировать прямо сейчас. Нет недостатка в маркетологах, готовых сделать это в обмен на клики.

Правда в том, что единственные тесты, которые стоит проводить, – это тесты, основанные на ваших собственных данных. У меня нет доступа к вашим данным, вашим клиентам и т.д., как и у тех, кто составляет эти огромные списки идей для A/B-тестирования. Никто из нас не может толком сказать вам, что тестировать.

Единственные тесты, которые стоит проводить, это тесты, основанные на ваших собственных данных.

Вместо этого я рекомендую вам самим ответить на этот вопрос с помощью качественного и количественного анализа. Вот некоторые популярные примеры A/B-тестирования:

Технический анализ. Загружается ли ваш магазин правильно и быстро в каждом браузере? На каждом устройстве? У вас может быть блестящий новый iPhone 14, но кто-то где-то все еще пользуется Motorola Razr 2005 года. Если ваш сайт не работает правильно и быстро, он определенно не конвертирует так хорошо, как мог бы.

Опросы на сайте. Они появляются по мере того, как посетители вашего магазина просматривают сайт. Например, опрос на сайте может спросить посетителей, которые находятся на одной и той же странице в течение некоторого времени, есть ли что-то, что удерживает их от совершения покупки сегодня. Если да, то что именно? Вы можете использовать эти качественные данные для улучшения копирования и повышения коэффициента конверсии.

Интервью с клиентами. Ничто не может заменить телефонный разговор с клиентами. Почему они выбрали ваш магазин, а не конкурирующие магазины? Какую проблему они пытались решить, придя на ваш сайт? Вы можете задать миллион вопросов, чтобы понять, кто ваши клиенты и почему они покупают именно у вас.

Опросы клиентов. Опросы клиентов – это полномасштабные опросы, которые проводятся среди людей, уже совершивших покупку (в отличие от посетителей). При разработке опроса вы должны сосредоточиться на следующих вопросах: определение ваших клиентов, определение их проблем, определение колебаний, которые они испытывали перед покупкой, и определение слов и фраз, которые они используют для описания вашего магазина.

Аналитический анализ. Правильно ли ваши аналитические инструменты отслеживают и предоставляют данные? Это может показаться глупым, но вы удивитесь, узнав, как много инструментов аналитики настроены неправильно. Анализ аналитики – это выяснение того, как ведут себя ваши посетители. Например, вы можете сосредоточиться на воронке. Где у вас самые большие утечки в воронке конверсии? Другими словами, где большинство людей выпадает из вашей воронки? Это хорошее место для начала тестирования.

Пользовательское тестирование. Это когда вы наблюдаете, как реальные люди в рамках платного контролируемого эксперимента пытаются выполнить задания на вашем сайте. Например, вы можете попросить их найти видеоигру в диапазоне от $40 до $60 и добавить ее в корзину. Пока они выполняют эти задачи, они вслух рассказывают о своих мыслях и действиях.

Повторы сеансов. Повторные сеансы похожи на пользовательское тестирование, но теперь вы имеете дело с реальными людьми с реальными деньгами и реальным намерением купить. Вы будете наблюдать за тем, как реальные посетители перемещаются по вашему сайту. Что им трудно найти? Где они расстраиваются? Где они, кажется, запутались?

• Существуют и другие виды исследований, но начните с выбора наиболее подходящей для вас методики A/B-тестирования. Если вы пробежитесь по некоторым из них, у вас будет огромный список идей, основанных на данных, которые стоит протестировать. Я гарантирую, что ваш список принесет вам больше пользы, чем любая статья “99 вещей, которые нужно протестировать прямо сейчас”.
• Определение приоритетов идей A/B-тестирования
• Огромный список идей для A/B-тестирования – это интересно, но не совсем полезно для принятия решения о том, что тестировать. С чего начать? Вот тут-то и приходит на помощь расстановка приоритетов.
• Существует несколько общих рамок расстановки приоритетов, которые вы можете использовать:
• ICE. ICE означает “воздействие, уверенность”.
• PIE. PIE означает потенциал, важность и легкость. Опять же, каждый фактор получает рейтинг от 1 до 10. Например, если тест охватит 90% вашего трафика, вы можете оценить важность на восемь баллов. PIE так же субъективен, как и ICE, поэтому рекомендации могут быть полезны и для этой структуры.
• PXL. PXL – это система расстановки приоритетов из CXL. Она немного отличается и является более настраиваемой, заставляя принимать более объективные решения. Вместо трех факторов вы найдете вопросы “да/нет” и вопрос о простоте внедрения. Например, система может спросить: “Предназначен ли тест для повышения мотивации?”. Если да, то он получает 1 балл, если нет, то 0. Вы можете узнать больше об этой системе и скачать таблицу.

Теперь у вас есть представление о том, с чего начать, но это также может помочь классифицировать ваши идеи. Например, во время исследования конверсии, которое я недавно проводил, я использовал три категории: реализовать, исследовать и протестировать.

Реализация Просто сделайте это. Это сломано или очевидно.

Исследуйте. Требует дополнительных размышлений для определения проблемы или поиска решения.

Протестировать. Идея обоснована и подкреплена данными. Протестируйте ее!

• Между этой категоризацией и расстановкой приоритетов вы готовы.

• Краткий курс по статистике A/B-тестирования
• Прежде чем проводить тестирование, важно изучить статистику. Я знаю, что статистику обычно не любят, но считайте, что это обязательный курс, который вы с трудом проходите, чтобы закончить школу.

Статистика является важной частью A/B-тестирования. К счастью, инструменты A/B-тестирования и программное обеспечение для сплит-тестирования облегчили работу оптимизатора, но базовое понимание того, что происходит за кулисами, крайне важно для анализа результатов тестирования в дальнейшем.

• Алекс Биркетт, бывший менеджер по маркетингу роста в HubSpot и нынешний соучредитель Omniscient Digital, объясняет:
• Алекс Биркетт, Omniscient Digital
• Статистика – это не магическое число конверсий или двоичное “Успех!” или “Провал “. Это процесс, используемый для принятия решений в условиях неопределенности и снижения риска путем попытки уменьшить туманность в отношении того, каким будет результат того или иного решения”.

“Учитывая это, я считаю, что необходимо знать основы: что такое среднее значение, дисперсия, выборка, стандартное отклонение, регрессия к среднему значению и что такое “репрезентативная” выборка. Кроме того, когда вы только начинаете проводить A/B-тестирование, полезно установить некоторые специальные ограждения, чтобы максимально снизить вероятность человеческой ошибки”.

Что такое среднее значение?

Среднее – это среднее значение. Ваша цель – найти среднее значение, которое отражает общую картину.

Например, допустим, вы пытаетесь найти среднюю цену на видеоигры. Вы не станете складывать цены на все видеоигры в мире и делить их на количество всех видеоигр в мире. Вместо этого вы выделите небольшую выборку, которая является репрезентативной для всех видеоигр в мире.

В итоге вы можете найти среднюю цену нескольких сотен видеоигр. Если вы выбрали репрезентативную выборку, средняя цена этих двухсот видеоигр должна быть репрезентативной для всех видеоигр в мире.

Итак, насколько близко среднее значение к фактической цене каждой отдельной видеоигры?

Что такое статистическая значимость?

Если предположить, что между A и B нет никакой разницы, как часто вы будете видеть эффект просто случайно?

Чем ниже уровень статистической значимости, тем больше шанс, что ваш выигрышный вариант вовсе не является выигрышным.

Проще говоря, низкий уровень значимости означает, что существует большая вероятность того, что ваш “победитель” не является настоящим победителем (это называется ложным срабатыванием).

Имейте в виду, что большинство инструментов A/B тестирования и программного обеспечения для A/B тестирования с открытым исходным кодом называют статистическую значимость, не дожидаясь достижения заранее определенного размера выборки или момента времени. Именно поэтому вы можете заметить, что ваш тест скачет туда-сюда между статистически значимым и статистически незначимым.

Пип Ладжа, основатель CXL, хочет, чтобы больше людей действительно понимали статистическую значимость A/B-тестов и почему она важна:

“Статистическая значимость не равна достоверности – это не правило остановки. Когда вы достигаете 95% статистической значимости или выше, это мало что значит, пока не выполнены два других более важных условия:

“1. Достаточный объем выборки, который вы можете рассчитать с помощью калькулятора объема выборки. Это означает, что в эксперименте участвовало достаточно людей, чтобы можно было сделать хоть какой-то вывод.

“2. Тест проводился достаточно долго, чтобы выборка была репрезентативной (и не слишком долго, чтобы избежать загрязнения выборки). В большинстве случаев вы захотите проводить тесты две, три или четыре недели, в зависимости от того, как быстро вы сможете получить необходимую выборку.”

Что такое регрессия к среднему значению?

Вы можете заметить экстремальные колебания в начале вашего A/B-теста.

Регрессия к среднему – это явление, которое говорит, что если что-то является экстремальным при первом измерении, то при втором измерении оно, скорее всего, будет ближе к среднему.

Если единственная причина, по которой вы объявляете тест, заключается в том, что он достиг статистической значимости, вы можете получить ложный положительный результат. Ваша выигрышная вариация, скорее всего, со временем регрессирует к среднему значению.

Что такое статистическая мощность?

Если предположить, что существует разница между A и B, как часто вы будете наблюдать эффект?

Чем ниже уровень мощности, тем больше шансов, что выигрыш останется нераспознанным. Чем выше уровень мощности, тем меньше шанс, что победитель останется непризнанным. На самом деле, все, что вам нужно знать, это то, что 80% статистической мощности является стандартом для большинства инструментов A/B тестирования и/или любого сервиса сплит-тестирования.

Тон Весселинг, основатель Online Dialogue, хотел бы, чтобы больше людей знали о статистической мощности:

Тон Весселинг, “Онлайн Диалог

“Многие люди беспокоятся о ложноположительных результатах. Мы гораздо больше беспокоимся о ложноотрицательных. Зачем проводить эксперименты, если шансы найти доказательства того, что ваши позитивные изменения оказывают влияние, очень малы?”.

Что такое внешние угрозы валидности?

Существуют внешние факторы, которые угрожают валидности ваших тестов. Например:

продажи в “черную пятницу”, “киберпонедельник” (BFCM).

Положительное или отрицательное упоминание в прессе

Запуск крупной платной кампании

день недели

Смена времен года

Один из наиболее распространенных примеров A/B-тестирования, когда внешние угрозы достоверности влияют на результаты, – это сезонные события. Допустим, вы проводите тестирование в декабре. Крупные торговые праздники означают увеличение посещаемости вашего магазина в этом месяце. В январе вы можете обнаружить, что ваш декабрьский победитель больше не показывает хороших результатов.

Из-за внешней угрозы достоверности: праздников.

Данные, на которых вы основывали свое тестовое решение, были аномалией. Когда в январе все успокоится, вы можете с удивлением обнаружить, что ваш победитель проиграл.

Вы не можете устранить внешние угрозы достоверности, но вы можете смягчить их, проводя тесты в течение полных недель (например, не начинайте тест в понедельник и не заканчивайте его в пятницу), включая различные типы трафика (например, не тестируйте только платный трафик, а затем распространяйте результаты на все источники трафика) и помня о потенциальных угрозах.

Как настроить A/B-тестирование

Давайте пройдемся по небольшому учебнику по A/B-тестированию. Прежде чем что-то тестировать, необходимо выработать надежную гипотезу. (Отлично, мы только что закончили урок математики и теперь переходим к науке). Например, “Если я снижу цену за доставку, конверсия увеличится”.

Не волнуйтесь, это несложно. По сути, вам нужно проверить гипотезу, а не идею. Гипотеза поддается измерению, направлена на решение конкретной проблемы конверсии и ориентирована на понимание, а не на победу.

• Вам нужно проводить A/B-тестирование гипотезы, а не идеи.
• Всякий раз, когда я пишу гипотезу, я использую формулу, позаимствованную из Hypothesis Kit Крейга Салливана:
• Поскольку вы видите [вставьте данные/отзывы из исследований]
• Вы ожидаете, что [тестируемое изменение] вызовет [ожидаемое вами воздействие] и
• Вы будете измерять это с помощью [метрика данных].

Легко, правда? Вам остается только заполнить пробелы, и ваша идея тестирования превратилась в гипотезу.

Выбор инструмента для A/B-тестирования

Теперь вы можете приступить к выбору инструмента A/B-тестирования или сервиса сплит-тестирования. Чаще всего в первую очередь вы подумаете о Google Optimize, Optimizely и VWO.

Все они являются хорошими и безопасными вариантами.

Google Optimize. Бесплатный, за исключением некоторых многомерных ограничений, которые не должны повлиять на вас, если вы только начинаете. Он хорошо работает при проведении A/B-тестирования в Google Analytics, что является плюсом.

Optimizely. Легко запустить небольшие тесты, даже без технических навыков. Stats Engine облегчает анализ результатов тестирования. Как правило, Optimizely – самый дорогой вариант из трех.

VWO. VWO имеет SmartStats, что облегчает анализ. Кроме того, у него есть отличный WYSIWYG-редактор для начинающих. Каждый тарифный план VWO поставляется с тепловыми картами, опросами на месте, аналитикой форм и т.д.

У нас также есть несколько инструментов A/B тестирования в Shopify App Store, которые вы можете найти полезными.

Выбрав инструмент A/B-тестирования или программное обеспечение для сплит-тестирования, заполните форму регистрации и следуйте инструкциям. Процесс варьируется от инструмента к инструменту. Как правило, вас попросят установить сниппет на ваш сайт и установить цели.

• Как анализировать результаты A/B-тестирования
• Помните, я говорила, что написание гипотезы смещает акцент с побед на понимание? Криста Зайден, аналитик, бывший менеджер по продуктам Google, объясняет, что это значит:
• Криста Зайден, Google

“Самый упускаемый из виду аспект A/B-тестирования – это извлечение уроков из неудач. На самом деле, в программах оптимизации, которые я запускал, у меня есть привычка публиковать “отчет о неудачах”, где я называю некоторые из самых больших неудач.

“Один из моих самых любимых примеров – это кампания, которая готовилась несколько месяцев. Мы смогли незаметно провести тестирование целевой страницы прямо перед запуском, и хорошо, что мы это сделали, потому что она провалилась. Если бы мы действительно запустили страницу в том виде, в котором она была, мы бы получили значительный удар по итоговой прибыли. В итоге мы не только сэкономили бизнесу кучу денег, но и смогли разобраться и сделать некоторые предположения (которые позже проверили) о том, почему новая страница показала столь низкие результаты, что позволило нам стать лучшими маркетологами и добиться большего успеха в будущих кампаниях”.

Если вы правильно сформулируете свою гипотезу, то даже проигравший станет победителем, потому что вы получите понимание, которое сможете использовать в будущих тестах и в других областях вашего бизнеса. Поэтому, когда вы анализируете результаты тестирования, вам нужно сосредоточиться на понимании, а не на том, выиграл тест или проиграл. Всегда есть чему поучиться, всегда есть что анализировать. Не отмахивайтесь от проигравших!

Если вы правильно составите свою гипотезу, то даже проигравший будет победителем.

• Самое важное, что следует отметить, – это необходимость сегментации. Тест может быть неудачным в целом, но есть вероятность, что он хорошо показал себя хотя бы в одном сегменте. Что я имею в виду под сегментом?
• Новые посетители
• Возвращающиеся посетители

Посетители iOS

Посетители Android

Посетители Chrome

Посетители Safari

Посетители настольных компьютеров

Посетители с планшетов

Посетители из органического поиска

Платные посетители

Посетители социальных сетей

Зарегистрированные покупатели

• Вы уловили идею, верно?
• Когда вы смотрите на результаты в своем инструменте тестирования, вы смотрите на всю коробку конфет. Что вам нужно сделать, так это разделить конфеты, чтобы вы могли раскрыть более глубокие, сегментированные знания.
• Есть вероятность, что гипотеза оказалась верной среди определенных сегментов. Это тоже о чем-то говорит.
• Анализ – это гораздо больше, чем вопрос о том, был ли тест выигран или проигран. Сегментируйте данные, чтобы найти скрытые под поверхностью понимания.
• Инструменты A/B-тестирования не сделают анализ за вас, поэтому это важный навык, который нужно развивать со временем.
• Бесплатная электронная книга: Аналитика электронной коммерции для начинающих
• Узнайте, какие показатели являются ключевыми для создания и развития вашего онлайн-бизнеса. Это бесплатное руководство – идеальный первый шаг в изучении аналитики электронной коммерции.
• Получите бесплатную электронную книгу прямо сейчас
• Получите “Аналитика электронной коммерции для начинающих” прямо на свой электронный ящик.
• Почти готово: пожалуйста, введите свой email ниже, чтобы получить мгновенный доступ.
• Мы также будем отправлять вам обновления о новых учебных руководствах и историях успеха из рассылки Shopify. Мы ненавидим СПАМ и обещаем хранить ваш адрес электронной почты в безопасности.
• Спасибо за подписку. Скоро вы начнете получать бесплатные советы и ресурсы. А пока начните создавать свой магазин с бесплатной 3-дневной пробной версии Shopify.

Как архивировать прошедшие A/B-тесты

Допустим, вы проведете свой первый тест завтра. Через два года вы будете помнить детали этого теста? Вряд ли.

Вот почему архивирование результатов A/B-тестирования очень важно. Без хорошо хранящегося архива все те знания, которые вы получаете, будут потеряны. К тому же, шутка ли, очень легко протестировать одно и то же дважды, если вы не ведете архив.

Однако не существует “правильного” способа сделать это. Вы можете использовать такой инструмент, как Effective Experiments, или Excel. Все зависит от вас, особенно если вы только начинаете. Просто убедитесь, что вы ведете учет:

Гипотеза

Скриншоты контроля и вариации

выигрыш или проигрыш

Понимание, полученное в ходе анализа

По мере роста вы поблагодарите себя за то, что сохранили этот архив. Он поможет не только вам, но и новым сотрудникам и консультантам/заинтересованным лицам.

При A/B/n тестировании вы можете протестировать более одного варианта против контрольного. Так, вместо того чтобы показывать 50% посетителей контрольный вариант и 50% посетителей – вариант, вы можете показать 25% посетителей контрольный вариант, 25% – первый вариант, 25% – второй вариант и 25% – третий вариант.

Примечание: Это отличается от многовариантного тестирования, которое также включает в себя несколько вариантов. При многовариантном тестировании вы не только тестируете несколько вариантов, но и несколько элементов, например, A/B тестирование UX или сплит-тестирование SEO. Цель состоит в том, чтобы выяснить, какая комбинация работает лучше всего.

Источник изображения: Google .

Превратите больше посетителей сайта в клиентов, получив краткий курс по оптимизации конверсии. Получите доступ к нашему бесплатному списку статей с высокой эффективностью ниже.

Получить бесплатный список для чтения

Получите наш список статей по оптимизации конверсии прямо в ваш почтовый ящик.

Почти готово: введите свой email ниже, чтобы получить мгновенный доступ.

• Мы также будем отправлять вам обновления о новых учебных руководствах и историях успеха из рассылки Shopify. Мы ненавидим СПАМ и обещаем хранить ваш адрес электронной почты в безопасности.
• Спасибо за подписку. Скоро вы начнете получать бесплатные советы и ресурсы. А пока начните создавать свой магазин с бесплатной 3-дневной пробной версии Shopify.
• Криста Зайден
• Мой пошаговый процесс A/B-тестирования веб-сайтов и приложений начинается с анализа – на мой взгляд, это основа любой хорошей программы тестирования. На этапе анализа целью является изучение данных аналитики, опросов, UX-данных или любых других источников информации о потребителях, которые у вас есть, чтобы понять, где находятся возможности для оптимизации.

После того, как у вас есть хороший набор идей на этапе анализа, вы можете перейти к выдвижению гипотез о том, что может идти не так, и как вы можете потенциально исправить или улучшить эти области оптимизации.

Далее, пришло время создать и запустить тесты. Обязательно проводите их в течение разумного периода времени (я предпочитаю две недели, чтобы учесть недельные изменения или аномалии), и когда у вас будет достаточно данных, проанализируйте результаты, чтобы определить победителя.

На этом этапе также важно уделить время анализу проигравших – что вы можете узнать из этих вариантов?

Список бесплатного чтения: Оптимизация конверсии для начинающих

Превратите больше посетителей сайта в покупателей, получив краткий курс по конверсии

Спасибо за подписку. Вскоре вы начнете получать бесплатные советы и ресурсы. А пока начните создавать свой магазин с бесплатной 3-дневной пробной версии Shopify.

Что такое A/B/n тестирование?

При A/B/n тестировании вы можете протестировать более одного варианта против контрольного. Так, вместо того чтобы показывать 50% посетителей контрольный вариант и 50% посетителей – вариант, вы можете показать 25% посетителей контрольный вариант, 25% – первый вариант, 25% – второй вариант и 25% – третий вариант.

Примечание: Это отличается от многовариантного тестирования, которое также включает в себя несколько вариантов. При многовариантном тестировании вы не только тестируете несколько вариантов, но и несколько элементов, например, A/B тестирование UX или сплит-тестирование SEO. Цель состоит в том, чтобы выяснить, какая комбинация работает лучше всего.

Источник изображения: Google .

Расставить приоритеты на основе влияния и простоты, а также максимально эффективно распределить ресурсы (особенно технические).

Провести тест (следуя лучшим практикам статистики в меру своих знаний и возможностей).

Проанализировать результаты и внедрить или не внедрить в соответствии с результатами.

Итерация на основе полученных результатов и повторение.

Проще говоря: исследование, тестирование, анализ, повторение.

Хотя этот процесс может отклоняться или меняться в зависимости от контекста (тестирую ли я важную для бизнеса функцию продукта? CTA-пост в блоге? Каков профиль риска и баланс между инновациями и снижением рисков?), он вполне применим к компании любого размера и типа.

Суть в том, что этот процесс является гибким, но он также собирает достаточно данных, как качественных отзывов клиентов, так и количественной аналитики, чтобы иметь возможность придумать лучшие идеи для тестирования и лучше расставить приоритеты, чтобы вы могли привлечь трафик в свой интернет-магазин.

Итак, насколько близко среднее значение к фактической цене каждой отдельной видеоигры?

Первый вопрос, на который мы всегда отвечаем, когда хотим оптимизировать путешествие клиента, это: Где находится этот продукт или услуга в модели ROAR, которую мы создали в Online Dialogue? Вы все еще находитесь на стадии риска, когда мы можем провести множество исследований, но не можем подтвердить наши выводы с помощью A/B-тестов (менее 1 000 конверсий в месяц), или вы находитесь на стадии оптимизации? Или даже выше?

• Фаза риска: множество исследований, которые будут воплощены в чем угодно – от поворота бизнес-модели до совершенно нового дизайна и ценностного предложения.
• Фаза оптимизации: крупные эксперименты, которые позволят оптимизировать ценностное предложение и бизнес-модель.
• Фаза оптимизации: небольшие эксперименты для подтверждения гипотез о поведении пользователей, которые позволят накопить знания для более масштабных изменений в дизайне.
• Автоматизация : у вас еще остались силы для экспериментов (посетители), то есть весь ваш потенциал тестирования не нужен для подтверждения вашего путешествия пользователя. То, что осталось, должно быть использовано для использования, чтобы расти быстрее сейчас (не фокусируясь на долгосрочных знаниях). Это может быть автоматизировано путем запуска бандитов/использования алгоритмов.
• Переосмысление: вы перестаете добавлять множество исследований, если только это не поворот к чему-то новому.
• Таким образом, А/Б-тестирование веб-сайтов или приложений является важной вещью только на этапе оптимизации ROAR и далее (до переосмысления).
• Наш подход к проведению экспериментов – это модель FACT & ACT:

Исследования, которые мы проводим, основаны на нашей модели 5V:

Мы собираем все эти данные, чтобы выработать основную гипотезу, подкрепленную исследованиями, которая приведет к появлению подгипотез, приоритет которых будет определяться на основе данных, собранных с помощью настольного или мобильного A/B тестирования. Чем выше вероятность того, что гипотеза верна, тем выше она будет ранжирована.

Как только мы узнаем, верна наша гипотеза или ложна, мы можем начать объединять полученные данные и предпринимать более серьезные шаги, перепроектируя/перестраивая более крупные части пути клиента. Однако в какой-то момент все выигрышные реализации приведут к локальному максимуму. Затем необходимо сделать еще больший шаг, чтобы достичь потенциального глобального максимума.

Вы не можете устранить внешние угрозы достоверности, но вы можете смягчить их, проводя тесты в течение полных недель (например, не начинайте тест в понедельник и не заканчивайте его в пятницу), включая различные типы трафика (например, не тестируйте только платный трафик, а затем распространяйте результаты на все источники трафика) и помня о потенциальных угрозах.

Вы занимаетесь маркетингом для международной аудитории? Узнайте, как упростить этот процесс с помощью псевдолокализации.

• Юлия Старостенко, Pinterest
• Цель эксперимента – подтвердить, что внесение изменений в существующую веб-страницу окажет положительное влияние на бизнес.
• Прежде чем приступить к эксперименту, важно определить, действительно ли он необходим. Рассмотрим следующий сценарий: имеется кнопка с крайне низкой частотой нажатий. Снизить эффективность этой кнопки будет практически невозможно. Va
• Если установлено, что проведение эксперимента действительно будет полезным, следующим шагом будет определение бизнес-показателей, которые необходимо улучшить (например, увеличить коэффициент конверсии кнопки). Затем мы обеспечиваем надлежащий сбор данных.
• После этого проводится случайное тестирование аудитории, разделенное на две группы: одной группе показывают существующую версию кнопки, а другая получает новую версию. Отслеживается коэффициент конверсии каждой аудитории, и по достижении статистической значимости определяются результаты эксперимента.

Пип Ладжа, CXL

А/Б-тестирование – это часть общей картины оптимизации конверсии. На мой взгляд, на 80% это исследование и только на 20% – тестирование. Исследование конверсии поможет вам определить, что тестировать для начала.

Мой процесс обычно выглядит следующим образом (упрощенное резюме):

Проведите исследование конверсии с помощью такой структуры, как ResearchXL, чтобы выявить проблемы на вашем сайте.

Выберите проблему с высоким приоритетом (ту, которая затрагивает большую часть пользователей и является серьезной проблемой), и проведите мозговой штурм как можно большего количества решений этой проблемы. Подкрепляйте процесс разработки идей результатами исследования конверсии. Определите, на каком устройстве вы хотите провести тест (мобильное A/B-тестирование нужно проводить отдельно от настольного).

Определите, сколько вариаций вы можете протестировать (исходя из уровня трафика/транзакций), а затем выберите одну-две лучшие идеи для решения, чтобы протестировать их на контроле.

Составьте точную схему (напишите копию, внесите изменения в дизайн и т.д.) В зависимости от объема изменений, вам может потребоваться привлечение дизайнера для разработки новых элементов.

Вместо этого я рекомендую вам самим ответить на этот вопрос с помощью качественного и количественного анализа. Вот некоторые популярные примеры A/B-тестирования:

Проведите QA теста (неработающие тесты – самый большой убийца A/B-тестирования), чтобы убедиться, что он работает в любом браузере/устройстве.

Запустите тест!

Как только тест будет завершен, проведите посттестовый анализ.

В зависимости от результатов либо внедрите победителя, либо проведите итерации, либо протестируйте что-то еще.

Маркетинг 101

Пытаетесь увеличить продажи? Узнайте, как пройти путь от первого дня до первой продажи в этом бесплатном учебном курсе.

Оптимизация A/B-тестирования для вашего бизнеса

У вас есть процесс, у вас есть сила! Итак, отправляйтесь туда, приобретите лучшее программное обеспечение для A/B-тестирования и начните тестировать свой магазин. Вы и глазом не успеете моргнуть, как полученные результаты станут еще больше денег в вашем банке.

• Если вы хотите продолжить изучение оптимизации, пройдите бесплатный курс, например, Udacity’s A/B testing by Google . Вы сможете узнать больше об A/B-тестировании веб-приложений и мобильных приложений, чтобы повысить свою квалификацию в области оптимизации.
• Готовы создать свой первый бизнес? Начните бесплатную пробную версию Shopify – кредитная карта не требуется.
• Часто задаваемые вопросы по A/B-тестированию
• Что такое A/B тестирование?
• На самом базовом уровне A/B-тестирование – это тестирование двух версий чего-либо, чтобы увидеть, какая из них работает лучше. Вы можете проводить A/B-тестирование в различных областях, связанных с вашим бизнесом, включая посты в социальных сетях, контент, электронную почту и страницы товаров.
• Что является примером A/B-тестирования?
• Примером A/B-тестирования может служить запуск платного трафика на две немного отличающиеся страницы товара, чтобы посмотреть, какая из них имеет самый высокий коэффициент конверсии.
• Примером A/B-тестирования может служить запуск платного трафика на две немного разные страницы с товарами, чтобы увидеть, какая из них имеет самый высокий коэффициент конверсии.
• Для того чтобы ваши A/B-тестирования могли дать ценную информацию, рекомендуется, чтобы посещаемость одной страницы составляла более 5 000 посетителей.

Об авторе

Шанель Маллин занимается вопросами роста, экспериментов и оптимизации коэффициента конверсии в Shopify.

Присоединяйтесь к 446 005 предпринимателям, у которых уже есть преимущество.

Получайте бесплатные советы и ресурсы по интернет-маркетингу прямо в ваш почтовый ящик.

Бесплатно. Отпишитесь в любое время.

Спасибо за подписку.

Вы скоро начнете получать бесплатные советы и ресурсы. А пока начните создавать свой магазин с бесплатной 3-дневной пробной версии Shopify.

Что такое А/Б тестирование?

Получайте бесплатные советы и ресурсы по интернет-маркетингу прямо в ваш почтовый ящик.

Бесплатно. Отпишитесь в любое время.

Спасибо за подписку.

Спасибо за подписку.

Хотите создать свой собственный интернет-магазин?

Начните 3-дневную бесплатную пробную версию уже сегодня!

Попробуйте Shopify бесплатно в течение 3 дней, кредитная карта не требуется. Вводя свой email, вы соглашаетесь получать маркетинговые письма от Shopify.

Руководство по AB-тестированию для начинающих

Многомерное тестирование

Калькулятор размера выборки

Калькулятор размера выборки

Снимок головы эксперта

Руководство по AB-тестированию для начинающих

Многомерное тестирование

Калькулятор размера выборки

Калькулятор размера выборки

Снимок головы эксперта