Введение

Подход к оптимизации, известный как A/B-тестирование, часто используется для определения того, как измененная переменная влияет на вовлеченность аудитории или пользователей. Для повышения эффективности кампаний и целевых коэффициентов конверсии этот подход часто используется в маркетинге, веб-дизайне, разработке продуктов и пользовательского опыта.

Модели обучаются с помощью машинного обучения, чтобы понять связь между входными и выходными данными. После этого модели машинного обучения могут быть использованы для решения сложных задач, таких как категоризация или распознавание данных или прогнозирование тенденций.

A/B-тестирование и машинное обучение имеют различные сценарии использования, но, тем не менее, они могут быть использованы для улучшения друг друга. Будь то оценка новых моделей или получение знаний из обучающих данных, A/B-тестирование может быть полезной стратегией при оптимизации алгоритмов машинного обучения. Кроме того, A/B-тестирование может быть автоматизировано с помощью алгоритмов машинного обучения, что делает эксперименты более эффективными, чем человеческие методы.

В этой статье мы подробно обсудим A/B-тестирование.

Как работает А/Б тестирование?

Оценивая вовлеченность аудитории или пользователей, А/Б-тестирование, своего рода сплит-тестирование, часто используется для улучшения определенных переменных или аспектов. Этот метод часто применяется для оптимизации маркетинговых инициатив или цифровых активов, таких как веб-сайты. A/B-тестирование предполагает изменение конкретной переменной, например, заголовка, картинки или расположения элементов. Контрольная версия и отредактированная версия показываются выборке аудитории в соотношении 50% на 50%. Старая версия будет использоваться половиной трафика, а обновленная версия – другой половиной. Статистикой, используемой для сравнения версий через заданное время, является вовлеченность или успешное достижение заданной цели.

Выборка аудитории для обеих версий выбирается случайным образом, и A/B-тестирование проводится одновременно в течение заранее определенного времени. В качестве иллюстрации можно привести A/B-тест для маркетинговой кампании. Изменения вносятся в какой-либо компонент, например, цвет кнопки, изображение заголовка или текст заголовка. Затем свежая измененная версия и контрольная версия одновременно представляются выборке аудитории в течение определенного времени.

Мы можем использовать A/B-тестирование для уточнения сообщений и дизайна маркетинговых кампаний, улучшения пользовательского опыта для повышения коэффициента конверсии и всегда учитывать вовлеченность пользователей при оптимизации таких активов, как веб-страницы.

Сплит-тестирование: Зачем оно нужно?

Большинство людей, которые посещают веб-страницу во время A/B-тестирования, как правило, видят контрольный, или оригинальный вариант (в данном случае синюю кнопку), в то время как остальные видят вариацию, или тестовый вариант (желтую кнопку). A/B-тест собирает данные о действиях пользователей при выборе между контрольным и вариативным вариантом, в отличие от качественного тестирования или исследования, где люди предсказывают свои действия.

Существуют две фундаментальные концепции экспериментов, о которых должен знать каждый, не слишком углубляясь в математику проведения A/B-тестирования: Случайный выбор и Статистическая значимость.

Случайный выбор – Пользователи, которые видят вариацию, должны быть репрезентативными для целевой группы пользователей, чтобы можно было доверять полученным результатам; например, все пользователи должны быть людьми, желающими приобрести пару обуви. В большинстве случаев количество пользователей равномерно распределяется между контрольной и вариативной группами. Именно это мы имеем в виду, когда используем термин “случайный выбор”, который обычно применяется в тестировании для устранения предвзятости. Чтобы снизить риск, помните, что иногда лишь небольшая часть клиентов будет просматривать тестовую вариацию.

Статистическая значимость – Мера вероятности результата, независимо от того, является ли он правильным или просто результатом удачи или случайности, называется статистической значимостью. Если аналитик, например, утверждает, что результат теста, показывающий 5%-ное увеличение коэффициента конверсии, имеет уровень статистической значимости 90%, это означает, что вы можете быть уверены в достоверности результатов теста на 90%.

А/Б тестирование и машинное обучение

Машинное обучение, в отличие от обычного A/B-тестирования, способно улучшить ваши маркетинговые инициативы. Оно упрощает для маркетологов тестирование своих продуктов и одновременно улучшает пользовательский опыт.

В зависимости от того, как вы закодировали данные (например, выбор одного варианта в 75% случаев, а выбор другого варианта в 25% случаев), алгоритмы машинного обучения могут быть использованы для выявления закономерностей в большом количестве данных. Для такого рода распознавания образов машинное обучение уже широко используется в таких областях, как распознавание лиц и автономные транспортные средства.

Машинное обучение упрощает проведение A/B-тестирования:

1. Доступность данных машинного обучения и их использование в маркетинге упростились благодаря технологическому прогрессу. Например, десять лет назад было бы сложнее найти программное обеспечение, которое выполняло бы для вас A/B-тестирование, но сегодня системы управления контентом (CMS) часто имеют такую функцию.
2. Машинное обучение выбирает и анализирует такие каналы, как платформы социальных сетей, чтобы помочь пользователю найти ценных потребителей, гарантируя, что A/B-тест будет отправлен именно тем клиентам, которым нужно.
3. Сильная природа машинного обучения может помочь в автоматизации A/B-тестирования. Кроме того, теперь маркетологи могут более точно изучать результаты с помощью алгоритмов машинного обучения.

Когда использовать A/B-тестирование с помощью ML?

Несмотря на то, что A/B-тестирование и машинное обучение имеют разные цели и методологии, есть несколько способов, как их сочетание может обеспечить эффективные результаты. Создание и развертывание моделей машинного обучения может быть улучшено и обосновано благодаря использованию A/B-тестирования в качестве метода оптимизации. Само А/Б-тестирование может быть улучшено и автоматизировано с помощью методов машинного обучения.

При использовании A/B-тестирования с машинным обучением новые модели машинного обучения следует тестировать и совершенствовать, автоматизировать A/B-тестирование для ускорения и улучшения процедуры, а при создании или согласовании алгоритмов выяснять важные детали о наборах данных и переменных.

A/B-тестирование для использования машинного обучения – Тестирование и совершенствование моделей машинного обучения возможно с использованием подхода A/B-тестирования. Этот метод можно использовать для определения того, превосходит ли новая модель существующую. Для того чтобы сравнить контрольную модель с новой моделью, организации необходимо выбрать показатель. Будет определена эффективность этого показателя, а также показано, чем отличаются друг от друга два развертывания. Необходимо будет одновременно развернуть две модели на выборке данных в течение заранее определенного времени. Контрольная модель будет использоваться половиной пользователей, а новая модель – другой половиной.

Использование машинного обучения для автоматизации A/B-тестирования – A/B-тестирование может быть дополнено и улучшено машинным обучением в дополнение к ручным экспериментам. Чтобы A/B-тестирование было эффективным, его необходимо проводить часто, чтобы оптимизация была постоянной. Для этого может потребоваться много труда и ресурсов. Автоматизация A/B-тестирования позволяет снизить потребность в ресурсах при проведении постоянных или многочисленных тестов. Процесс A/B-тестирования упрощается с помощью методов машинного обучения, которые используются во многих коммерчески доступных приложениях.

A/B-тестирование для поиска информации о наборе данных – Для того чтобы полностью понять и обработать различные переменные и определить связь между входными и выходными данными, создаются модели машинного обучения. A/B-тесты очень полезны для поиска причинно-следственных связей между наборами данных и для понимания того, как изменения одной переменной могут повлиять на результат.

Поэтому специалисты по анализу данных могут воспользоваться результатами предыдущих A/B-тестирований при разработке или улучшении модели машинного обучения. Результаты A/B-тестирования дают четкое представление о динамичной живой среде, что делает их очень полезными при разработке моделей машинного обучения. Эти знания могут быть использованы специалистами по исследованию данных для модификации моделей в соответствии с конкретным случаем использования.

На что следует обратить внимание при проведении А/Б-тестов?

Нелогичная идея – Гипотеза – это единственное, что движет всем экспериментом. Что должно быть изменено? Что оправдывает изменение, какие результаты прогнозируются и т.д.? Вероятность того, что тест будет успешным, снижается, если вы начинаете с нелогичной идеи.

Тестирование слишком большого количества модулей одновременно – По мнению экспертов отрасли, не следует проводить много тестов одновременно. При одновременном тестировании слишком большого количества переменных может быть сложно определить, какой аспект способствовал успеху или неудаче. Поэтому для эффективного A/B-тестирования очень важно определить приоритетность тестов.

Пренебрежение внешним аспектом – Чтобы получить значимые результаты, тесты должны проводиться в соответствующее время. Например, несправедливо сравнивать посещаемость сайта в дни с наибольшей посещаемостью с днями с наименьшей посещаемостью по внешним причинам, таким как продажи или отпуск.

Заключение

В этой статье мы узнали все об A/B-тестировании: что такое A/B-тестирование и как оно связано с машинным обучением, а также подробно рассмотрели концепцию сплит-тестирования.

Примечание редактора: Heartbeat – это онлайновое издание и сообщество, ориентированное на вкладчиков и предоставляющее первоклассные образовательные ресурсы для специалистов в области науки о данных, машинного обучения и глубокого обучения. Мы стремимся поддерживать и вдохновлять разработчиков и инженеров из всех слоев общества.

Heartbeat является независимой редакцией, спонсируется и публикуется Comet, платформой MLOps, которая позволяет ученым, изучающим данные, и командам специалистов по машинному обучению отслеживать, сравнивать, объяснять и оптимизировать свои эксперименты. Мы платим нашим вкладчикам и не продаем рекламу.

Если вы хотите внести свой вклад, перейдите по ссылке “Призыв к участию”. Вы также можете подписаться на нашу еженедельную рассылку (Deep Learning Weekly), заглянуть в блог Comet, присоединиться к нам в Slack и следить за Comet в Twitter и LinkedIn, чтобы узнать о ресурсах, событиях и многом другом, что поможет вам быстрее создавать лучшие ML-модели.