Каталог статей

Введение в машинное обучение

catalogue of articles

Введение в машинное обучение

Термин “машинное обучение” впервые прозвучал в 1950-х годах, когда пионер искусственного интеллекта Артур Самуэль создал первую самообучающуюся систему для игры в шашки. Он заметил, что чем больше система играла, тем лучше она работала.

Благодаря достижениям в области статистики и информатики, а также улучшению наборов данных и росту нейронных сетей, машинное обучение в последние годы получило настоящий взлет.

Сегодня, независимо от того, осознаете вы это или нет, машинное обучение используется повсюду – в автоматическом переводе, распознавании изображений, технологии голосового поиска, самоуправляемых автомобилях и не только.

В этом руководстве мы объясним, как работает машинное обучение и как вы можете использовать его в своем бизнесе. Мы также познакомим вас с инструментами машинного обучения и покажем, как начать работу с машинным обучением без кода.

Читайте дальше, переходите к какому-либо разделу или сохраните этот пост в закладках:

Что такое машинное обучение?

Машинное обучение (МОО) – это направление искусственного интеллекта (ИИ), которое позволяет компьютерам “самообучаться” на основе обучающих данных и совершенствоваться со временем без явного программирования. Алгоритмы машинного обучения способны обнаруживать закономерности в данных и учиться на их основе, чтобы делать собственные прогнозы. Одним словом, алгоритмы и модели машинного обучения учатся благодаря опыту.

При традиционном программировании компьютерный инженер пишет серию инструкций, которые предписывают компьютеру, как преобразовать входные данные в желаемый результат. Инструкции в основном основаны на структуре IF-THEN: когда выполняются определенные условия, программа выполняет конкретное действие.

С другой стороны, машинное обучение – это автоматизированный процесс, который позволяет машинам решать проблемы практически без участия человека и предпринимать действия на основе прошлых наблюдений.

Хотя понятия искусственный интеллект и машинное обучение часто используются как взаимозаменяемые, это две разные концепции. ИИ – это более широкая концепция – машины принимают решения, обучаются новым навыкам и решают проблемы так же, как и люди, в то время как машинное обучение – это подмножество ИИ, которое позволяет интеллектуальным системам автономно учиться новому на основе данных.

Вместо того чтобы программировать алгоритмы машинного обучения для выполнения задач, вы можете подавать им примеры маркированных данных (известные как обучающие данные), что помогает им производить вычисления, обрабатывать данные и автоматически выявлять закономерности.

Проще говоря, главный специалист Google по принятию решений описывает машинное обучение как причудливую машину для маркировки. Если научить машины маркировать такие вещи, как яблоки и груши, показывая им примеры фруктов, то в конечном итоге они начнут маркировать яблоки и груши без посторонней помощи – при условии, что они обучались на подходящих и точных учебных примерах.

Машинное обучение может быть использовано для работы с огромными объемами данных и

Чтобы понять, как работает машинное обучение, вам потребуется изучить различные методы и алгоритмы машинного обучения, которые, по сути, представляют собой наборы правил, используемых машинами для принятия решений. Ниже представлены пять наиболее распространенных и часто используемых типов машинного обучения:

Контролируемое обучение

Алгоритмы контролируемого обучения и модели контролируемого обучения делают прогнозы на основе маркированных обучающих данных. Каждая обучающая выборка включает входные данные и желаемый выход. Алгоритм контролируемого обучения анализирует данные выборки и делает вывод – по сути, обоснованное предположение при определении меток для невидимых данных.

Это самый распространенный и популярный подход к машинному обучению. Он “контролируемый”, потому что этим моделям необходимо подавать вручную помеченные образцы данных для обучения. Данные помечаются, чтобы указать машине, какие шаблоны (похожие слова и изображения, категории данных и т.д.) она должна искать и распознавать связи.

Например, если вы хотите автоматически определять спам, вам нужно будет скормить алгоритму машинного обучения примеры писем, которые вы хотите классифицировать как спам, и другие, которые важны и не должны считаться спамом.

Это подводит нас к следующему пункту – двум типам задач контролируемого обучения: классификации и регрессии.

Классификация в контролируемом машинном обучении

Существует ряд алгоритмов классификации, используемых в контролируемом обучении, среди которых наиболее распространенными являются Support Vector Machines (SVM) и Naive Bayes.

В задачах классификации выходной величиной является категория с конечным числом вариантов. Например, с помощью этой бесплатной предварительно обученной модели анализа настроений вы можете автоматически классифицировать данные как положительные, отрицательные или нейтральные.

Допустим, вы хотите проанализировать разговоры в службе поддержки, чтобы понять эмоции ваших клиентов: довольны они или расстроены после обращения в вашу службу поддержки? Классификатор анализа настроений может автоматически пометить ответы, как показано ниже:

Протестируйте с собственным текстом

Результаты

В этом примере модель анализа настроений помечает разочаровывающий опыт поддержки клиентов как “Негативный”.

Регрессия в контролируемом машинном обучении

В задачах регрессии ожидаемым результатом является непрерывное число. Эта модель используется для прогнозирования величин, таких как вероятность того, что событие произойдет, то есть выходной результат может иметь любое числовое значение в определенном диапазоне. Прогнозирование стоимости недвижимости в определенном районе или распространение COVID19 в определенном регионе – это примеры задач регрессии.

Бесконтрольное обучение

Алгоритмы обучения без подкрепления раскрывают суть и взаимосвязи в немаркированных данных. В этом случае моделям подаются исходные данные, но желаемые результаты неизвестны, поэтому им приходится делать выводы на основе косвенных доказательств, без каких-либо указаний или обучения. Модели не обучены “правильному ответу”, поэтому они должны самостоятельно находить закономерности.

Одним из наиболее распространенных типов обучения без наблюдения является кластеризация, которая заключается в группировке похожих данных. Этот метод в основном используется для исследовательского анализа и может помочь вам обнаружить скрытые закономерности или тенденции.

Например, отдел маркетинга компании, занимающейся электронной коммерцией, может использовать кластеризацию для улучшения сегментации клиентов. Учитывая набор данных о доходах и расходах, модель машинного обучения может определить группы клиентов со схожим поведением.

Сегментация позволяет маркетологам разрабатывать стратегии для каждого ключевого рынка. Они могут предложить акции и скидки для клиентов с низким уровнем дохода, которые много тратят на сайте, как способ поощрения лояльности и улучшения удержания.

Полусамостоятельное обучение

При полусамостоятельном обучении обучающие данные делятся на две части. Небольшое количество маркированных данных и больший набор немаркированных данных.

В этом случае модель использует помеченные данные в качестве входных данных, чтобы сделать выводы о немеченых данных, обеспечивая более точные результаты, чем обычные модели контролируемого обучения.

Этот подход набирает популярность, особенно для задач с большими наборами данных, таких как классификация изображений. Полуконтролируемое обучение не требует большого количества меченых данных, поэтому его быстрее настроить, оно более рентабельно, чем методы контролируемого обучения, и идеально подходит для предприятий, получающих огромные объемы данных.

Обучение с применением подкрепления

Обучение с подкреплением (RL) изучает, как программный агент (или компьютерная программа) должен действовать в той или иной ситуации, чтобы максимизировать вознаграждение. Короче говоря, модели машинного обучения с усилением пытаются определить наилучший возможный путь, который они должны выбрать в данной ситуации. Они делают это методом проб и ошибок. Поскольку обучающих данных нет, машины учатся на собственных ошибках и выбирают действия, которые приводят к наилучшему решению или максимальному вознаграждению.

Этот метод машинного обучения в основном используется в робототехнике и играх. Видеоигры демонстрируют четкую взаимосвязь между действиями и результатами и могут измерять успех путем ведения счета. Поэтому они являются отличным способом для улучшения алгоритмов обучения с подкреплением.

Глубокое обучение (DL)

Модели глубокого обучения могут быть контролируемыми, полуконтролируемыми или неконтролируемыми (или сочетать в себе все три варианта). Это передовые алгоритмы машинного обучения, используемые такими технологическими гигантами, как Google, Microsoft и Amazon, для работы целых систем и таких вещей, как самоуправляемые автомобили и умные помощники.

Глубокое обучение основано на искусственных нейронных сетях (ИНС) – типе компьютерной системы, которая имитирует работу человеческого мозга. Алгоритмы глубокого обучения или нейронные сети строятся из нескольких слоев взаимосвязанных нейронов, что позволяет нескольким системам работать одновременно и поэтапно.

Когда модель получает входные данные – это может быть изображение, текст, видео или аудио – и ее просят выполнить задачу (например, классификация текста с помощью машинного обучения), данные проходят через каждый слой, позволяя модели постепенно обучаться. Это похоже на человеческий мозг, который развивается с возрастом и опытом!

Глубокое обучение широко распространено в распознавании изображений, распознавании речи и обработке естественного языка (NLP). Модели глубокого обучения обычно лучше других алгоритмов машинного обучения справляются со сложными задачами и массивными наборами данных. Однако для их обучения, как правило, требуются миллионы и миллионы обучающих данных, поэтому их обучение занимает достаточно много времени.

Как работает машинное обучение

Для того чтобы понять, как работает машинное обучение, сначала нужно знать, что такое “метка”. Например, для обучения распознаванию изображений вы будете помечать фотографии собак, кошек, лошадей и т.д. соответствующими названиями животных. Это также называется маркировкой данных.

При работе с машинным обучением анализу текста вы подаете модели анализа текста обучающие данные, а затем помечаете их в зависимости от того, какой вид анализа вы проводите. Например, если вы работаете с анализом настроений, вы подаете модели отзывы клиентов и обучаете модель, помечая каждый комментарий как положительный, нейтральный и отрицательный.

Взгляните на приведенную ниже диаграмму:

В самом упрощенном виде процесс машинного обучения включает в себя три этапа:

Подача модели машинного обучения обучающих входных данных. В нашем случае это могут быть комментарии клиентов из социальных сетей или данные службы поддержки клиентов.

Пометить обучающие данные желаемым результатом. В данном случае нужно указать модели анализа настроений, является ли каждый комментарий или фрагмент данных положительным, нейтральным или отрицательным. Модель преобразует учебные данные в текстовые векторы – числа, представляющие характеристики данных.

  1. Проверьте свою модель, предоставив ей тестовые (или невидимые) данные. Алгоритмы обучаются ассоциировать векторы характеристик с тегами на основе образцов, помеченных вручную, а затем учатся делать прогнозы при обработке невидимых данных.
  2. Если после тестирования ваша новая модель работает в соответствии с вашими стандартами и критериями, она готова к работе с любыми новыми данными. Если она работает неточно, необходимо продолжить обучение. Более того, поскольку человеческий язык и язык конкретной отрасли меняется, вам может потребоваться постоянное обучение модели с использованием новой информации.
  3. Примеры использования машинного обучения

Применения и случаи использования машинного обучения практически бесконечны, особенно по мере того, как мы все чаще работаем дома (или имеем гибридные офисы), становимся более привязанными к своим смартфонам и используем технологии машинного обучения для передвижения.

Машинное обучение уже регулярно используется в финансовой сфере, здравоохранении, гостиничном бизнесе, правительстве и других областях. Предприятия начинают понимать преимущества использования инструментов машинного обучения для улучшения процессов, получения ценных сведений из неструктурированных данных и автоматизации задач, для выполнения которых в противном случае потребовались бы часы утомительной ручной работы (которая обычно дает гораздо менее точные результаты).

Например, UberEats использует машинное обучение для оценки оптимального времени для водителей, забирающих заказы на еду, а Spotify использует машинное обучение для предложения персонализированного контента и персонализированного маркетинга. А компания Dell использует машинное обучение анализа текста, чтобы сэкономить сотни часов на анализе тысяч опросов сотрудников, чтобы услышать голос сотрудника (VoE) и повысить удовлетворенность сотрудников.

Как, по-вашему, Google Maps предсказывает пики трафика, а Netflix создает персонализированные рекомендации по фильмам и даже информирует о создании нового контента? Конечно же, с помощью машинного обучения.

Существует множество различных применений машинного обучения, которые могут принести пользу вашему бизнесу бесчисленными способами. Вам просто нужно определить стратегию, которая поможет вам решить, как лучше всего внедрить машинное обучение в существующие процессы. Тем временем, вот некоторые распространенные случаи использования машинного обучения и его применения, которые могут натолкнуть на некоторые идеи:

Мониторинг социальных сетей

Обслуживание клиентов и их удовлетворенность

Распознавание изображений

Обслуживание клиентов и удовлетворенность клиентов

Машинное обучение позволяет интегрировать мощные инструменты анализа текста с инструментами поддержки клиентов, что позволяет анализировать электронные письма, чаты и всевозможные внутренние данные прямо на ходу. Вы можете использовать машинное обучение для маркировки заявок на поддержку и направления их в нужные команды или автоматического ответа на распространенные запросы, чтобы никогда не оставлять клиентов без внимания.

Виртуальные помощники

Распознавание образов

Распознавание изображений помогает компаниям идентифицировать и классифицировать изображения. Например, технология распознавания лиц используется в качестве формы идентификации, от разблокировки телефонов до осуществления платежей.

Рекомендации по продуктам

Виртуальные помощники

Виртуальные помощники, такие как Siri, Alexa, Google Now, используют машинное обучение для автоматической обработки и ответа на голосовые запросы. Они быстро сканируют информацию, запоминают связанные запросы, учатся на основе предыдущих взаимодействий и отправляют команды другим приложениям, чтобы те могли собрать информацию и дать наиболее эффективный ответ.

Торговля на фондовом рынке

Рекомендации по продуктам

Обучение по ассоциативным правилам – это метод машинного обучения, который можно использовать для анализа покупательских привычек в супермаркете или на сайтах электронной коммерции. Он работает путем поиска взаимосвязей между переменными и нахождения общих ассоциаций в транзакциях (продукты, которые потребители обычно покупают вместе). Эти данные затем используются для стратегий размещения товаров и рекомендаций аналогичных продуктов.

Медицинская диагностика

Торговля на фондовом рынке

Алгоритмы машинного обучения могут быть обучены выявлять торговые возможности, распознавая закономерности и поведение в исторических данных. Человеком часто движут эмоции.

Мониторинг социальных сетей

Машинное обучение стимулирует инновации во многих областях, и каждый день мы наблюдаем появление новых интересных примеров использования. В бизнесе общие преимущества машинного обучения следующие:

С помощью машинного обучения вы можете отслеживать упоминания о вашем бренде в социальных сетях и немедленно определять, требуют ли клиенты срочного внимания. Обнаруживая упоминания от рассерженных клиентов в режиме реального времени, вы можете автоматически отмечать отзывы клиентов и сразу же реагировать на них. Вы также можете проанализировать взаимодействие со службой поддержки в социальных сетях и оценить степень удовлетворенности клиентов (CSAT), чтобы понять, насколько хорошо работает ваша команда.

Более точные результаты, чем у человека. Модели машинного обучения обучаются на определенном количестве помеченных данных и используют их для прогнозирования невидимых данных. На основе этих данных машины определяют набор правил, которые они применяют ко всем наборам данных, что помогает им выдавать последовательные и точные результаты. Нет необходимости беспокоиться о человеческой ошибке или врожденной предвзятости. Кроме того, вы можете обучить инструменты в соответствии с потребностями и критериями вашего бизнеса.

Работает в режиме реального времени, 24 часа в сутки 7 дней в неделю. Модели машинного обучения могут автоматически анализировать данные в режиме реального времени, позволяя вам немедленно выявлять негативные мнения или срочные тикеты и принимать меры.

Независимо от того, хотите ли вы создать или купить инструменты машинного обучения, вот несколько лучших из них:

Лучшие SaaS-инструменты машинного обучения

Некоторые из лучших SaaS-инструментов машинного обучения на рынке:

MonkeyLearn

BigML

IBM Watson

Google Cloud ML

А с помощью MonkeyLearn Studio вы можете продвинуть свой анализ еще дальше, чтобы объединить ваши анализы для совместной работы. Это плавный процесс, позволяющий пройти путь от сбора данных до анализа и поразительной визуализации в единой, простой в использовании приборной панели.

Взгляните на этот аспектный анализ настроений, проведенный студией MonkeyLearn Studio на основе онлайн-отзывов о компании Zoom:

Аспектный анализ настроений сначала классифицирует мнения клиентов по “аспектам” (темам или предметам): Удобство использования, Надежность, Цена и т.д. Затем каждый комментарий анализируется на предмет того, является ли он положительным, отрицательным или нейтральным. Это позволяет увидеть, какие аспекты вашего бизнеса особенно позитивны, а какие – негативны.

Другие методы, такие как классификация намерений, особенно полезны для входящих электронных писем или запросов в социальных сетях, чтобы автоматически показать, почему клиент пишет. Кроме того, справа внизу вы можете увидеть облака слов, которые показывают наиболее употребляемые и наиболее важные слова и фразы по настроению.

BigML

Цель BigML – соединить все потоки данных и внутренние процессы вашей компании, чтобы упростить сотрудничество и результаты анализа в рамках всей организации. Компания специализируется на таких отраслях, как аэрокосмическая, автомобильная, энергетическая, развлекательная, финансовые услуги, продукты питания, здравоохранение, IoT, фармацевтика, транспорт, телекоммуникации и другие, поэтому многие из ее инструментов готовы к работе прямо из коробки.

Вы можете использовать предварительно обученные модели или обучить свои собственные с помощью классификации и регрессии, а также прогнозирования временных рядов.

MonkeyLearn

IBM Watson – это джаггернаут машинного обучения, предлагающий адаптируемость к большинству отраслей и возможность построения в огромных масштабах в любом облаке.

Watson Speech-to-Text – один из отраслевых стандартов для преобразования устной речи в текст в режиме реального времени, а Watson Language Translator – один из лучших инструментов перевода текста на рынке.

MonkeyLearn – это мощная SaaS-платформа машинного обучения с набором инструментов для анализа текста, позволяющая в режиме реального времени получать глубокие знания и мощные результаты, чтобы вы могли принимать решения, основанные на данных, на основе любых текстовых данных: взаимодействие с клиентами, комментарии в социальных сетях, отзывы в Интернете, электронные письма, чаты и многое другое.

Google Cloud ML

Google Cloud ML – это SaaS-решение для анализа изображений и текста, которое легко подключается ко всем инструментам Google: Gmail, Google Sheets, Google Slides, Google Docs и другими.

Google AutoML Natural Language – один из самых продвинутых инструментов анализа текста на рынке, а AutoML Vision позволяет автоматизировать обучение пользовательских моделей анализа изображений для достижения высочайшей точности, независимо от ваших потребностей.

Просто подключите свои данные и используйте одну из предварительно обученных моделей машинного обучения, чтобы начать их анализ. Вы даже можете создавать собственные модели машинного обучения без кода за несколько простых шагов и интегрировать их с приложениями, которые вы используете каждый день, такими как Zendesk, Google Sheets и другими.

Библиотеки машинного обучения с открытым исходным кодом представляют собой коллекции готовых моделей и компонентов, которые разработчики могут использовать для создания собственных приложений, вместо того чтобы писать код с нуля. Они бесплатны, гибки и могут быть настроены в соответствии с конкретными потребностями.

К числу наиболее популярных библиотек с открытым исходным кодом для машинного обучения относятся:

Scikit-learn

PyTorch

Kaggle

NLTK

Созданная более десяти лет назад (и приобретенная Google в 2017 году), компания Kaggle придерживается философии обучения на практике и известна своими соревнованиями, в которых участники создают модели для решения реальных проблем. Ознакомьтесь с этим онлайн-курсом машинного обучения на Python, который поможет вам построить свою первую модель практически мгновенно.

TensorFlow

TensorFlow

Scikit-learn

Заключительное замечание

Monkeylearn – это простая в использовании SaaS-платформа, которая позволяет создавать модели машинного обучения для выполнения задач анализа текста, таких как классификация тем, анализ настроений, извлечение ключевых слов и т.д.

PyTorch

Взгляните на публичную панель MonkeyLearn Studio, чтобы увидеть, как легко использовать все инструменты анализа текста с единой, поражающей воображение приборной панели. Играйте с данными и ищите их по дате, категории и т.д.

Готовы ли вы сделать первые шаги с помощью решения MonkeyLearn, не требующего кода?

Машинное обучение

Что такое ML?

Типы машинного обучения

Диаграмма, показывающая развитие искусственного интеллекта, машинного обучения и глубокого обучения с 1950-х годов до наших дней.

Похожие записи:

  1. Введение в машинное обучение
  2. Машинное обучение
  3. Кодирование на языке Lua для детей
  4. Вспоминая Джека Рэндалла
Exit mobile version