Машинное обучение (ML) – полное руководство
Машинное обучение (ML) – это использование компьютерных алгоритмов и статистических методов для того, чтобы помочь компьютерам учиться и принимать решения на основе данных без контроля со стороны человека.
Машинное обучение – это направление искусственного интеллекта (ИИ) и один из основных компонентов науки о данных.
Искусственный интеллект VS машинное обучение VS глубокое обучение
Искусственный интеллект, машинное обучение и глубокое обучение часто используются как взаимозаменяемые понятия, но это не одно и то же.
- Искусственный интеллект, или ИИ, является зонтичным термином и относится к науке, изучающей способы построения компьютерных алгоритмов, которые обучаются и решают проблемы аналогично когнитивным функциям человека.
- Машинное обучение, или ML, является подмножеством искусственного интеллекта (ИИ). Оно относится к набору алгоритмов, которые способны обучаться на основе данных без явного программирования.
- Глубокое обучение, или DL, является подмножеством машинного обучения (ML). Оно относится к набору алгоритмов, которые пытаются имитировать человеческие нейронные системы, также известные как нейронные сети.
Примеры машинного обучения
Машинное обучение может использоваться в любой области, где задействованы данные.
Ниже приведены реальные примеры применения машинного обучения:
Распознавание изображений
Globalforestwatch использует ML на спутниковых изображениях, чтобы отличить пальмовые плантации от лесов, чтобы определить потерю биоразнообразия в масштабе. Прочтите эту интересную статью о мониторинге вырубки лесов.
Источник
Классификация
Документы, изображения или видео часто классифицируются с помощью машинного обучения (кластеры документов, рекомендательные системы).
Прогнозирование
Facebook использует машинное обучение для прогнозирования вероятности того, что человек нажмет на рекламное объявление (источник).
Источник
Информационный поиск
Поисковые системы могут использовать машинное обучение для лучшего удовлетворения потребностей пользователей, а также для повышения эффективности поиска, индексации и предоставления контента.
Источник: Машинное обучение для информационного поиска
Генерация изображений
Два ярких примера генерации изображений с помощью машинного обучения: this-person-does-not-exist, генерирующий случайные человеческие лица, и Imagen, генерирующий изображения из текста.
Вот пример с использованием фильма DALL-E
Источник: openai
Генерация видео
Приложение Facebook “Make-A-Video” генерирует видео из текста.
Генерация музыки
Soundraw.io создает музыку с помощью систем машинного обучения.
Общие задачи машинного обучения
Ниже приведены общие задачи машинного обучения, о которых вам может быть интересно узнать.
- Обработка естественного языка (NLP)
- Классификация
- Кластеризация
- Прогнозирование
Как изучать машинное обучение?
Машинному обучению могут научиться новички, не имеющие ни программистского, ни математического образования. Навыки математики, статистики и программирования можно приобрести в процессе специализированного обучения.
Чтобы освоить машинное обучение, вам необходимо:
- Сосредоточиться на краткосрочном достижимом обучении. Вам не нужно в одночасье становиться специалистом по данным в Google. В течение года вы, безусловно, сможете хорошо понять основы машинного обучения.
- Преодолеть ментальные барьеры. Люди любят пропагандировать, что машинное обучение – это невероятно сложный мир, предназначенный только для гениев мира. На самом деле, вы можете использовать некоторые возможности машинного обучения уже на ранних этапах обучения.
- Выберите язык программирования. Python, R, Java, C… Список языков программирования, которые можно использовать для Machine Learning, очень велик. Python удобен большим сообществом и множеством доступных пакетов. R, возможно, лучше для математических модулей и приложений. C лучше по производительности, но имеет невероятно крутую кривую обучения.
- Найдите курс или программу. Некоторые предпочитают обычные академические программы в университетах. Я предпочитаю онлайн-курсы, желательно на платформе, которая имеет полные программы, охватывающие программирование и статистику, чтобы со временем улучшить ваши навыки машинного обучения. DataCamp, Coursera, Udemy, EdX или даже YouTube могут стать союзниками.
- Следуйте графику обучения, которого вы сможете придерживаться как минимум в течение года. Изучение машинного обучения требует времени. Находите время каждый день, каждую неделю, чтобы учиться структурированно. Записывайте полученные знания.
- Останавливайтесь и пробуйте идеи самостоятельно. Работа над собственными проектами на ранних этапах поможет вам сохранить мотивацию и обеспечит раннюю окупаемость инвестиций. Даже если поначалу это будет не самое лучшее машинное обучение, это все равно прогресс, которым можно гордиться.
Машинное обучение может быть полезным для любого человека
Мой самый простой совет по изучению машинного обучения – перестать считать, что машинное обучение предназначено только для статистиков или инженеров. Это просто неправда. Машинное обучение доступно каждому, кто достаточно мотивирован. Просто посмотрите этот пост Сантьяго:
Найти курс по машинному обучению
Чтобы начать изучать машинное обучение, нужно найти курс, который позволит вам начать с самого начала.
Ресурсы для изучения машинного обучения
-
Джейк ВандерПлас Джейсон Браунли Жан де Ньяндви Андрес Сегура-Тиноко
Типы машинного обучения
Существует 5 основных типов машинного обучения:
- контролируемое обучение
- Неконтролируемое обучение
- Полусамостоятельное обучение
- Самоконтролируемое обучение
- Обучение с усилением
Что такое контролируемое обучение?
Под контролируемым обучением понимается алгоритм, используемый в машинном обучении для подготовки моделей на основе маркированных данных. Контролируемое обучение чаще всего используется для решения задач классификации и регрессии.
- Примеры использования: Классификация изображений, удержание клиентов
- Примеры использования: Маркетинговое прогнозирование, прогнозирование погоды
- Примеры использования: Рекомендательные системы, целевой маркетинг, кластеры запросов, сегментация клиентов.
- Примеры использования: производительность модели
- Обычные наименьшие квадраты (OLS)
- Алгоритмы регуляризации
- Гребневая регрессия
- Регрессия Лассо
- Эластичная сеть
- Неотрицательная матричная факторизация (NMF)
- Линейный дискриминантный анализ (LDA)
- T-распределенное стохастическое соседнее встраивание (t-SNE)
- Обобщенный дискриминантный анализ (GDA)
- Автоэнкодер
- Ядро PCA
- ID3
- C4.5
- Деревья классификации и регрессии (CART)
- CHAID
- MARS
- Случайный лес
- Бутстреп-агрегация (Bagging)
- Обобщение по стекам (Blending)
- Конволюционные нейронные сети (CNN)
- Рекуррентные нейронные сети (RNN)
- Длительная кратковременная память (LSTM)
- Глубокие сети убеждений (DBN)
- Автоэнкодер
- Глубокие машины Больцмана (DBM)
- Сеть радиальных базисных функций (RBFN)
- Перцептрон
- Обратное распространение
- Наивный Байес
- Гауссовский наивный байес
Наука о данных и процесс машинного обучения
Процесс машинного обучения – это итеративный процесс, которому следуют специалисты по обработке данных, чтобы улучшить процесс принятия решений за счет лучшего анализа, визуализации, интерпретации и моделирования данных.
The Data Science Process by Chanin Nantasenamat
В зависимости от роли, процесс может отличаться, но в целом следование этому “типичному” процессу помогает повысить уверенность в результатах.
- Определение проблемы
- Сбор данных
- Подготовка данных
- Эксплораторный анализ данных (EDA)
- Разработка признаков и выбор признаков
- Разделение на обучающие и тестовые наборы
- Настройка гиперпараметров
- Перекрестная валидация
- Обучение модели
- Кривая “точность-отдача
- ROC-кривая
Кто может использовать машинное обучение?
Книги по машинному обучению
За кем следить в сообществе машинного обучения?
Вот удивительный список людей, которые формируют сообщество машинного обучения:
Заключение
В этом введении в машинное обучение мы узнали, что такое машинное обучение и чем оно отличается от ИИ. Мы также рассмотрели типы машинного обучения и какие алгоритмы могут быть использованы для каждого типа.
Наконец, мы увидели, что такое процесс науки о данных и почему он важен.
Теперь я очень надеюсь, что вы продолжите изучать машинное обучение и будете делиться своими успехами по мере продвижения. Удачи.
Что такое неконтролируемое обучение?
Бесподчиненное обучение – это один из методов, используемых в машинном обучении для обучения моделей путем поиска закономерностей в немаркированных данных. Неконтролируемое обучение чаще всего используется для решения задач кластеризации и уменьшения размерности.
-
обучение
Что такое полусамостоятельное обучение?
Полуконтролируемое обучение имеет признаки, общие как для контролируемого, так и для неконтролируемого обучения. При полусамостоятельном обучении часть обучающих данных маркируется, а остальные – нет. Полусамостоятельное обучение чаще всего используется в задачах, связанных с большими наборами данных, когда маркировка всех данных требует слишком много ресурсов.
Что такое самоконтролируемое обучение?
В то время как полусамостоятельное обучение требует, чтобы хотя бы некоторые точки данных были помечены, самоконтролируемое обучение не требует помеченных данных. Вместо этого оно опирается на базовую структуру данных для составления прогнозов.
Что такое обучение с применением подкрепления?
Обучение с подкреплением – это тип машинного обучения, при котором модели обучаются принимать последовательность решений, максимизируя общее вознаграждение. Чаще всего оно используется в искусственном интеллекте и робототехнике.
Алгоритмы машинного обучения
Существует множество различных алгоритмов машинного обучения, и некоторые из них относятся к нескольким категориям, но я создал mind-map, чтобы помочь визуализировать наиболее важные алгоритмы машинного обучения.
Это просто для получения общей картины машинного обучения и не должно использоваться как источник истины. Например, логистическая регрессия может быть как алгоритмом классификации, так и алгоритмом регрессии.
Ниже приведен формат таблицы содержания со ссылками на алгоритмы, о которых я писал.