Введение в неконтролируемое машинное обучение

Задумывались ли вы о том, как ребенок может различать яблоки и апельсины, когда он не знает, что они на самом деле, как они на вкус, но в зависимости от цвета и размера он может разделить их на 2 группы без какой-либо предварительной информации? Можем ли мы ожидать того же сегментирования, что и ребенок, от машин, если получить информацию о цвете и размере? Посмотрим, как мы можем это сделать! В этой теме мы собираемся узнать о неконтролируемом машинном обучении.

«Машинное обучение», как говорит сам термин, позволяет нам учить машины выполнять задачи, аналогичные человеческим, и тому, как люди учатся у кого-то или с помощью наблюдения. То же, что и люди, способ обучения машины.

Машинное обучение можно разделить на 3 части:

  1. Контролируемое обучение
  2. Неконтролируемое обучение
  3. Усиление обучения

Типы машинного обучения

Обучение с подкреплением - это обучение, основанное на агентах, которое включает вознаграждение и наказание за действия, предпринятые агентом. Конечной целью является максимизация общего вознаграждения в процессе обучения из окружающей среды.

Когда у вас есть входные-выходные данные, короче говоря, помеченные, например, данные о росте и весе, чтобы определить, является ли человек мужчиной или женщиной, могут рассматриваться как контролируемое учебное задание (от кого-то в случае людей).

Но во многих реальных сценариях эти помеченные или аннотированные данные не всегда доступны. Много раз мы сталкиваемся с проблемами сегментирования объектов на основе их свойств, которые явно не упоминаются. Как решить эту проблему? Что ж, решение без обучения - это решение.

Википедия говорит, что неконтролируемое обучение - это тип самоорганизующегося обучения на иврите, которое помогает находить ранее неизвестные шаблоны в наборе данных без ранее существующих меток. В обучении без учителя у нас нет никакой информации о метках, но мы все же хотим получить представление о данных, основанных на их различных свойствах.

Типы неконтролируемого машинного обучения

Задачи обучения без присмотра можно в целом разделить на 3 категории:

  1. Ассоциация правил майнинга
  2. Кластеризация
  3. Система рекомендаций

1. Ассоциация Правило Майнинг

Когда у нас есть транзакционные данные для чего-либо, это могут быть данные о проданных продуктах или любые транзакционные данные по этим вопросам, я хочу знать, существуют ли какие-либо скрытые отношения между покупателем и продуктами или продуктом к продукту, так что я могу каким-то образом использовать эту информацию увеличить мои продажи. Извлечение этих отношений является ядром Ассоциации Rule Mining. Мы можем использовать алгоритмы роста AIS, SETM, Apriori, FP для извлечения отношений.

2. Кластеризация

Кластеризация может быть выполнена с любыми данными, где у нас нет информации о классе или метке. Мы хотим сгруппировать данные таким образом, чтобы наблюдения с аналогичными свойствами принадлежали одному кластеру / группе, а расстояние между кластерами должно быть максимальным. В то время как внутрикластерное расстояние должно быть минимальным. Мы можем сгруппировать данные избирателя, чтобы узнать мнение о правительстве или кластеризовать продукты, основываясь на их функциях и использовании. Сегментируйте население на основе характеристик дохода или используйте кластеризацию в продажах и маркетинге.

Мы можем использовать K-Means, K-Means ++, K-Medoids, Fuzzy C-means (FCM),

Максимизация ожиданий (EM), Агломеративная кластеризация, DBSCAN, типы иерархической кластеризации как одиночная связь, полная связь, медианная связь, алгоритмы метода Уорда для кластеризации.

3. Система рекомендаций

Система рекомендаций в основном является расширением интеллектуального анализа правил ассоциации в том смысле, что в ARM мы извлекаем отношения, а в системе рекомендаций мы используем эти отношения, чтобы рекомендовать что-то, что имеет более высокие шансы принятия конечным пользователем. Системы рекомендаций приобрели популярность после того, как Netflix объявил главный приз в размере 1 000 000 долларов США в 2009 году.

Рекомендательные системы работают с транзакционными данными, будь то финансовая транзакция, электронная коммерция или продуктовый магазин. В настоящее время гигантские игроки в отрасли электронной коммерции привлекают клиентов, предлагая индивидуальные рекомендации для каждого пользователя на основе их прошлой истории покупок и аналогичных данных о покупках у других пользователей.

Методы разработки Рекомендационных систем можно разделить на совместную фильтрацию и контентную фильтрацию. В Коллаборативной фильтрации снова у нас есть пользовательская пользовательская Коллаборативная фильтрация и Коллаборативная фильтрация по элементам, которые основаны на использовании памяти, а матричная факторизация и разложение по сингулярным значениям (SVD) основаны на моделях.

Применение неконтролируемого обучения

Поскольку объем данных в мире увеличивается с каждым днем, у обучения без присмотра есть много применений. Мы всегда создаем данные, используя платформы социальных сетей или некоторый видеоконтент на YouTube, и часто мы даже не делаем это намеренно. Все эти данные не структурированы, и маркировка их для контролируемых учебных задач будет утомительной и дорогой.

Ниже приведены некоторые интересные приложения машинного обучения без присмотра.

  1. Продуктовый магазин или магазин / рынок электронной торговли: извлекайте правила ассоциации из данных транзакций клиентов и рекомендации для потребителей покупать продукты.
  2. Платформа социальных сетей: извлекайте отношения с разными пользователями, предлагая продукты или услуги. Рекомендовать новых людей для социального общения.
  3. Услуги: рекомендации по туристическим услугам, рекомендации по аренде домов или услуги по поиску партнеров.
  4. Банковское дело: кластеризация клиентов на основе их финансовых транзакций. Кластерная мошенническая транзакция для выявления мошенничества.
  5. Политика: Мнение избирателей кластера о шансах на победу для определенной партии.
  6. Визуализация данных. С помощью кластеризации и t-распределенного стохастического встраивания соседей (t-SNE) мы можем визуализировать данные больших размеров. Кроме того, это может быть использовано для уменьшения размерности.
  7. Развлечения: Рекомендации для фильмов, музыки, как это делают Netflix и Amazon.
  8. Сегментация изображения: кластеризация частей изображений на основе значений ближайших пикселей.
  9. Содержание: персонализированные газеты, рекомендации веб-страниц, приложения для электронного обучения и фильтры электронной почты.
  10. Обнаружение структур: с помощью кластеризации мы можем обнаружить любую скрытую структуру данных. Кластеризовать данные Twitter для анализа настроений.

Вывод

Неуправляемое машинное обучение не слишком количественно, но может решить множество проблем, в которых контролируемые алгоритмы терпят неудачу. Существует множество приложений для обучения без учителя во многих областях, где у нас есть неструктурированные и немаркированные данные. Мы можем использовать неконтролируемые методы обучения, чтобы научить наши машины работать лучше, чем мы. В последние годы машины превзошли людей с точки зрения задач, которые считались решаемыми людьми на протяжении веков. Я надеюсь, что в этой статье вы поняли, что такое и как неконтролируемые методы машинного обучения могут быть использованы для решения реальных проблем.

Рекомендуемые статьи

Это руководство по машинному обучению без учителя. Здесь мы обсуждаем типы машинного обучения и типы неконтролируемого машинного обучения вместе с его приложениями. Вы также можете взглянуть на следующие статьи, чтобы узнать больше -

  1. Алгоритмы машинного обучения
  2. Что такое машинное обучение?
  3. Введение в машинное обучение
  4. Инструменты машинного обучения
  5. Кластеризация в машинном обучении
  6. Гиперпараметр машинного обучения
  7. Иерархический кластерный алгоритм
  8. Иерархическая кластеризация | Агломерационная и разделительная кластеризация
  9. 8 этапов жизненного цикла машинного обучения

Категория:

Большое количество данных