Что такое алгоритм повышения?
Повышение - это метод в алгоритмах, которые превращают слабого ученика в сильного ученика. Это метод, который добавляет новые модели для исправления ошибок существующих моделей.
Пример:
Давайте разберемся с этой концепцией с помощью следующего примера. Давайте возьмем пример электронной почты. Как вы узнаете свою электронную почту, является ли она спамом или нет? Вы можете узнать это по следующим условиям:
- Если электронное письмо содержит много таких источников, значит, это спам.
- Если электронное письмо содержит только одно изображение, то это спам.
- Если электронное письмо содержит сообщение «У вас есть лотерея на сумму $ xxxxx», это означает, что это спам.
- Если электронное письмо содержит какой-либо известный источник, то это не спам.
- Если он содержит официальный домен, такой как educba.com и т. Д., Это означает, что это не спам.
Вышеупомянутые правила не настолько сильны, чтобы распознать спам или нет, поэтому эти правила называются слабыми учениками.
Чтобы преобразовать слабого ученика в сильного ученика, объедините прогноз слабого ученика, используя следующие методы.
- Используя среднее или средневзвешенное значение.
- Рассмотрим прогноз имеет более высокий голос.
Рассмотрим вышеупомянутые 5 правил: за спам 3 голоса, а за спам 2. Так как существует высокий уровень спама, мы считаем его спамом.
Как работает алгоритм повышения?
Повышение Алгоритмы объединяет каждого слабого ученика, чтобы создать одно строгое правило предсказания. Для выявления слабого правила существует базовый алгоритм обучения (машинное обучение). Всякий раз, когда применяется алгоритм Base, он создает новые правила прогнозирования, используя процесс итерации. После некоторой итерации он объединяет все слабые правила для создания единого правила прогнозирования.
Чтобы выбрать правильный дистрибутив, выполните следующие шаги:
Шаг 1: Алгоритм базового обучения объединяет каждое распределение и применяет равный вес к каждому распределению.
Шаг 2: Если какой-либо прогноз происходит во время первого базового алгоритма обучения, мы уделяем большое внимание этой ошибке прогнозирования.
Шаг 3: Повторяйте шаг 2, пока не будет достигнут предел базового алгоритма обучения или высокая точность.
Шаг 4: Наконец, он объединяет всех слабых учеников, чтобы создать один сильный прогнозный набор.
Типы алгоритма повышения
Алгоритмы повышения используют различные механизмы, такие как штамп решения, алгоритм классификации полей, максимизирующий маржу и т. Д. Существует три типа алгоритмов повышения, которые заключаются в следующем:
- Алгоритм AdaBoost (Adaptive Boosting)
- Алгоритм повышения градиента
- Алгоритм XG Boost
Алгоритм AdaBoost (адаптивное повышение)
Чтобы понять AdaBoost, пожалуйста, обратитесь к изображению ниже:
Вставка 1: Во вставке 1 для каждого набора данных мы присвоили одинаковые веса, а для классификации знака плюс (+) и минус (-) мы применяем пень решения D1, который создает вертикальную линию в левой части поля 1. Эта строка неверна спрогнозировал три знака плюс (+) как минус (-), поэтому мы применяем более высокие веса к этим знакам плюс и применяем другой пень решения
Вставка 2: Во Вставке 2 размер трех неправильно предсказанных знаков плюс (+) становится больше по сравнению с другим. Второе решение D2 на правой стороне блока предсказывает этот неправильно предсказанный знак плюс (+) как правильный. Но поскольку ошибка неправильной классификации произошла из-за неравного веса со знаком минус (-), мы назначаем больший вес для знака минус (-) и применяем другой пень решения.
Вставка 3: Во вставке 3 из-за ошибки ошибочной классификации три знака минус (-) имеют большой вес. здесь применяется решение D3, чтобы предсказать эту неправильную классификацию и исправить ее. На этот раз для классификации знака плюс (+) и минус (-) создана горизонтальная линия.
Вставка 4: во вставке 4 решения D1, D2 и D3 объединены, чтобы создать новый сильный прогноз.
Работы по адаптивному ускорению аналогичны упомянутым выше. Он объединяет группу слабых учеников по весу для создания сильного ученика. На первой итерации он дает равный вес каждому набору данных и начинает прогнозировать этот набор данных. Если происходит неправильный прогноз, это придает большое значение этому наблюдению. Adaptive Boosting повторите эту процедуру на следующем этапе итерации и продолжайте, пока не будет достигнута точность. Затем объединяет это, чтобы создать сильный прогноз.
Алгоритм повышения градиента
Алгоритм повышения градиента - это метод машинного обучения для определения функции потерь и ее уменьшения. Он используется для решения задач классификации с использованием моделей прогнозирования. Он включает в себя следующие шаги:
1. Функция потери
Использование функции потерь зависит от типа проблемы. Преимущество повышения градиента состоит в том, что нет необходимости в новом алгоритме повышения для каждой функции потерь.
2. Слабый ученик
В повышении градиента деревья решений используются в качестве слабого ученика. Дерево регрессии используется для получения истинных значений, которые можно объединить для создания правильных прогнозов. Как и в алгоритме AdaBoost, используются небольшие деревья с одним разделением, то есть пень принятия решения. Большие деревья используются для больших уровней i, e 4-8 уровней.
3. Аддитивная модель
В этой модели деревья добавляются по одному. существующие деревья остаются прежними. При добавлении деревьев градиентный спуск используется для минимизации функции потерь.
XG Boost
XG Boost - это сокращение от Extreme Gradient Boosting. XG Boost является усовершенствованной реализацией алгоритма градиентного ускорения, который разработан для обеспечения высокой скорости вычислений, масштабируемости и повышения производительности.
XG Boost имеет следующие функции:
- Параллельная обработка: XG Boost обеспечивает параллельную обработку для построения дерева, которое использует ядра ЦП во время обучения.
- Перекрестная проверка: XG Boost позволяет пользователям выполнять перекрестную проверку процесса повышения на каждой итерации, упрощая получение точного оптимального количества повторений повышения за один прогон.
- Оптимизация кэша: обеспечивает оптимизацию кэша алгоритмов для повышения скорости выполнения.
- Распределенные вычисления . Для обучения больших моделей XG Boost позволяет использовать распределенные вычисления.
Рекомендуемые статьи
В этой статье мы увидели, что такое алгоритм повышения, различные типы алгоритма повышения в машинном обучении и их работа. Вы также можете просмотреть наши другие предлагаемые статьи, чтобы узнать больше -
- Что такое машинное обучение? | Определение
- Языки программирования для изучения алгоритмов
- Что такое технология блокчейн?
- Что такое алгоритм?