Обзор гиперпараметра машинного обучения
Для любой модели нам нужны некоторые параметры, которые помогают обеспечить базу для решения проблемы / анализа и оценки модели. Некоторые из этих параметров должны быть изучены из данных, а некоторые мы должны определить с нашей стороны явно. Параметры, которые могут быть получены из данных без явного определения, называются параметрами модели. Параметр, который явно определен пользователем, называется гиперпараметрами. Гиперпараметры также являются параметрами только модели, но термин гиперпараметры используются в машинном обучении, чтобы их можно было легко отличить и не путать с параметрами модели, которые извлекаются из набора данных.
Что такое гиперпараметр машинного обучения?
Для большинства систем машинного обучения гиперпараметры не имеют строгого определения. Эти гиперпараметры определяют базовую систему модели, которая определяет основные (модальные) параметры модели. Попробуем разобраться в гиперпараметрах с помощью следующего примера.
- Настроить свою скрипку очень важно, когда вы находитесь на стадии обучения, потому что в это время вы создаете связи между различными чувствами. Уши, пальцы и глаза одновременно учатся игре на скрипке. Сейчас в начале Привыкание к звуку скрипки вне тона создает неприятный вкус звука, который испортит весь опыт влюблённости в процесс обучения игре на скрипке.
- Вот почему настройка скрипки может действительно помочь в процессе обучения игре на скрипке. Точно так же гиперпараметр является своего рода настройкой для модели машинного обучения, чтобы дать правильное направление.
- Гиперпараметры обычно определяются перед применением алгоритма машинного обучения к набору данных.
- Теперь следующая задача - каким должен быть гиперпараметр и каким должно быть его значение. Потому что нужно знать, какие струны нужны для настройки и как настраивать скрипку, прежде чем ее настраивать. То же самое относится и к гиперпараметрам, нам нужно определить, какие гиперпараметры и какое должно быть его значение, в основном это зависит от каждой задачи и каждого набора данных.
- Чтобы понять это, давайте взглянем на оптимизацию модели.
- В реализации модели машинного обучения оптимизация модели играет жизненно важную роль. Существует множество ветвей машинного обучения, которые посвящены исключительно оптимизации модели машинного обучения. Обычно считается, что для оптимизации модели нам необходимо изменить код так, чтобы ошибка могла быть минимизирована.
- Однако существуют скрытые элементы, которые влияют на оптимизацию машинного обучения, которые находятся за пределами модели и оказывают большое влияние на поведение модели. Эти скрытые элементы называются гиперпараметрами, они являются критически важными компонентами для оптимизации любой модели машинного обучения.
- Гиперпараметры - это точные настройки / настройки, которые управляют поведением модели. Эти гиперпараметры определены вне модели, но имеют прямое отношение к производительности модели. Гиперпараметры могут рассматриваться как ортогональные модели.
- Критерии определения гиперпараметра очень гибкие и абстрактные. Конечно, есть некоторые гиперпараметры, такие как количество скрытых слоев, скорость обучения модели, которые хорошо известны, а также есть некоторые параметры, которые можно рассматривать как гиперпараметр для конкретной модели, например, управление емкостью модели.
- У алгоритма есть шансы переопределить модель, если алгоритмы обучаются непосредственно через настройки. Понятно, что гиперпараметры не изучаются / не настраиваются с помощью обучающего набора, поэтому набор тестов или проверок используется для выбора гиперпараметров. На Бродвее мы устанавливаем разные значения гиперпараметра, и лучшим из них считается тот, который лучше всего работает с набором тестов или проверок.
Категории гиперпараметра
Для разных типов наборов данных и в соответствии с моделью у нас могут быть разные гиперпараметры для повышения производительности модели. В широком смысле гиперпараметры можно разделить на две категории.
- Гиперпараметр для оптимизации
- Гиперпараметры для конкретных моделей
Давайте обсудим каждый из них.
1. Гиперпараметры для оптимизации
Как следует из названия, эти гиперпараметры используются для оптимизации модели.
- Скорость обучения
Этот гиперпараметр определяет, насколько вновь полученные данные будут переопределять старые доступные данные. Если значение этого гиперпараметра велико, то более высокая скорость обучения не будет оптимизировать модель должным образом, поскольку есть вероятность, что она перепрыгнет через минимумы. С другой стороны, если скорость обучения будет очень низкой, то конвергенция будет очень медленной.
Скорость обучения играет решающую роль в оптимизации производительности модели, поскольку в некоторых случаях модели имеют сотни параметров (параметров модели) с кривой ошибок, скорость обучения будет определять частоту перекрестной проверки со всеми параметрами. Кроме того, трудно найти локальные минимумы кривых ошибок, потому что они обычно имеют неправильные кривые.
- Размер партии
Для ускорения процесса обучения тренировочный набор разделен на несколько партий. В случае стохастической процедуры обучения модели небольшую партию обучают, оценивают и распространяют обратно, чтобы отрегулировать значения всех ваших гиперпараметров, то же самое повторяется для всего обучающего набора.
Если размер пакета больше, чем это, это увеличит время обучения и потребует больше памяти для обработки для умножения матриц. Если размер пакета меньше, чем будет больше шума при расчете ошибок.
- Количество эпох
Эпоха представляет полный цикл для данных, которые будут изучены в машинном обучении. Эпохи играют очень важную роль в итеративном процессе обучения.
Ошибка проверки считается для определения правильного количества эпох. Можно увеличить количество эпох до тех пор, пока уменьшается ошибка проверки. Если ошибка проверки не улучшается для последовательных эпох, то это сигнал для остановки увеличивающегося числа эпох. Это также известно как ранняя остановка.
2. Гиперпараметры для конкретных моделей
Некоторые гиперпараметры участвуют в структуре самой модели. Некоторые из них следующие.
- Количество скрытых юнитов
Крайне важно определить ряд скрытых единиц для нейронных сетей в моделях глубокого обучения. Этот гиперпараметр используется для определения обучающей способности модели. для сложных функций мы должны определить ряд скрытых единиц, но имейте в виду, что они не должны превосходить модель.
- Количество слоев
Очевидно, что нейронная сеть с 3 слоями даст лучшую производительность, чем у 2 слоев. Увеличение более 3 не очень помогает в нейронных сетях. В случае CNN увеличение количества слоев делает модель лучше.
Вывод
Гиперпараметры определяются явно перед применением алгоритма машинного обучения к набору данных. Гиперпараметры используются для определения более высокого уровня сложности модели и способности к обучению. Гиперпараметры также могут быть настройками для модели. Некоторые гиперпараметры определены для оптимизации моделей (размер пакета, скорость обучения и т. Д.), А некоторые относятся к моделям (количество скрытых слоев и т. Д.).
Рекомендуемые статьи
Это руководство по гиперпараметру машинного обучения. Здесь мы обсудим обзор и что такое гиперпараметр машинного обучения с его категориями. Вы также можете посмотреть следующие статьи, чтобы узнать больше -
- Введение в машинное обучение
- Неуправляемое машинное обучение
- Типы алгоритмов машинного обучения
- Применение машинного обучения
- Внедрение нейронных сетей
- Лучшие 6 Сравнений между CNN против RNN