✅ Ограниченная машина Больцмана - Как это работает

Введение в ограниченную машину Больцмана

Введение в ограниченную машину Больцмана

Ограниченная машина Больцмана - это метод, который может автоматически находить закономерности в данных путем реконструкции нашего ввода. Джефф Хинтон - основатель глубокого обучения. RBM - это поверхностная двухслойная сеть, в которой первый является видимым, а следующий - скрытым. Каждый узел в видимом слое соединяется с каждым узлом в скрытом слое. Ограниченная машина Больцмана считается ограниченной, поскольку два узла одного слоя не образуют связи. RBM - это числовой эквивалент двухстороннего переводчика. На прямом пути RBM получает вход и преобразует его в набор чисел, который кодирует вход. На обратном пути он принимает это как результат и обрабатывает этот набор входных данных и переводит их в обратном порядке, чтобы сформировать восстановленные входные данные. Супер-обученная сеть сможет выполнить этот обратный переход с высокой достоверностью. В два этапа вес и значения играют очень важную роль. Они позволяют RBM декодировать взаимосвязи между входами, а также помогают RBM решать, какие входные значения наиболее важны при обнаружении правильных выходных данных.

Работа машины Restricted Boltzmann

Каждый видимый узел получает низкоуровневое значение от узла в наборе данных. В первом узле невидимого слоя Х образуется произведением веса и добавляется к смещению. Результат этого процесса подается на активацию, которая вырабатывает мощность данного входного сигнала или выхода узла.

В следующем процессе несколько входов будут соединены в одном скрытом узле. Каждый X объединяется по индивидуальному весу, добавление продукта объединяется со значениями, и снова результат передается через активацию, чтобы дать вывод узла. В каждом невидимом узле каждый вход X объединяется с индивидуальным весом W. Здесь вход X имеет три веса, что составляет двенадцать вместе. Вес, сформированный между слоями, становится массивом, где строки являются точными для входных узлов, а столбцы удовлетворяются для выходных узлов.

Каждый невидимый узел получает четыре ответа, умноженные на их вес. Добавление этого эффекта снова добавляется к значению. Это действует как катализатор для некоторого процесса активации, и результат снова подается в алгоритм активации, который производит каждый отдельный вывод для каждого невидимого ввода.

Первая модель, полученная здесь, это модель на основе энергии. Эта модель связывает скалярную энергию с каждой конфигурацией переменной. Эта модель определяет распределение вероятностей через энергетическую функцию следующим образом:

(1)

Здесь Z - нормализующий фактор. Это функция разбиения с точки зрения физических систем

В этой энергетической функции следует логистическая регрессия, которая на первом этапе будет определять лог. вероятность и следующий определит функцию потерь как отрицательную вероятность.

используя стохастический градиент, где параметры,

Энергетическая модель со скрытой единицей определяется как 'h'

Наблюдаемая часть обозначается как «х»

Из уравнения (1) уравнение свободной энергии F (x) определяется следующим образом

(2)

(3)

Отрицательный градиент имеет следующую форму,

(4)

Вышеупомянутое уравнение имеет две формы, положительную и отрицательную форму. Термин положительный и отрицательный не представлен знаками уравнений. Они показывают влияние плотности вероятности. Первая часть показывает вероятность уменьшения соответствующей свободной энергии. Вторая часть показывает снижение вероятности генерируемых образцов. Затем градиент определяется следующим образом:

(5)

Здесь N отрицательные частицы. В этой основанной на энергии модели трудно определить градиент аналитически, так как он включает в себя расчет

Следовательно, в этой модели EBM мы имеем линейное наблюдение, которое не может точно отобразить данные. Таким образом, в следующей модели Restricted Boltzmann Machine скрытый слой предназначен для обеспечения высокой точности и предотвращения потери данных. Энергетическая функция RBM определяется как,

(6)

Здесь W - вес, соединяющий видимый и скрытый слои. b - это смещение видимого слоя. c - это смещение скрытого слоя. путем преобразования в свободную энергию,

В RBM единицы видимого и скрытого слоя полностью независимы, что можно записать следующим образом:

Из уравнений 6 и 2, вероятностный вариант функции активации нейрона,

(7)

(8)

Это далее упрощается в

(9)

Объединяя уравнения 5 и 9,

(10)

Отбор проб в Restricted Boltzmann machine

Выборка Гиббса сустава из N случайных величин выполняется через последовательность из N подэтапов выборки вида где

содержит другие случайные величины в без учета.

В RBM S - это набор видимых и скрытых единиц. Две части независимы, которые могут выполнять или блокировать выборку Гиббса. Здесь видимая единица выполняет выборку и дает фиксированное значение скрытым единицам, одновременно скрытые единицы предоставляют фиксированные значения видимой единице путем выборки.

Вот, это набор всех скрытых юнитов. Пример случайным образом выбирается равным 1 (против 0) с вероятностью, и так же, случайным образом выбирается равным 1 (против 0) с вероятностью

Контрастное расхождение

Он используется в качестве катализатора для ускорения процесса отбора проб
Поскольку мы ожидаем, чтобы быть правдой, мы ожидаем значение распределения должно быть близко к P, так что оно образует сходимость к окончательному распределению P

Но противоречивая дивергенция не ждет, когда цепь сойдется. Образец получается только после процесса Гиббса, поэтому мы установили здесь k = 1, где он работает на удивление хорошо.

Стойкая контрастная дивергенция

Это еще один метод аппроксимации формы выборки. Это постоянное состояние для каждого метода выборки, он извлекает новые выборки, просто изменяя параметры K.

Слои машины Restricted Boltzmann

Ограниченная машина Больцмана имеет два слоя, неглубокие нейронные сети, которые объединяются в блок сетей глубокого убеждения. Первый слой - это видимый слой, а другой слой - скрытый слой. Каждая единица относится к нейроноподобному кругу, называемому узлом. Узлы из скрытого слоя связаны с узлами из видимого слоя. Но два узла одного слоя не связаны. Здесь термин «Ограниченный» относится к отсутствию внутриуровневой связи. Каждый узел обрабатывает ввод и принимает стохастическое решение, передавать или нет ввод.

Примеры

Важная роль RBM - это распределение вероятностей. Языки уникальны по своим буквам и звукам. Распределение вероятности буквы может быть высокой или низкой. На английском языке буквы T, E и A широко используются. Но в исландском языке обычными буквами являются буквы A и N. Мы не можем попытаться восстановить исландский язык с весом, основанным на английском языке. Это приведет к расхождению.

Следующий пример - изображения. Распределение вероятностей значения их пикселей отличается для каждого типа изображения. Мы можем рассмотреть два изображения: «Слон» и «Собака» для входных узлов буксировки. При прямом проходе RBM возникнет вопрос, как мне сгенерировать сильный пиксельный узел для узла слона или «собаки»? Тогда обратный проход будет генерировать вопросы, как для слона, как мне ожидать распределение пикселей? Затем с совместной вероятностью и активацией, создаваемой узлами, они построят сеть с совместным совместным появлением в виде больших ушей, серой нелинейной трубки, гибких ушей, морщина - это слон. Следовательно, УОКР - это процесс глубокого обучения и визуализации, они образуют два основных уклона и воздействуют на их чувство активации и реконструкции.

Преимущества машины Restricted Boltzmann

Ограниченная машина Больцмана - это применяемый алгоритм, используемый для классификации, регрессии, тематического моделирования, совместной фильтрации и изучения особенностей.
Ограниченная машина Больцмана используется для нейровизуализации, реконструкции разреженных изображений при планировании шахт, а также для распознавания радиолокационных целей.
RBM может решить проблему несбалансированных данных с помощью процедуры SMOTE
RBM находит пропущенные значения по выборке Гибба, которая применяется для покрытия неизвестных значений
RBM преодолевает проблему шумовых меток с помощью нескорректированных данных меток и ошибок их восстановления
Проблема неструктурированных данных устраняется с помощью средства извлечения признаков, которое преобразует необработанные данные в скрытые единицы.

Вывод

Глубокое обучение очень мощно, это искусство решения сложных проблем, оно все еще остается местом для совершенствования и сложным для реализации. Свободные переменные должны быть настроены с осторожностью. Раньше идеи нейронной сети были сложны, но сегодня глубокое обучение - это основа машинного обучения и искусственного интеллекта. Следовательно, RBM дает представление об огромных алгоритмах глубокого обучения. Он имеет дело с основной единицей композиции, которая постепенно выросла во многие популярные архитектуры и широко используется во многих крупных отраслях промышленности.

Ограниченная машина Больцмана - Как это работает - Выборка и слои