Глибока мережа переконань

У машинному навчанні глибо́ка мере́жа перекона́нь (ГМП, англ. deep belief network, DBN, також іноді глиби́нна мере́жа перекона́нь) — це породжувальна графова модель або, інакше, клас глибоких нейронних мереж, що складено з кількох шарів латентних змінних («прихованих вузлів»), зі з'єднаннями між шарами, але не між вузлами всередині кожного шару.

При тренуванні на наборі прикладів без керування ГМП може навчатися ймовірнісно відбудовувати свої входи. Шари тоді діють як виявлячі ознак. Після цього етапу навчання ГМП можливо тренувати далі з керуванням для виконання класифікування.

ГМП можливо розглядати як композицію простих некерованих мереж, таких як обмежені машини Больцмана (ОМБ) або автокодувальники, в якій прихований шар кожної підмережі слугує видимим шаром для наступної. ОМБ — це неорієнтована породжувальна модель на основі енергії з «видимим» шаром входу та прихованим шаром і зв'язками між шарами, але не всередині них. Така композиція веде до швидкої пошарової процедури некерованого тренування, де контрастове розходження застосовують по черзі до кожної підмережі, починаючи з «найнижчої» пари шарів (найнижчий видимий шар — це тренувальний набір).

Спостереження щодо того, що ГМП можливо тренувати жадібно, по одному шару за раз, привело до створення одного з перших дієвих алгоритмів глибокого навчання.^:6 Загалом існує багато привабливих втілень та використань ГМП у реальних застосуваннях та сценаріях (наприклад, електроенцефалографії,пошуку нових ліків^[en]).

Тренування

Метод тренування ОМБ, запропонований Джефрі Гінтоном для використання в тренуванні моделей «добуток експертів^[en]», називають контрастовим розходженням (КР, англ. contrastive divergence, CD). КР забезпечує наближення методу максимальної правдоподібності, застосовувати який для навчання ваг було би ідеально. Під час тренування однієї ОМБ уточнювання ваг виконують градієнтним спуском за таким рівнянням: ${\displaystyle w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial \log(p(v))}{\partial w_{ij}}}}$

де ${\displaystyle p(v)}$ — ймовірність видимого вектора, задана як ${\displaystyle p(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}}$. ${\displaystyle Z}$ це статистична сума^[en] (яку використовують для нормування), а ${\displaystyle E(v,h)}$ — функція енергії, приписаної станові мережі. Нижча енергія вказує на те, що мережа має «бажанішу» конфігурацію. Градієнт ${\displaystyle {\frac {\partial \log(p(v))}{\partial w_{ij}}}}$ має простий вигляд ${\displaystyle \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{model}}}$, де ${\displaystyle \langle \cdots \rangle _{p}}$ подають усереднення відносно розподілу ${\displaystyle p}$. Проблема виникає у вибиранні ${\displaystyle \langle v_{i}h_{j}\rangle _{\text{model}}}$, оскільки воно вимагає розширеного навперемінного ґіббзового вибирання^[en]. КР замінює цей крок виконанням альтернативного ґіббзового вибирання для ${\displaystyle n}$ кроків (значення ${\displaystyle n=1}$ працюють добре). Після ${\displaystyle n}$ кроків дані вибирають, і цю вибірку використовують замість ${\displaystyle \langle v_{i}h_{j}\rangle _{\text{model}}}$. Процедура КР працює наступним чином:

1. Встановити видимі вузли у значення тренувального вектора.
2. Уточнити приховані вузли паралельним чином, враховуючи видимі вузли: ${\displaystyle p(h_{j}=1\mid {\textbf {V}})=\sigma (b_{j}+\sum _{i}v_{i}w_{ij})}$. ${\displaystyle \sigma }$ — сигмоїдна функція, а ${\displaystyle b_{j}}$ — зміщення ${\displaystyle h_{j}}$.
3. Уточнити видимі вузли паралельним чином, враховуючи приховані вузли: ${\displaystyle p(v_{i}=1\mid {\textbf {H}})=\sigma (a_{i}+\sum _{j}h_{j}w_{ij})}$. ${\displaystyle a_{i}}$ — зміщення ${\displaystyle v_{i}}$. Це називають етапом «відбудовування».
4. Переуточнити приховані вузли паралельним чином, враховуючи відбудовані видимі вузли, використовуючи те саме рівняння, що й у кроці 2.
5. Виконати уточнення ваг: ${\displaystyle \Delta w_{ij}\propto \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{reconstruction}}}$.

Щойно ОМБ натреновано, поверх неї «накладають» іншу ОМБ, беручи її вхід з останнього натренованого рівня. Новий видимий шар встановлюють у значення тренувального вектора, а значення для вузлів у вже навчених шарах встановлюють з використанням поточних ваг і зміщень. Потім нову ОМБ тренують за описаною вище процедурою. Весь цей процес повторюють, доки не буде досягнуто бажаного критерію зупинки.

Хоч наближення КР до максимальної правдоподібності й грубе (не слідує градієнтові жодної функції), воно емпірично ефективне.

Див. також

• Складена обмежена машина Больцмана
• Баєсова мережа
• Глибоке навчання
• Згорткова глибока мережа переконань^[en]
• Модель на основі енергії^[en]