Рекурсивна нейронна мережа

Рекурси́вні нейро́нні мере́жі (РНМ, англ. recursive neural networks, RNN) — це клас глибоких нейронних мереж, створюваних рекурсивним застосуванням одного й того ж набору ваг до структури, щоби здійснювати Структурове передбачування вхідних структур мінливого розміру, або скалярне передбачування на них, шляхом обходу заданої структури в топологічній послідовності. РНМ були успішними, наприклад, в навчанні послідовнісних та деревних структур в обробці природної мови, головним чином неперервних представлень фраз та речень на основі векторного представлення слів. Вперше РНМ було введено для навчання розподілених представлень структури, таких як терміни логіки. Моделі та загальні схеми було розроблено в подальших працях, починаючи з 1990-х років.

Архітектури

Базова

У випадку найпростішої архітектури вузли поєднуються у батьківські із застосуванням вагової матриці, яка є спільною для всієї мережі, та нелінійності, такої як гіперболічний тангенс. Якщо c₁ та c₂ є n-мірними векторними представленнями вузлів, то їхній батьківський вузол також буде n-мірним вектором, що обчислюється як

${\displaystyle p_{1,2}=\tanh \left(W[c_{1};c_{2}]\right)}$

де W є навченою ваговою матрицею ${\displaystyle n\times 2n}$.

Цю архітектуру, з деякими поліпшеннями, було застосовано для успішного розбору природних сцен та для синтаксичного розбору речень природної мови.

Рекурсивна каскадна кореляція

Рекурсивна каскадна кореляція (РекКК, англ. Recursive Cascade Correlation, RecCC) є конструктивним нейромережевим підходом до деревних областей з новаторськими застосуваннями в хімії та розширенням для орієнтованих ациклічних графів.

Некерована РНМ

Систему для некерованих РНМ (англ. Unsupervised RNN) було представлено в працях .

Тензорна

Рекурсивні нейронні тензорні мережі (англ. recursive neural tensor networks) використовують одну функцію поєднання на основі тензорів для всіх вузлів дерева.

Тренування

Стохастичний градієнтний спуск

Як правило, для тренування таких мереж застосовують стохастичний градієнтний спуск (СГС, англ. stochastic gradient descent, SGD). Градієнт обчислюють, застосовуючи зворотне поширення структурою (ЗПС), що є варіацією зворотного поширення в часі, яке використовують для рекурентних нейронних мереж.

Властивості

В літературі було доведено здатність РНМ до універсального наближення над деревами.

Пов'язані моделі

Рекурентні нейронні мережі

Рекурентні нейронні мережі є рекурсивними штучними нейронними мережами з певною структурою: такою, як в лінійного ланцюжка. В той час як рекурсивні нейронні мережі працюють на будь-якій ієрархічній структурі, поєднуючи дочірні представлення в батьківські, рекурентні нейронні мережі діють на лінійній послідовності часу, поєднуючи попередній такт і приховане представлення в представлення поточного такту.

Деревні мережі з відлунням стану

Дієвий підхід до втілення РНМ дають деревні мережі з відлунням стану (англ. Tree Echo State Networks) в рамках парадигми резервуарного обчислення.

Розширення для графів

До розширень для графів належать графова нейронна мережа (ГНМ, англ. Graph Neural Network, GNN), нейронна мережа для графів (НМДГ, англ. Neural Network for Graphs, NN4G) та новіші згорткові нейронні мережі для графів.