Augmented Neural ODÉs

Les Augmented Neural ODÉs (ANODÉs) són una variant de les equacions diferencials neuronals en la que l'estat del model s'amplia per mig de dimensions auxiliars. Varen ser propostes en 2019 com una extensió de les neural ODÉs estàndar, en l'objectiu d'aumentar la seua capacitat expressiva i permetre la representació de certes transformacions que poden resultar difícils de modelar en l'espai original d'estats.

Història

El desenroll de les Augmented Neural ODÉs s'inscriu en l'evolució recent dels models d'aprenentage profunt en temps continu. Despuix de l'introducció de les neural ODÉs en 2018, va sorgir el problema de caracterisar en major precisió les seues capacitats i llimitacions representacionales.

En eixe context, Emilien Dupont, Arnaud Doucet i Yee Whye Teh varen propondre en 2019 les Augmented Neural ODÉs com una extensió de les neural ODÉs estàndar. El seu plantejament partia de l'idea de que els fluix continus depresos en l'espai original preserven certes propietats topològiques, lo que llimita la representació de determinades transformacions. Per a aliviar eixa restricció, els autors varen introduir l'ampliació de l'estat per mig de dimensions auxiliars. En exposicions posteriors del camp, esta ampliació s'ha presentat també com una forma d'aliviar, en certs problemes, les restriccions associades a treballar exclusivament en l'espai original d'estats.

Descripció

En una Augmented Neural ODE, l'estat amagat del sistema no evoluciona únicament en l'espai original, sino en un espai aumentat de dimensió superior. Per a això, al vector d'estat inicial se li afigen components auxiliars, i sobre eixe estat ampliat es definix la dinàmica contínua depresa per la ret neuronal.

De forma esquemàtica, si l'estat original és $h(t)$, pot considerar-se un estat aumentat $\tilde{h}(t)$ que incorpore variables adicionals. L'evolució del sistema es descriu llavors per mig d'una equació diferencial ordinària sobre eixe nou espai, en lloc de fer-ho exclusivament sobre l'estat original.

Esta ampliació proporciona al model una major flexibilitat geomètrica per a representar transformacions contínues. En conseqüència, certes trayectòries que resultarien difícils de modelar per mig d'una neural ODE estàndart poden descriure's de forma més senzilla en l'espai aumentat.

Archiu:Residual network, Neural and Augmented Neural comparison.svg

Comparació conceptual entre una ret residual, una Neural ODE i una Augmented Neural ODE. En el panel dret, la trayectòria evoluciona en un espai aumentat per mig de la coordenada auxiliar z, mentres que la llínea discontínua mostra la seua proyecció sobre l'espai original.

Vore també

• Equacions diferencials neuronals
• Equació diferencial ordinària
• Sistema dinàmic
• Aprenentage profunt