Equacions diferencials neuronals

Les equacions diferencials neuronals són una família de models d'aprenentage automàtic en la que l'evolució d'un estat intern es descriu per mig d'una equació diferencial el terme dinàmic de la qual està parametrizado per una ret neuronal artificial. A diferència de les arquitectura profundes basades en una successió discreta de capes, estos models representen la transformació de l'informació de forma contínua.

La seua formulació més coneguda és la de les equacions diferencials ordinàries neuronals (neural ordinary differential equations o neural ODÉs), introduïdes en 2018. En este enfocament, l'estat amagat evoluciona segons una equació diferencial ordinària el camp dinàmic de la qual és aproximat per una ret neuronal.

Història

El desenroll contemporàneu d'este camp sol situar-se en 2018, en la publicació del treball de Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt i David Duvenaud sobre les Neural ODÉs.

Posteriorment es varen propondre vàries extensions de l'enfocament original, entre elles les Augmented Neural ODÉs (ANODÉs), que amplien l'espai d'estats per mig de dimensions auxiliars, les Latent ODÉs per al tractament de séries temporals en mostreig irregular, les Neural Controlled Differential Equations per a seqüències irregulars, i les equacions diferencials universals, que combinen térmens mecanicistas en components depresos.

Revisions posteriors han consolidat el camp com un marc general de modelació contínua que inclou variants ordinàries, controlades i estocàstiques.

Variants

Dins d'este camp solen distinguir-se vàries famílies de models continus. Les neural ODÉs constituïxen la formulació bàsica basada en equacions diferencials ordinàries. Entre les seues extensions es troben les Augmented Neural ODÉs (ANODÉs), que amplien l'espai d'estats per mig de dimensions auxiliars, les Latent ODÉs, que introduïxen variables latents per al tractament de séries temporals en mostreig irregular, les Neural Controlled Differential Equations, les equacions diferencials universals i les variants estocàstiques.

Les Augmented Neural ODÉs (ANODÉs) amplien l'espai d'estats afegint dimensions auxiliars al vector d'activació. De forma esquemàtica, esta ampliació pot escriure's com:

$$\frac{d\tilde{h}(t)}{dt}=f_{\theta }(\tilde{h}(t),t),\tilde{h}(t_0)=(h_0,0)$$

a on $\tilde{h}(t)$ representa l'estat aumentat, format per l'estat original i per dimensions auxiliars afegides. Esta extensió es va propondre per a mitigar certes llimitacions d'expressivitat de les neural ODÉs estàndar, associades a que la dinàmica contínua preserva determinades propietats topològiques de l'espai d'entrada.

En les Latent ODÉs, la dinàmica no es modela directament sobre les observacions, sino sobre un estat latent continu. De forma esquemàtica, est pot escriure's com:

$$\frac{dz(t)}{dt}=f_{\theta }(z(t),t),z(t_0)=z_0$$

a on $z(t)$ representa l'estat latent del sistema. En este enfocament, l'estat inicial $z_0$ es infiere a partir de les observacions per mig d'un codificador, i les observacions en temps posteriors es reconstruïxen a partir de la trayectòria latent contínua.

En este enfocament, les observacions no s'obtenen directament de la dinàmica latent, sino per mig d'un decodificador provabilístic aplicat a l'estat amagat en cada instant. De forma esquemàtica, pot escriure's com:

$$x_i\sim p(x_i\mid z_i)$$

a on $z_i$ representa l'estat latent evaluat en el temps $t_i$. Esta formulació permet interpretar les Latent ODÉs com un model generativo continu en el que la trayectòria latent s'integra primer i les observacions es reconstruïxen despuix a partir d'ella.

Una atra extensió important la constituïxen les Neural Controlled Differential Equations, orientades al tractament continu de trayectòries observades de forma irregular. De forma esquemàtica, la seua dinàmica pot escriure's com:

$$d{z}_t=f(z_t,t,\theta )d{X}_t$$

a on $X_t$ representa una interpolació contínua construïda a partir de la série observada. Esta formulació resulta especialment adequada per a incorporar observacions irregulars o parcialment observades dins d'una dinàmica contínua.

En les equacions diferencials universals, una part de la dinàmica es descriu per mig de térmens coneguts del model i una atra per mig d'una component depresa. De forma esquemàtica, poden escriure's com:

$$\frac{du(t)}{dt}=G(u(t),t,\lambda )+N_{\theta }(u(t),t)$$

a on $G$ representa la part mecanicista del sistema i $N_{\theta }$ la component parametrizada per una ret neuronal.

Entre les extensions del marc també es troben les equacions diferencials estocàstiques neuronals (neural stochastic differential equations o neural SDÉs), en les que la dinàmica incorpora un terme aleatori per a modelar incertitut o destorbament no determinista. De forma esquemàtica, poden expressar-se com:

$$d{h}_t=f(h_t,t,\theta )dt+g(h_t,t,\varphi )d{W}_t$$

a on $W_t$ representa un procés de Wiener i $g$ parametriza el terme estocàstic. Estes variants s'han propost especialment per a la modelización de dinàmiques temporals en incertitut.

Revisions recents han consolidat este conjunt de variants com a part d'un marc general de modelació contínua per a l'anàlisis de séries temporals.

La següent taula resumix les diferències principals entre estes famílies:

Família	Representació de l'estat	Context característic	Traça distintiva
Neural ODE	Estat amagat continu	Transformacions contínues i modelació de sistemes dinàmics	El camp dinàmic es parametriza per mig d'una ret neuronal i s'integra com una equació diferencial ordinària
ANODE	Estat continu aumentat en dimensions auxiliars	Transformacions difícils de representar en l'espai original	La dinàmica evoluciona en un espai de dimensió superior
Latent ODE	Estat latent continu inferido a partir d'observacions	Series temporals en mostreig irregular	Les observacions es reconstruïxen per mig d'un decodificador aplicat a la trayectòria latent
Neural CDE	Estat controlat per una trayectòria observada	Seqüències irregulars o parcialment observades	La dinàmica incorpora les observacions per mig d'una interpolació contínua
Equació diferencial universal (UDE)	Estat descrit per mig de components mecanicistas i depresos	Modelació científica híbrida	Combina térmens coneguts del sistema en una component parametrizada per una ret neuronal
Neural SDE	Estat continu en dinàmica estocàstica	Processos temporals en incertitut o destorbament aleatoris	Incorpora térmens de deriva i difusió associats a un procés de Wiener

Vore també

• Aprenentage automàtic
• Ret neuronal artificial
• Equació diferencial ordinària
• Ret neuronal residual