Ret d'estat d'eco
Una ret d'estat d'eco (tire state network o ESN en anglés)[1][2] és un tipo de computador de reservoir que utilisa una ret neuronal recurrent en una capa amagada conectada dispersamente (en una conectivitat típica del 1%). La conectivitat i els pesos de les neurones amagades són fixos i s'assignen aleatoriamente. Els pesos de les neurones d'eixida poden deprendre's per a que la ret puga produir o reproduir patrons temporals específics. El principal interés d'esta ret és que, encara que el seu comportament és no llineal, els únics pesos que es modifiquen durant l'entrenament són els de les sinapsis que conecten les neurones amagades en les neurones d'eixida. Aixina, la funció d'error és quadràtica sobre el vector de paràmetros i pot diferenciar-se fàcilment a un sistema llineal.
Alternativament, es pot considerar una formulació bayesiana no paramètrica de la capa d'eixida, baix la qual: (i) s'impon una distribució a priori sobre els pesos d'eixida; i (ii) els pesos d'eixida es marginen en el context de la generació de prediccions, donats les senyes d'entrenament. Esta idea ha segut demostrada per mig de l'us de distribucions a priori gaussianas,[3] en lo que s'obté un model de procés gaussiano en funció kernel impulsada per ESN. S'ha demostrat que esta solució supera a les ESN en conjunts de pesos entrenables (finitos) en vàries proves comparatives.
Algunes implementacions de ESN disponibles públicament són: (i) aureservoir: una biblioteca C++ eficient per a varis tipos de rets d'estats d'eco en enllaços python/numpy; i (ii) Matlab code: un matlab eficient per a una ret d'estats d'eco, (iii) ReservoirComputing.jl: una implementació eficient basada en Julia de varis tipos de rets d'estats d'eco, i (iv) pyESN: rets d'estats d'eco simples en Python.
Antecedents
[editar | editar còdic]La Ret d'Estat d'Eco (ESN)[4] pertany a la família de les Rets Neuronals Recurrents (RNN) i proporciona la seua arquitectura i principi d'aprenentage supervisat. A diferència de les Rets Neuronal Prealimentadas, les Rets Neuronals Recurrents són sistemes dinàmics i no funcions. Les Rets Neuronals Recurrents s'utilisen típicament para:
- Deprendre processos dinàmics: tractament de senyals en ingenieria i telecomunicacions, anàlisis de vibracions, sismologia, control de motors i generadors.
- Predicció i generació de senyals: text, música, senyals elèctriques, senyals caòtiques.[5]
- Modelació de sistemes biològics, neurociencias (neurodinámica cognitiva), modelat de memòria, interfaços cervell-ordenador (BCI), filtrat i processos de Kalman, usos militars, modelat de volatilitat, etc.
Per a l'entrenament de les RNN es dispon de varis algoritmes d'aprenentage: retropropagación a través temps, aprenentage recurrent en temps real. La convergència no està garantisada per fenomens d'inestabilitat i forcall.[4]
L'enfocament principal de la ESN és, en primer lloc, operar una ret neuronal aleatòria, gran, fixa i recurrent en la senyal d'entrada, lo que induïx una senyal de resposta no llineal en cada neurona dins d'esta ret "reservoir". I, en segon lloc, conectar una senyal d'eixida desijada per mig d'una combinació llineal entrenable de totes estes senyals de resposta.[2]
Una atra característica de les ESN és el seu funcionament autònom en la predicció: si la Ret d'Estat d'Eco s'entrena en una entrada que és una versió inversa de l'eixida, pot utilisar-se per a la generació/predicció de senyals utilisant l'eixida anterior com a entrada.[4][5]
L'idea principal de les ESN està vinculada a les Màquines d'Estat Líquit (Liquid state machine o LSM en anglés) que Wolfgang Maassen va desenrollar de forma independent i simultànea en les ESN.[6] Les LSM, les ESN i la recentment investigada regla d'aprenentage de decorrelación de retropropagación per a RNN[7] es resumixen cada volta més baix el nom de Reservoir Computing.
Schiller i Steil[7] també varen demostrar que en els enfocaments d'entrenament convencionals per a les RNN, en els que s'adapten tots els pesos (no només els de eixida), els canvis dominants es produïxen en els pesos d'eixida. En neurociencia cognitiva, Peter F. Dominey va analisar un procés relacionat en la modelació del processament de seqüències en el cervell dels mamífers, en particular el reconeiximent del parla en el cervell humà.[8]
L'idea bàsica també incloïa un model de discriminació temporal de l'entrada en rets neuronals biològiques.[9] Una primera formulació clara de l'idea del reservoir computing es deu a K. Kirby, que va revelar este concepte en una contribució a una conferència.[10] La primera formulació de l'idea de reservoir computing coneguda hui en dia procedix de L. Schomaker,[11] que va descriure cóm es pot obtindre una eixida desijada d'una RNN en deprendre a combinar senyals d'un conjunt de rets neuronals d'impulsos configurades aleatoriamente.[2]
Variants
[editar | editar còdic]Les rets d'estat d'eco poden construir-se de diferents maneres. Poden configurar-se en o sense conexions d'entrada-eixida directament entrenables, en o sense retroalimentación de la reserva d'eixida, en diferents neurotipos, diferents patrons de conectivitat interna de reservoir, etc. El pes d'eixida pot calcular-se per regressió llineal en tots els algoritmes, ya siga que estiguen en llínea o no. Per a determinar els valors d'eixida s'utilisen, ademés de les solucions per a errors en mínims quadrats, criteris d'maximización de màrgens, denominats màquines de vectores de soport d'entrenament.[12] Atres variants de les rets d'estat d'eco intenten canviar la formulació per a ajustar-se millor als models comuns dels sistemes físics, com els que solen definir-se per mig d'equacions diferencials. En este àmbit, els proyectes inclouen rets d'estat d'eco que parcialment inclouen models físics,[13] rets d'estat d'eco híbrides,[14] i rets d'estats d'eco de temps continu.[15]
La RNN fixa actua com un mig aleatori no llineal la resposta dinàmica del qual, el "eco", s'utilisa com a base de la senyal. La combinació llineal d'esta base pot entrenar-se per a reconstruir l'eixida desijada minimisant alguns criteris d'error.[2]
Vore també
[editar | editar còdic]Referències
[editar | editar còdic]- ↑ “Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication” (2004). Science 304 (5667): 78–80. doi:. PMID 15064413. Bibcode: 2004Sci...304...78J.
- ↑ 2,0 2,1 2,2 2,3 “Tire state network” (2007). Scholarpedia 2 (9). doi:. Bibcode: 2007SchpJ...2.2330J.
- ↑ “Tire State Gaussian Process” (2011). IEEE Transactions on Neural Networks 22 (9): 1435–1445. doi:. PMID 21803684.
- ↑ 4,0 4,1 4,2 Jaeger, Herbert (2002). A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the "tire state network" approach, Germany: German National Research Center for Information Technology, pp. 1–45.
- ↑ 5,0 5,1 “Using a reservoir computer to learn chaotic attractors, with applications to chaos synchronization and cryptography” . Phys. Rev. I 98 (1): 012215. doi:. PMID 30110744. Bibcode: 2018PhRvE..98a2215A.
- ↑ Maass W., Natschlaeger T., and Markram H.. “Real-clave computing without stable states: A new framework for neural computation based on perturbations”. Neural Computation 14 (11): 2531–2560. doi:. PMID 12433288.
- ↑ 7,0 7,1 Schiller U.D. and Steil J. J.. “Analyzing the weight dynamics of recurrent learning algorithms”. Neurocomputing 63: 5–23. doi:.
- ↑ Dominey P.F.. “Complex sensory-motor sequence learning based on recurrent state representation and reinforcement learning”. Biol. Cybernetics 73 (3): 265–274. doi:. PMID 7548314.
- ↑ Buonomano, D.V. and Merzenich, M.M.. “Temporal Information Transformed into a Spatial Code by a Neural Network with Realistic Properties”. Science 267 (5200): 1028–1030. doi:. PMID 7863330. Bibcode: 1995Sci...267.1028B.
- ↑ Kirby, K.. “Context dynamics in neural sequential learning. Proc”. Florida AI Research Symposium: 66–70.
- ↑ Schomaker, L.. “A neural oscillator-network model of temporal pattern generation”. Human Movement Science 11 (1–2): 181–192. doi:.
- ↑ Schmidhuber J., Gomez F., Wierstra D., and Gagliolo M.. “Training recurrent networks by evolino”. Neural Computation 19 (3): 757–779. doi:. PMID 17298232.
- ↑ Doan N, Polifke W, Magri L (2020). “Physics-Informed Tire State Networks”. Journal of Computational Science 47. doi:.
- ↑ Pathak J, Wikner A, Russel R, Chandra S, Hunt B, Girvan M, Ott I (2018). “Hybrid Forecasting of Chaotic Processes: Using Machine Learning in Conjunction with a Knowledge-Based Model”. Chaos 28 (4). doi:. PMID 31906641. Bibcode: 2018Chaos..28d1101P.
- ↑ Plantilla:Cite arXiv
Referències
[editar | editar còdic]
- Este artícul conté una traducció derivada de «Red de estado de eco» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.