Reservoir computing
El reservoir computing o càlcul de reservoir és un marc de treball o framework derivat de la teoria de les rets neuronals recurrents. Este enfocament mapea les senyals d'entrada en espais computacionals de major dimensió utilisant la dinàmica d'un sistema fix i no llineal cridat "reservoir".[1] Una volta que la senyal d'entrada s'introduïx en el reservoir, que es tracta com una caixa negra, s'entrena un senzill mecanisme de llectura per a obtindre i mapear l'estat del reservoir fins a obtindre el resultat desijat.[1] La principal ventaja d'este framework radica que l'entrenament solament es porta a terme en la fase de llectura, ya que la dinàmica del reservoir és fixa.[1] Ademés, una atra ventaja important és que es pot aprofitar la potència de càlcul dels sistemes disponibles de manera natural, tant clàssics com a mecànics quàntics, lo que permet reduir el cost de càlcul efectiu.[2]
Història
[editar | editar còdic]El concepte del càlcul de reservoir sorgix de l'utilisació de conexions recursivas en rets neuronals per a crear un sistema dinàmic complex.[3] Representa una generalisació de arquitectura prèvies de rets neuronals, com les rets neuronals recurrents, les màquines d'estat líquit i les rets d'estat d'eco. El càlcul de reservoir també s'estén a sistemes físics que no s'ajusten a la definició clàssica de rets, sino que són sistemes continus en l'espai i/o en el temps. Per eixemple, un "gaveta d'aigua" lliteral pot funcionar com un reservoir que realisa càlculs sobre les entrades que es presenten com a destorbament de la superfície.[4]
La complexitat resultant d'estes rets neuronals recurrents ha demostrat ser útil per a resoldre diversos problemes, com el processament de llenguage i la modelació de sistemes dinàmics.[3] No obstant, l'entrenament de les rets neuronals recurrents és complicat i costós des del punt de vista computacional.[3] Per a abordar estos problemes, el càlcul de reservoir simplifica el procés en fixar la dinàmica del reservoir i entrenar únicament la capa llineal d'eixida.[3]
Existix una àmplia varietat de sistemes dinàmics no llineals que poden utilisar-se com reservoir per a realisar càlculs. En els últims anys, els làsers semiconductors han despertat un gran interés per la seua capacitat per a realisar càlculs de manera ràpida i energèticament eficient en comparació als components elèctrics.
Els recents alvanços en inteligència artificial i teoria de l'informació quàntica han donat lloc al concepte de rets neuronals quàntiques.[5] Estes rets mostren promesa en el processament quàntic de l'informació, la qual cosa representa un desafiu per a les rets clàssiques, pero també poden trobar aplicacions en la resolució de problemes clàssics.[5][6]
En 2018, es va conseguir la realisació física d'una arquitectura quàntica del càlcul de reservoir utilisant espin nuclears en un sòlit molecular.[6] No obstant, els experiments realisats no varen demostrar el càlcul de reservoir quàntic pròpiament dit, ya que no implicaven el processament de senyes seqüencials.[6] En canvi, les senyes es varen presentar com a entrades vectorials, lo que es considera més una demostració de l'implementació quàntica d'un algoritme aleatori o "bàssia de cuina" (random kitchen sink),[7] també conegut com màquines d'aprenentage extrem en algunes comunitats.
En 2019, es va propondre una atra possible implementació de processadors reservoir quàntics utilisant camps en rets fermiónicas bidimensionales.[6] En 2020, es va propondre la realisació de càlcul de reservoir en ordenadors quàntics basats en comportes i es va demostrar en ordenadors quàntics superconductores IBM a curt determini basats en el núvol.[8]
El càlcul de reservoir s'ha utilisat en el propòsit d'anàlisis de séries temporals. En particular, s'han utilisat per a la predicció de séries temporals caòtiques,[9][10] la separació de senyals caòtiques[11] i l'inferència d'enllaços de rets a partir de la seua dinàmica.[12]
Reservoir computing clàssic
[editar | editar còdic]Reservoir
[editar | editar còdic]En càlcul de reservoir, el "reservoir" és l'estructura interna de l'ordenador i deu complir dos propietats: estar composta per unitats individuals no llineals i ser capaç d'almagasenar informació.[13]
La no linealidad descriu la resposta de cada unitat davant l'entrada, la qual cosa permet resoldre problemes complexos per mig del càlcul de reservoir. Els reservoir poden almagasenar informació conectant les unitats en bucles recurrents, a on l'entrada prèvia afecta a la resposta següent. Este canvi en la resposta pel passat permet entrenar als ordenadors per a realisar tasques específiques.[13]
Els reservoir poden ser virtuals o físics.[13] Els reservoir virtuals solen generar-se aleatoriamente i es dissenyen com a rets neuronals.[3][13] Estos reservoir virtuals poden tindre no linealidad i bucles recurrents, pero a diferència de les rets neuronals, les conexions entre les unitats són aleatòries i permaneixen constants durant el càlcul.[13]
Per un atre costat, els reservoir físics són possibles gràcies a la no linealidad inherent en certs sistemes naturals. Per eixemple, l'interacció entre les ondulacions en la superfície de l'aigua posseïx la dinàmica no llineal necessària per a la creació de reservoir físics. S'ha desenrollat un enfocament de càlcul de reservoir per al reconeiximent de patrons utilisant ondulacions generades per motors elèctrics i registrant i analisant les ondulacions en la fase de llectura.[1]
Readout
[editar | editar còdic]El readout o llectura és una capa de la ret neuronal que realisa una transformació llineal en l'eixida del reservoir.[1] Els pesos d'esta capa de llectura s'entrenen analisant els patrons espaciotemporales del reservoir despuix d'haver segut excitat per entrades conegudes. Per a açò, s'utilisen métodos d'entrenament com la regressió llineal o la regressió de Ridge.[1] Ya que l'aplicació del càlcul de reservoir depén dels patrons espaciotemporales específics del reservoir, els detalls dels métodos de llectura s'adapten a cada tipo de reservoir.[1] Per eixemple, en el cas del càlcul de reservoir que utilise un recipient de líquit com el seu reservoir, la llectura podria implicar l'observació dels patrons espaciotemporales en la superfície del líquit.[1]
Tipos
[editar | editar còdic]Ret de reverberació contextual
[editar | editar còdic]Un dels primers eixemples del càlcul de reservoir va ser la ret de reverberació contextual.[14] En esta ret, una capa d'entrada alimenta un sistema dinàmic d'alta dimensió que després és llegit per un perceptrón monocapa entrenable. Es descriuen dos tipos de sistemes dinàmics utilisats: una ret neuronal recurrent en pesos aleatoris fixos i un sistema continu de reacció-difusió inspirat en el model de morfogénesis d'Alan Turing. En la capa entrenable, el perceptrón associa les entrades actuals en les senyals que reverberan en el sistema dinàmic; es dia que estes últimes proporcionaven un "context" dinàmic per a les entrades de senyes. En el llenguage de treballs posteriors, el sistema de reacció-difusió funcionava com reservoir.
Ret d'estat d'eco
[editar | editar còdic]- Artícul principal → Ret d'estat d'eco.
El model de Ret d'Estat d'Eco d'Arbre (Tree Tire State Network o TreeESN en anglés) representa una generalisació del marc de treball del càlcul de reservoir cap a senyes estructurades en forma d'arbre.[15]
Màquina d'estat líquit
[editar | editar còdic]Una Màquina d'Estat Líquit (Liquid State Machine o LSM en anglés) és un tipo de calculador de reservoir que utilisa una ret neuronal d'impulsos.[16]
Màquina d'estat líquit caòtic
[editar | editar còdic]El líquit en una Màquina d'Estat Líquit Caòtic (Chaotic Liquid State Machine o CLSM en anglés),[17][18] també conegut com reservoir caòtic, està compost per neurones d'impulsos caòtiques. No obstant, estes neurones conseguixen estabilisar la seua activitat ajustant-se a una única hipòtesis que descriu les entrades entrenades en la màquina. Açò contrasta en atres tipos de reservoir que no conseguixen estabilisar-se. L'estabilisació del líquit es conseguix a través de la plasticidad sináptica i el control del caos que governen les conexions neuronals dins del líquit. La CLSM ha mostrat resultats prometedors en l'aprenentage de senyes de séries temporals sensibles.[17][18]
Càlcul transitori no llineal
[editar | editar còdic]Este tipo de processament de l'informació és especialment rellevant quan les senyals d'entrada, que són depenents del temps, es desvien de la dinàmica interna del mecanisme.[19] Estes desviacions generen transitoris o alteracions temporals que es reflectixen en l'eixida del dispositiu.[19]
Càlcul de reservoir profunt
[editar | editar còdic]L'extensió del framework de càlcul de reservoir cap al Aprenentage Profunt, per mig de l'introducció del Càlcul de Reservoir Profunt (Deep Reservoir Computing) i del model de Ret d'Estat d'Eco Profunda (Deep Tire State Network o DeepESN en anglés),[20][21][22][23] permet desenrollar models eficientemente entrenats per al processament jeràrquic de senyes temporals. Ademés, possibilita investigar el rol intrínsec de la composició per capes en les rets neuronals recurrents.
Vore també
[editar | editar còdic]Referències
[editar | editar còdic]- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 Neural Networks.115
- 123.ISSN 0893-6080.doi:10.1016/j.neunet.2019.03.005.Consultat el Neural Networks.
- ↑ Journal of Physics Communications.2ISSN 2399-6528.doi:10.1088/2399-6528/aad56d.
- ↑ 3,0 3,1 3,2 3,3 3,4 15th European Symposium on Artificial Neural Networks.
- 471–482.
- ↑ Fernando; Sojakka, {{{nom2}}} (2003). «Pattern Recognition in a Bucket», Advances in Artificial Life (en Anglés), pp. 588–597. doi:10.1007/978-3-540-39432-7_63. ISBN 978-3-540-20057-4.
- ↑ 5,0 5,1 npj Quàntum Information.5
- 35.ISSN 2056-6387.doi:10.1038/s41534-019-0149-8.
- ↑ 6,0 6,1 6,2 6,3
- ↑ NIPS'08: Proceedings of the 21st International Conference on Neural Information Processing Systems.
- 1313–1320.
- ↑ Physical Review Applied.14doi:10.1103/PhysRevApplied.14.024065.
- ↑ Physical Review Letters.120doi:10.1103/PhysRevLett.120.024102.
- ↑ Neural Networks.126
- 191–217.ISSN 0893-6080.doi:10.1016/j.neunet.2020.02.016.
- ↑ Chaos: An Interdisciplinary Journal of Nonlinear Science.30ISSN 1054-1500.doi:10.1063/1.5132766.
- ↑ Physical Review X.11doi:10.1103/PhysRevX.11.031014.
- ↑ 13,0 13,1 13,2 13,3 13,4 Physics.10doi:10.1103/Physics.10.12.
- ↑ Kirby, Kevin (1991). Context dynamics in neural sequential learning (en Inglés), pp. 66–70.
- ↑ Neurocomputing.101
- 319–337.doi:10.1016/j.neucom.2012.08.017.
- ↑ De: Liquid state machine (en anglés)
- ↑ 17,0 17,1 2014 IEEE 13th International Conference on Cognitive Informatics and Cognitive Computing.
- 126–132.doi:10.1109/icci-cc.2014.6921451.
- ↑ 18,0 18,1 International Journal of Cognitive Informatics and Natural Intelligence.9ISSN 1557-3958.doi:10.4018/ijcini.2015100101.
- ↑ 19,0 19,1 Neurocomputing.70
- 1167–1176.doi:10.1016/j.neucom.2006.10.148.
- ↑ Università vaig donar Chafa..
- ↑ Neurocomputing.268doi:10.1016/j.neucom.2016.12.089.
- ↑ Cognitive Computation.9
- 337–350.ISSN 1866-9956.doi:10.1007/s12559-017-9461-9.
- ↑ Neural Networks.108
- 33-47.ISSN 0893-6080.doi:10.1016/j.neunet.2018.08.002.
Referències
[editar | editar còdic]
- Este artícul conté una traducció derivada de «Reservoir computing» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.