Rprop
Rprop, abreviatura de retropropagación resiliente, és una heurística d'aprenentage per a rets neuronals artificials alimentades cap a avant en el context del aprenentage supervisat. És un algoritme d'optimisació de primer orde creat per Martin Riedmiller i Heinrich Braun en 1992.[1]
Similar a la regla d'actualisació de Manhattan, Rprop solament considera el signe de la derivada parcial en tots els patrons (no la magnitut) i actua independentment en cada "pes". Per a cada pes, si va haver un canvi de signe en la derivada parcial de la funció d'error total en comparació a l'última iteración, el valor d'actualisació d'eixe pes es multiplica per un factor η−, a on η− és menor que 1. Si l'última iteración va produir el mateix signe, el valor d'actualisació es multiplica per un factor de η+, a on η+ és major que 1. Finalment, cada pes s'ajusta en la direcció oposta a la seua derivada parcial per a minimisar la funció d'error total. Empíricamente, η+ s'establix en 1.2 i η− en 0.5.Plantilla:Cn
Rprop pot produir increments o decrementos molt grans en els pesos si els gradient són grans, lo que és un problema en usar mini-lots en lloc de lots complets. RMSprop aborda este problema mantenint un promig mòvil dels gradient quadrats per a cada pes i dividint el gradient per la raïl quadrada del promig quadràtic.Plantilla:Cn
Rprop és un algoritme d'actualisació per lots. Junt en l'algoritme de correlació en cascada i l'algoritme de Levenberg-Marquardt, Rprop és un dels mecanismes d'actualisació de pesos més ràpits.Plantilla:Cn
Variacions
[editar | editar còdic]Martin Riedmiller va desenrollar tres algoritmes, tots cridats RPROP. Igel i Hüsken els varen assignar noms i varen agregar una nova variant:[2] [3]
- RPROP+, que es definix en A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm.[4]
- RPROP−, definit en Advanced Supervised Learning in Multi-layer Perceptrons — From Backpropagation to Adaptive Learning Algorithms. S'elimina la reculada de RPROP+.[5]
- anarPROP−, definit en Rprop — Description and Implementation Details[6] i reinventat per Igel i Hüsken.[3] Esta variant és molt popular i senzilla.
- anarPROP+, definida en Improving the Rprop Learning Algorithm, és molt robusta i típicament més ràpida que les atres tres variants.[2][3]
Referències
[editar | editar còdic]- ↑ Martin Riedmiller und Heinrich Braun: Rprop - A Fast Adaptive Learning Algorithm. Proceedings of the International Symposium on Computer and Information Science VII, 1992
- ↑ 2,0 2,1 Christian Igel i Michael Hüsken. Improving the Rprop Learning Algorithm. Second International Symposium on Neural Computation (NC 2000), pp. 115-121, ICSC Academic Press, 2000
- ↑ 3,0 3,1 3,2 Christian Igel i Michael Hüsken. Empirical Evaluation of the Improved Rprop Learning Algorithm. Neurocomputing 50:105-123, 2003
- ↑ Martin Riedmiller i Heinrich Braun. A direct adaptive method for faster backpropagation learning: The Rprop algorithm. Proceedings of the IEEE International Conference on Neural Networks, 586-591, IEEE Press, 1993
- ↑ Martin Riedmiller. Advanced supervised learning in multi-layer perceptrons - From backpropagation to adaptive learning algorithms. Computer Standards and Interfaços 16(5), 265-278, 1994
- ↑ Martin Riedmiller. Rprop — Description and Implementation Details. Technical report, 1994
Referències
[editar | editar còdic]
- Este artícul conté una traducció derivada de «Rprop» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.