Basic backpropagation, which is a simple method now being widely used in areas like pattern recognition and fault diagnosis, is reviewed. The basic equations for backpropagation through time, and applications to areas like pattern recognition involving dynamic systems, systems identification, and control are discussed. Further extensions of this method, to deal with systems other than neural networks, systems involving simultaneous equations, or true recurrent networks, and other practical issues arising with the method are described. Pseudocode is provided to clarify the algorithms. The chain rule for ordered derivatives-the theorem which underlies backpropagation-is briefly discussed. The focus is on designing a simpler version of backpropagation which can be translated into computer code and applied directly by neutral network users.
El algoritmo de retropropagación ha sido ampliamente utilizado para entrenar redes neuronales de propagación hacia adelante. Está basado en la regla de la cadena, calculando el gradiente de la función de pérdida con respecto al peso de cada nodo, calculando a la vez el gradiente de cada capa, e iterando desde la última capa hacia atrás. La propuesta de utilizar retropropagación para el entrenamiento de redes neuronales artificiales fue inicialmente hecha por Werbos en su tesis doctoral (P. Werbos, "Beyond regression: New tools for prediction and analysis in the behavioral sciences", Ph.D. dissertation, Committee on Appl. Math., Harvard Univ., Cambridge, MA, Nov. 1974), aunque la popularizó Rumelhart (D. E. Rumelhart; G. E. Hinton; R. J. Williams. "Learning representations by back-propagating errors". Nature. 323 (6088): 533-536, 1986). Varios años después, en 1990, Werbos escribió esta revisión del método. Al estar escrita por su autor seminal, es considerado por muchos una de las principales referencias.
Especificaciones
- Autor/es: P.J. Werbos
- Fecha: 1990-10
- Publicado en: Proceedings of the IEEE (Volume: 78, Issue: 10, Oct. 1990, Pages: 1550-1560).
- Idioma: Inglés
- Formato: PDF
- Contribución: Juan Ignacio Godino Llorente.
- Palabras clave: Inteligencia computacional y artificial, Sistemas de control
