Backpropagation

Este blog es la continuacion del blog llamado Lo Basico sobre: Redes Neuronales, esperemos les sea de gran utilidad.

Backpropagation es el modelo de red neuronal más usado. Es un modelo de conexiones hacia delante (feedforward) que utiliza pares de vectores en las entradas y salidas con valor verdadero para entrenar a la red.
Además, es un algoritmo para entrenar o programar los pesos de una red neuronal con un número indeterminado de capas. Se caracteriza por la representación interna del conocimiento que es capaz de organizar en la capa intermedia de las células, para conseguir cualquier correspondencia entre la entrada y la salida de la red.
La importancia de la red consiste en su capacidad de autoadaptar los pesos de las neuronas de las capas intermedias para aprender la relación que existe entre un conjunto de patrones dados como ejemplo y sus salidas correspondientes. Después del entrenamiento, puede aplicar esta misma relación a nuevos vectores de entrada con ruido o incompletas, dando una salida activa si la nueva entrada es parecida a las presentadas durante el aprendizaje.
La capacidad de generalización es una característica importante que se exige a los sistemas de aprendizaje, se entiende como la facilidad de dar salidas satisfactorias a entradas que el sistema no ha visto nunca en su fase de entrenamiento y que puede aplicar a entradas no presentadas durante la etapa de aprendizaje, esto para clasificarlas según las características que compartan con los ejemplos de entrenamiento.
Las redes tipo Backpropagation tienen una gran versatilidad, debido a la naturaleza de su proceso de aprendizaje, que solamente necesita de dos ecuaciones para propagar las señales de error hacia atrás. Se elige entre una u otra ecuación dependiendo si la unidad de proceso es o no de salida.
El algoritmo Backpropagation puede entrenar redes multicapas feedforward, con funciones de transferencia diferenciables para ejecutar funciones de aproximación, asociación y clasificación de patrones. Pueden entrenarse también otros tipos de redes, aunque la red multicapa es la más comúnmente usada. El término Backpropagation se refiere al proceso por el cual pueden calcularse las derivadas de error de la red, con respecto a los pesos de la red. Este proceso puede usarse con varias estrategias de optimización diferentes.
Se han desarrollado numerosas variaciones de Backpropagation, con el propósito de mejorar la velocidad del proceso de entrenamiento.
A continuación se da una breve historia de este tipo de red, se muestran aplicaciones y lo más importante, el algoritmo de Backpropagation, el cual se describe paso a paso.