Una red neuronal recurrente no tiene una estructura de capas definida, sino que sus conexiones entre las neuronas son arbitrarias. Incluye conexiones que apuntan “hacia atrás”, de manera que se retroalimentan entre las neuronas dentro de las capas. En cada timestep o instante de tiempo, esta neurona recurrente recibe la entrada de la capa anterior, así como su propia salida del instante de tiempo anterior para generar su salida.
El nombre de estas redes se atribuye por un conjunto de algoritmos que “realizan un intercambio de información entre neuronas de una manera más compleja y por sus características pueden propagar la información hacia adelante en el tiempo, lo cual equivale a predecir eventos”. Tienen una enorme potencia para todo lo relacionado con el análisis secuencial, como el análisis de textos, sonidos y vídeos.
La propagación hacia atrás de errores o retropropagación (backpropagation) es un método de cálculo del gradiente utilizado en algoritmos de aprendizaje supervisado para entrenar redes neuronales artificiales. El método emplea un ciclo propagación – adaptación de dos fases. Una vez que se ha aplicado un patrón a la entrada de la red como estímulo, se propaga desde la primera capa a través de las capas siguientes de la red hasta generar una salida. La señal de salida se compara con la salida deseada y se calcula una señal de error para cada una de las salidas.
Existen diferentes tipos de redes neuronales dependiendo del número de capas ocultas y la forma de realizar la retroalimentación. Las más utilizadas son las redes de gran memoria de corto plazo (LSTM).
Redes de memoria a corto plazo (LSTM)
Las redes LSTM o Long Short Term Memory son redes neuronales recurrentes convencionales que amplían su memoria para aprender de experiencias importantes que han pasado hace mucho tiempo. Incorporan una serie de pasos para decidir qué información va a ser almacenada y eliminada. Gracias a esto se solventan los problemas de las redes recurrentes convencionales, pues tienden a crecer enormemente o a desvanecerse con el tiempo. Esta información se almacena o no en función de su importancia. La asignación de importancia se decide a través de los pesos, que también se aprenden mediante el algoritmo. En una neurona LSTM hay tres “puertas de información”: input gate, forget gate y output gate. Estas puertas determinarán si se permite o no una nueva entrada, se elimina la información porque no es importante o se deja que afecte a la salida en el paso de tiempo actual
Visita este enlace para conocer más información sobre IA.
También puedes ver nuestra entrada sobre redes neuronales recurrentes aquí
Un comentario