Download Red Kohonen - WordPress.com

Document related concepts

Aprendizaje de cuantificación vectorial wikipedia , lookup

Mapa autoorganizado wikipedia , lookup

Propagación hacia atrás wikipedia , lookup

ART (RNA) wikipedia , lookup

Perceptrón multicapa wikipedia , lookup

Transcript
Fecha: 1 de julio 2015
Tema: Red Kohonen
OBJETIVO
El objetivo de este tipo de red es conocer su historia, arquitectura, el aprendizaje,
algoritmo, limitaciones y de cómo funciona.
INTRODUCCIÓN
Desde un principio han existido evidencias que han confirmado que el cerebro
preexisten neuronas que se organizan en varias zonas, de tal forma que la
información captada mediante los órganos sensoriales se representan internamente
en forma de mapas topológicos, según un cierto aprendizaje.
La mayoría de las redes neuronales artificiales se han extendido en varias
disciplinas, debido a sus
principalmente características de adaptabilidad,
confiabilidad y auto-organización.
Este modelo de Kohonen pertenece al grupo de algoritmos de codificación del
vector, aquel modelo genera un mapa topológico para ubicar de panera óptima, un
número fijo de vectores en un espacio de entrada de mayor dimensión, y así facilitar
la comprensión de los datos.
Una de las cualidades de este tipo de redes es la incorporación a la regla de
aprendizaje
no supervisado, esto hace que el número de neuronas que no
aprendan desaparezcan.
MARCO TEÓRICO
HISTORIA
Es bueno saber un poco de historia, ya que nos permite conocer sus orígenes,
inventores, protagonistas que han intervenido en proyectos que hoy por hoy han
servido y sirven de mucha utilidad, por tal razón se presenta una breve reseña.
Los trabajos de Von der Malsburg (1973) trazan la auto organización de las células
nerviosas.
En 1975, Fukushima propuso el cognitron que es una red competitiva multicapa y
auto-organizada.
Willshaw y von der Malsburg (1976) trabajaron sobre la formación de las conexiones
neuronales mediante Autoorganización y (1972, 1976) Grossberg) presentó sobre
la clasificación adaptativa de patrones.
Kohonen presentó en 1982 un sistemas con un comportamiento semejante, se
trataba de un modelo de red neuronal, con capacidad para formar mapas de
características de manera similar a lo de como ocurre en el cerebro.
Teuvo Kohonen mostró sobre
los modelos de
Mapas auto-organizativos (SOM), que intenta
simular los mapas topológicos de los fenómenos
sensoriales motores existentes en el cerebro, a
través de una organización matricial de neuronas
artificiales (Rodrigo, 2004)
Imagen.1. Teuvo Kohonen
RED KOHONEN
Cuando pensamos realizamos una compresión de la información formando
representaciones reducidas con los aspectos más relevantes de las mismas, sin
que se produzca por ello ninguna pérdida de conocimiento acerca de las
interrelaciones entre ellas.
El objetivo de Kohonen era demostrar que un estímulo externo (información de
entrada) por sí solo, suponiendo una estructura propia y una descripción funcional
del comportamiento de la red, tal modelo
El modelo tiene dos variantes:

LVQ (learning vector quantization)

TPM o SOM (topologic preserving map, o self organizing map)
Los vectores de entrada a la red pueden ser de diferentes dimensiones, siendo en
el caso de LVQ de una dimensión, y en el caso de SOM bidimensionales o incluso
tridimensionales.
Una de las propiedades importantes del cerebro es el significativo orden de sus
unidades de proceso. Este orden hace que unidades estructuralmente idénticas
tengan una diferente funcionalidad debida a parámetros internos que evolucionan
de forma diferente según dicha ordenación de las células.
Esta propiedad parece ser de fundamental importancia para la representación de
imágenes visuales, abstracciones en otras.
La estructura topológica de la red absorbe a su vez aquella que se produce entre
las características de los datos, y por tanto el sistema no es solo capaz de realizar
una clasificación de los estímulos, sino que además nos pondrá de relieve y
conservará las relaciones existentes entre las diferentes clases obtenidas.
Arquitectura de LVQ
Barbos et al., (2000), LVQ es un método de entrenamiento de vectores código con
etiqueta. Cada neurona es un vector de pesos más la etiqueta de clase.
Se trata de una red de dos capas con N neuronas de entrada y M de salida. Cada
una de las N neuronas de entrada se conecta a las M de salida mediante conexiones
hacia delante.
Fig.1. Arquitectura LVQ
Entre las neuronas de las capas de salida existen conexiones laterales, ya que cada
una de ellas tiene influencia sobre sus vecinas a la hora de calcular los pesos de las
conexiones hacia delante entre la capa de salida y la capa de entrada.
Las influencias laterales se suelen representar por una Gaussiana: mientras más
cercana más influencia, si la distancia es muy grande, la influencia llega a ser
despreciable
Fig.2. Representación Gaussiana
Arquitectura de SOM
Un modelo SOM está compuesto por dos capas de neuronas. La capa de entrada
formada por N neuronas, una por cada variable de entrada se encarga de recibir y
transmitir a la capa de salida la información procedente del exterior. La capa de
salida (formada por M neuronas) es la encargada de procesar la información y
formar el mapa de rasgos. Normalmente, las neuronas de la capa de salida se
organizan en forma de mapa bidimensional (Rodrigo, 2004).
Fig.3. Arquitectura SOM
Las conexiones entre las dos capas que forman la red son siempre hacia delante,
es decir, la información se propaga desde la capa de entrada hacia la capa de salida.
Cada neurona de entrada i está conectada con cada una de las neuronas de salida
j mediante un peso wji.
De esta forma, las neuronas de salida tienen asociado un vector de pesos Wj
llamado vector de referencia (o codebook), debido a que constituye el vector
prototipo (o promedio) de la categoría representada por la neurona de salida j.
SOM de fine una proyección desde un espacio de datos en alta dimensión a un
mapa bidimensional de neuronas.
Algoritmo
El algoritmo general de los mapas auto-organizados de Kohonen en forma de
tabla quedaría de la siguiente manera (Isasi y Galván, 2004).
1. Iniciar los pesos.- Asignar a los pesos valores pequeños aleatorios
2. Presentar una nueva entras.- El conjunto de aprendizaje se presenta
cíclicamente hasta llegar a la convergencia de la res.
3. Programar el patrón de entrada hasta la capa de competición.- Obtener
los valores de salida de la células de dicha capa.
4. Seleccionar la célula.- Cuya salida se mayor
5. Actualizar las conexiones entre la capa de entrada y la célula.- Así
como las de su vecindad, según su grado de vecindad.
6. Si α por encima de la umbral.- Volver al paso 2; en caso contrario FIN
Funcionamiento
Las M neuronas que forman la capa de salida reciben la información a través de
conexiones hacia delante con pesos wji y también a través de las conexiones
laterales con el resto de las neuronas de la capa de salida, de manera que la red
evoluciona hasta encontrar una situación estable en la que se activa una neurona
de salida, esta es la vencedora.
Una vez encontrada la vencedora, los pesos se actualizan, no sólo para la
vencedora, sino para todas las de su entorno.
Para las cercanas a la vencedora, las actualizaciones se reducen exponencialmente
según la distancia a aquella.
Limitaciones
El número de neuronas se decide de manera experimental, aumentando el número,
se mejora la aproximación del espacio de salidas, pero también incrementa
enormemente el tiempo de entrenamiento.
Para aprender nuevos datos, hay que repetir completamente todo el proceso de
aprendizaje, con todos los patrones.
Aplicaciones
Las aplicaciones que más destacan de los mapas de Kohonen son las relacionadas
con el reconocimiento de patrones, o extracción de características.
Reconocimiento de voz: Estas frecuencias se obtienen mediante un micrófono y
un preprocesador analógico y digital, ante fonemas parecidos se active en la red
neuronas próximas de salida, creando al final un mapa fonotópico.
Reconocimiento de texto manuscrito: Al igual que en el reconocimiento de voz,
convierte texto manuscrito, en un texto estándar con caracteres en ASCII.
Resolución de problemas de optimización: Se trata de buscar la mejor ruta y
menor costo es decir la red debe constar de tantas neuronas de salida.
CONCLUSIÓN
Si bien es cierto este tipo de red posee un aprendizaje no supervisado competitivo,
es decir las neuronas compiten unas con otras con el objetivo de llevar a cabo una
tarea cedida. Se pretende que cuando se presente a la red un patrón de entrada,
sólo una de las neuronas de salida (o un grupo de vecinas) se active.
El objetivo de este tipo de redes es clasificar los patrones de entrada en grupos de
características similares, tales neuronas compiten por activarse, permaneciendo
finalmente una neurona vencedora, por lo cual es resto son anuladas, son
impuestas a sus valores de respuesta mínimos.
Sin duda alguna no existe ningún maestro interno que indique si la red neuronal está
operando correctamente o incorrectamente porque esta red no dispones de ninguna
salida objetivo hacia la cual la red neuronal deba tender.
Autor: Edy L. Gómez Coaboy
BIBLIOGRAFÍA
Barbos, L; Gretchen K; Valdez A; Monzón J. 2000. Comparación de Topologías MLP
y LVQ de Redes Neuronales para la Detección de Arritmias Ventriculares.
Corrientes, Arg. Revista Comunicaciones Científicas y Tecnologías, vol.1 p4.
Isasi, P. y Galván, I. 2004. Redes de neuronas artificiales. Un enfoque práctico.
Pearson Education. Madrid, ES. p 239.
Rodrigo, S; 2004. Mapas Autoorganizativas de Kohonen (SOM). (En línea).
Consultado,
4
de
jul.
Formato
PDF.
Disponible
en:
http://www.inf.utfsm.cl/~rsalas/Pagina_Investigacion/docs/Apuntes/Redes%
20SOM.pdf.