Download ppt

Aprendizaje No Supervisado y
Redes de Kohonen
Aplicaciones y Estado del Arte
Hoy vamos a ver:
• Organización Tímbrica de Instrumentos Musicales
Utilizando Redes Neuronales.
Néstor Spedalieri y Jorge Xifra. 2001.
• Analysis and Downscaling Multi-Model Seasonal
Forecasts using Self-Organizing Maps.
J. Gutierrez et al. 2004.
• Self Organization of massive document collection.
Teuvo Kohonen et al. 2000.
• Un clasificador neuronal que explica sus respuestas:
aplicación al reconocimiento de dígitos manuscritos.
Leticia Seijas. 2002
Organización Tímbrica de
Instrumentos Musicales
Organización Tímbrica de Instrumentos Musicales Utilizando Redes
Neuronales.
Néstor Spedalieri y Jorge Xifra. Tesis de Licenciatura. 2001.
Organización Tímbrica de
Instrumentos Musicales
Timbre: “Atributo de la sensación auditiva en términos del cuál un
oyente puede juzgar que dos sonidos presentados en forma similar
son disímiles”
• Objetivo: A partir de un sonido, detectar de qué instrumento
proviene.
• Características:
– Utiliza transformada de wavelets para dividir el sonido por frecuencias
– Utiliza dos capas de mapas de Kohohen
Organización Tímbrica de Instrumentos Musicales
Esquema del modelo
Organización Tímbrica de
Instrumentos Musicales
Esquema del modelo:
-
-
-
Entrada: Nota C4 (262Hz, DO de la cuarta octava) de diferentes
instrumentos musicales.
Preprocesamiento: Transformada de wavelets para dividir por
frecuencias. Compresión de las componentes más altas.
Redes inferiores: Clasifican cada rango de frecuencias del sonido.
El resultado es una posición de la grilla (x,y) para cada rango de
frecuencias.
Red superior: Clasificación final del sonido.
Organización Tímbrica de
Instrumentos Musicales
Preprocesamiento
- Mono
- Ventana de tiempo: incluye ataque y una porción de la
fase estable
- Normalización de la intensidad (volumen)
- Transformada de wavelets
- Compresión de las frecuencias altas (para obtener 256
valores en cada una)
Organización Tímbrica de
Instrumentos Musicales
Mapas inferiores
- 15 mapas
- Tamaño: 10x10 (para tener una relación de 1 a 5 entre la
cantidad de entradas y de neuronas)
- Dimensión de la entrada: 256
Organización Tímbrica de
Instrumentos Musicales
Parámetros
- Cantidad de épocas: 256.000 para las inferiores y
150.000 para la superior para ordenamiento (para
convergencia: 10%)
- Eta inicial: 0.32
- Vecindario inicial: 10
Organización Tímbrica de Instrumentos Musicales
Colección Masiva de Documentos
Self Organization of massive document collection.
Teuvo Kohonen et al. 2000.
Colección Masiva de Documentos
Objetivos
- Clasificar un conjunto muy grande de documentos.
Proveer una herramienta gráfica para visualizar la
colección y navegar por la misma y para presentar los
resultados de una búsqueda.
- Verificar la escalabilidad de los mapas de Kohonen
Cantidad de documentos: 6.840.568 (abstracts de patentes)
Dimensión de la entrada: 500
Cantidad de neuronas: 1.002.240
Colección Masiva de Documentos
Modelos estadísticos de documentos
-
Histograma de frecuencia de palabras (comprimido)
Clusters de palabras
Componentes principales
Proyecciones aleatorias
Colección Masiva de Documentos
Construcción rápida de los mapas
-
Cómputo de la distancia: producto interno, almacenando sólo las
componentes que no son cero.
-
Estimación de mapas grandes a partir de mapas más chicos:
agregando filas y columnas.
-
Aceleración de la convergencia: guardando un puntero al último
ganador para cada patrón de entrenamiento
-
Procesamiento paralelo
Colección Masiva de Documentos
Implementación
-
6.840.568 documentos con 132 palabras en promedio
-
733.179 palabras diferentes. Eliminando las palabras comunes y las
que aparecen menos de 50 veces, quedan 43.222.
-
Proyección random de las palabras a vectores de dimensión 500.
-
Red final: 1.002.240 nodos.
-
Cuatro pasos. Red inicial: 435 nodos.
Colección Masiva de Documentos
Resultados
Pronóstico meteorológico
• Analysis and Downscaling Multi-Model Seasonal
Forecasts using Self-Organizing Maps.
J. Gutierrez et al. 2004.
Pronóstico meteorológico
Objetivos
- Discriminar diferentes “configuraciones meteorológicas”.
- Poder predecir fenómenos con antelación (por ejemplo,
“El Niño”)
Datos utilizados:
- Diferentes registros meteorológicos de Perú, entre 1979 y
1999. Un patrón=un día
Pronóstico meteorológico
Se va a querer analizar la distribución de los datos y compararla con
distribuciones conocidas.
Arquitectura:
- Preprocesamiento: componentes principales: de 7300 componentes
se quedan con sólo 30!
Pronóstico meteorológico
Tamaño de la red: 8x8 (100 patrones por neurona)
Pronóstico meteorológico
Reconocimiento de Dígitos
Manuscritos
Un clasificador neuronal que explica sus respuestas:
aplicación al reconocimiento de dígitos manuscritos.
Leticia Seijas. 2002.
Reconocimiento de Dígitos
Manuscritos
Objetivos:
- Reconocer dígitos manuscritos
- Poder detectar patrones dudosos, y obtener
las posibles alternativas
- “Explicar las respuestas”.
Arquitectura:
- Múltiples redes de Kohonen que clasifican el patrón
considerando diferentes características
- Un módulo analizador que combina las respuestas y
emite una respuesta global
Reconocimiento de Dígitos
Manuscritos
Reconocimiento de Dígitos
Manuscritos
-
Cada red analiza una componente direccional
Tabla de confiabilidad: indica el porcentaje de errores de cada red
respecto de cada clase
Umbral de confiabilidad: determina a partir de qué valor una
respuesta se considera confiable.
Funcionamiento:
- Para una entrada dada, cada red determina a qué clase pertenece.
- El módulo analizador suma los votos de cada red, ponderados por
su confiabilidad.
- La respuesta del sistema será la clase con mayor puntaje, si este
sobrepasa el umbral de confiabilidad.
Reconocimiento de Dígitos
Manuscritos
¿Cómo se explican las respuestas?
- Ante un patrón dudoso, se puede observar la decisión de cada una
de las redes (jueces) y determinar qué características del patrón
son similares a cada clase
Reconocimiento de Dígitos
Manuscritos
Reconocimiento de Dígitos
Manuscritos
Reconocimiento de Dígitos Manuscritos
Reconocimiento de Dígitos Manuscritos
FIN