1
Download Capítulo 6
Document related concepts
Transcript
Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende Areas de Aplicación • Areas donde se aplican ANN: – – – – – – – – Ingeniería ( Control, Robótica, Visión ) Ciencias de la computación. Neurofisiología. Física. Matemáticas Ciencia del Conocimiento. Economía y finanzas Estadísticas. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2 Aplicaciones. • Algunas aplicaciones: – – – – – – – – – – Reconocimiento de patrones. Predicción. Regresión. Compresión. Procesamiento de Señales Data Mining. Series de Tiempo. Finanzas. Reconocimiento de voz, caras, caracteres . Restauración de imagenes.etc. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3 Ejemplo Modelos de Regresión Redes FeedForward Modelos de Regresión • Tipo de Redes: – Feedforward , Feedforward Recurrentes • Característica: – Las redes Feedforward son aproximadores universales. – Pueden modelar funciones altamente no-lineales, donde modelos lineales tradicionales, no se comportan bien. – No necesitan conocomiento del fenómeno, sólo un conjunto de datos. – Aprendizaje es supervizado. – Corrección del Error Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5 Formulación del problema • Se desea modelar la siguiente función xi 1 f s ( xi ) ei f s ( xi ) 10(1 exp( 0.5xi )) donde ei ~ N (0, 2 I10 ) Profesor: Dr. Héctor Allende con i 1,...,20 2 1/ 3 Redes Neuronales Artificiales 6 Tipo de ANN utilizada • La entrada a la red fue normalizada entre [-1,1]. • Tiene 1 neurona de entrada y 1 de salida. • La red tiene 1 capa escondida y 3 neuronas escondidas. • La red es del tipo FeedForward con algoritmo de aprendizaje Back-Propagation. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7 Proceso de Aprendizaje. Desempeño del BackPropagation Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8 Datos experimentales y salida de la ANN Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9 Ejemplo Series de Tiempo y Predicción Redes FeedForward Formulación del problema • Tipo de Redes: – FeedForward. • Modelar los datos de la “Línea Aerea Internacional” modelo (ARIMA), de orden (0,1,1)x(0,1,1)12 (1 B12 )(1 B) xt (1 0 B12 )(1 B)at Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11 ANN de los datos de la Aerolínea INPUT LAYER x t-1 HIDDEN LAYER OUTPUT LAYER -1.1339 -3.1022 x t-12 -1.5058 xt 1.2433 x t-13 -0.0883 1 Profesor: Dr. Héctor Allende 1.5182 1 Redes Neuronales Artificiales 12 Datos de la Aerolínea Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13 Ejemplo Clasificación de Patrones LVQ (Learning vector quantizacion) Clasificación de Patrones • Tipo de Redes: – LVQ (Learning vector quantizacion). • Característica: – Consiste en clasificar un conjunto de elementos en un conjunto de clases. – Se debe utilizar redes con aprendizaje supervisado. – Las ANN son ampliamente usada en problemas de clasificación. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15 Formulación del Problema • Patrones: - 3 - 2 - 2 0 0 0 0 2 2 3 P 0 1 1 2 1 1 2 1 1 0 C [ 1 1 1 2 2 2 2 1 1 1] – P son los patrones de entrada (p1 , p2) – C es la clase a la cual pertenece cada patrón. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16 Gráfico de la ubicación de los Patrones. Rojo : Clase 1 Celeste : Clase 2 Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17 Parámetros de la ANN • Neuronas escondidas: 4 • Razón de aprendizaje: 0.1 • Por ciento de cada clase: Clase 1: 60%, Clase 2: 40% Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18 Resultado de la Red neuronal. + Vectores de entrada. O Pesos de las neuronas Rojo: patrones clasificados como clase 1 Celeste: patrones clasificados como clase 2. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19 Clasificación de caracteres Counterpropagation Network Redes CPN Clasificación de Caracteres • Tipo de Redes: – CPN. • Característica: – Consiste en un problema de clasificación de patrones. – Se debe utilizar redes con aprendizaje supervisado. – Las ANN son ampliamente usada en estos problemas de clasificación. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21 Formulación del Problema • Se tiene un conjunto de letras como una imagen binaria de 5x6 pixeles, “1”cuando el pixel esta encendido y “0” cuando el pixel esta apagado • La red tiene que asociar correctamente el código ASCII a la imagen. T rep x ( A) (0 0 1 0 0 0 1 0 1 0 1 0 0 0 111 1111 0 0 0 11 0 0 0 1) Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22 Ejemplo de Imágenes de Letras Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 23 Representación de las letras x T rep ( A) 0 0 1 0 0 0 1 0 1 0 1 0 0 0 1 Código ASCII de A 65 1 1 1 1 1 1 0 0 0 1 1 0 0 0 1 T y ( A) (0 1 0 0 0 0 0 1) Código binario Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 24 Letras de Testeo Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 25 Ejemplo Problemas de Heurística: Traveling Salesperson Problem (TSP) Redes de Hopfield Problemas de Heurística: “Problema del Vendedor Viajero” • Tipo de Redes: – Hopfield bidimensional con memoria continua. • Característica: – Problema del tipo NP (no-polinomial). – Consiste en un problema de Optimización. – Se debe utilizar redes con aprendizaje no supervisado. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 27 Formulación del Problema • Condiciones: • Un vendedor viajero debe visitar un número de ciudades, visitándolas todas, solo una vez. • Moverse de una ciudad a otra tiene un costo asociado ( dependiendo de la distancia) . • El vendedor viajero debe volver al punto de partida. • Se debe encontrar la secuencia correcta que minimiza el costo. • (n!): 2n = número de recorridos distintos Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 28 Análisis del Problema • Sea C1, C2, .., CK las ciudades involucradas. • A cada ciudad se le asocia un número que representa el orden en el que fue visitada. – – – – La representación es binaria. Ej: 1era ciudad = (1 0 0... 0) Ej: 2da ciudad = (0 1 0 ... 0) Etc... Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 29 Matriz que define el Problema 1 .... j1 .... j2 .... K 1 .... 0 ..... 0 ..... 0 C1 ......................... 0 .... 1 ..... 0 ..... 0 C k1 .......................... 0 .... 0 ..... 1 ..... 0 C k2 .......................... 0 .... 0 ..... 0 ..... 1 C K Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 30 Análisis del Problema • La idea es construir una memoria de Hopfied Bidimensional, tal que la salida es la matriz Y que tiene la forma anterior, y será la solución. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 31 Restricciones para Y 1. Cada ciudad no puede ser visitada más de 1 vez. Cada fila tiene no más de un 1. 2. 2 ciudades no pueden ser visitadas al mismo tiempo Cada columna no puede contener más que un 1. 3. Todas las ciudades deben ser visitadas Cada fila o columna debe tener al menos un 1. 4. El costo o distancia total debe ser minimizado. Sea dk1 k2 el costo entre las ciudades Ck1 y Ck2. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 32 Pesos asociados a las Neuronas. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 33 Construcción de los pesos. 1. Cada ciudad debe aparecer 1 vez en el tour: • Una neurona en una fila debe inhibir todas las otras de la misma fila. wk(12)j2k1 j1 A k1k2 (1 j1 j2 ), Profesor: Dr. Héctor Allende Redes Neuronales Artificiales A R 34 Construcción de los pesos. 2. No debe haber con el mismo número de orden en un tour. • Una neurona en una columna debe inhibir todas las otras de la misma columna. wk( 22 )j2k1 j1 B j1 j2 (1 k1k2 ), B R Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 35 Construcción de los pesos. 3. La mayoría de las neuronas deben tener valor cero entonces se debe usar inhibición global wk(32 )j2k1 j1 C Profesor: Dr. Héctor Allende CR Redes Neuronales Artificiales 36 Construcción de los pesos. 4. Distancia total debe ser minimizada, entonces las neuronas reciben entrada inhibitoria proporcinal a la distancia. wk( 42 )j2 k1 j1 Dd k1k 2 ( j1 j2 '1 j1 j2 ´´ 1 ), DR donde 0 si j1 1 y j2 K j2 ' j2 e.t.o.c. K 1 si j1 K y j2 1 j2 ' ' j2 e.t.o.c. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 37 Función de Energía • Función de energía de la memoria discreta de Hopfield: 1 T E y Wy y T ( x t ) 2 • Formula de actualización: y(t 1) y(t ) Wy (t ) C1̂ y(t ) [1̂ y (t )] Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 38 Inicio del Algoritmo. TSP 50 ciudades Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 39 Solución Encontrada. TSP 50 ciudades Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 40
