Download Redes Neuronales Introducción - GTE
Document related concepts
Transcript
Redes Neuronales Introducción José Manuel Quero Reboul Dpto. Ingeniería Electrónica Universidad de Sevilla Indice • • • • • Motivación Arquitectura Clasificación Leyes de Aprendizaje Aplicaciones CALCULO • Aritmética 1 cerebro=1/10 calculadora de bolsillo • Visión 1 cerebro=1000 supercomputadores MEMORIA DILEMA • Datos cerebro mucho peor • Direccionada por contenido cerebro mucho mejor Arquitectura Von Newman BUS BUS CPU CPU MEM MEM E/S E/S E/S E/S • Unico nodo de procesamiento (800Mhz) Bus de • Memoria pasivade Bus dedatos: datos:Cuello Cuello deBotella Botella(Secuencialidad) (Secuencialidad) • Baja conectividad Cerebro • • • • 1010 neuronas (10ms) 104 dendritas 1014 pesos de conexión Los pesos almacenan y procesan Definición Computación neuronal: Computación Computación en en redes redes masivas masivas paralelas paralelas de de procesadores procesadores simples simples yy no no lineales, lineales, que que almacenan almacenan todo todo su su contenido contenido en en los los pesos pesos de de conexión conexión Propiedades: – Eliminación del cuello de botella – Inteligencia artificial llevada al límite Indice • • • • • Motivación Arquitectura Clasificación Leyes de Aprendizaje Aplicaciones Neurona Artificial Ley de Propagación neti = ∑ Wij I j j Ley de Activación a (t + 1) = F (a (t ), net1 (t ), net 2 (t ),...) Función de Salida o = f (a ) Patrón de Conectividad Entorno Ley de Aprendizaje wij (t + 1) = g ( wij (t ), neti (t ), a (t ), o(t )) Función de activación σ(s) 1 s Función sigmoidal: σ(x) = 1 __________ 1 + e -x Red neuronal salidas Topologías: •Monocapa neuronas •Multicapa •Redes forward capas •Redes recurrentes pesos •Redes realimentadas •Redes de funciones radiales entradas Indice • • • • • Motivación Arquitectura Clasificación Leyes de Aprendizaje Aplicaciones Red neuronal Clasificación: •Tipo de señales Analógicas/Binarias •Tipo de Aprendizaje Competitivo/Supervisado •Funcionalidad Clasificación/Memoria/Optimización Red neuronal Clasificación Binarias Supervisado No Supervisado Analógicas Supervisado No Supervisado Hopfield Grossberg Perceptrón Perceptrón Fukushima Kohonen Multicapa Memoria Memoria Clasificación Clasificación Clasificación Memoria Indice • • • • • Motivación Arquitectura Clasificación Leyes de Aprendizaje Aplicaciones Aprendizaje • El conocimiento es obtenido a partir de la experiencia y almacenado en los pesos • Tipos de aprendizajes: – – – – Preprogramadas Ley de Hebbs Aprendizaje competitivo Aprendizaje supervisado • La red extrae y copia la estructura interna del conocimiento del entorno Leyes de Aprendizaje o =W I T W :Vector de pesos I : Señales de entrada dW = W! = φ (⋅) I − γ (⋅)W dt φ (⋅), γ (⋅) :Funciones escalares (W,I,o) o :salida Función de Tranferencia lineal Leyes de Aprendizaje •Justificación 1) Ley de Hebb: Cuanto mayor sea la excitación, mayor será el refuerzo de la conexión φ (⋅) I 2) Factor de Olvido: Proporcional a la propia magnitud − γ (⋅)W •Condiciones (estabilidad dinámica) 1) si o(t ) acotada ⇒ W (t ) finita ∀t 2) si I ≠ 0 ⇒ W (t ) → / 0 t →∞ Leyes de Aprendizaje Caso 1 W! = αI − βW α , β ctes y β >0 t −β t − β ′t W (t ) = e W (0) + α ∫ e I (t ′) dt ′ 0 Comentarios para t → ∞ W es copia ponderada en el tiempo de I W(0) es olvidada Leyes de Aprendizaje Caso 2 W! = αoI − βW t T W (t + 1) = {(1 − β )Ι + αI (t ) I (t )}W (t ) = P(t ) W (t ) = ∏ P(k )W (0) k =0 Comentarios •En la mayoria de los casos diverge o tiende a 0 •Para β = ∞ y α < 0 ⇒ Detector de Novedades (Proyección Ortogonal) Leyes de Aprendizaje Caso 3 W! = αI − βoW W! = (αΙ − βWW T ) I (1) 3.1 Análisis de convergencia de W Multiplicando (1) por 2W T d 2 2 ! 2W W = ( W ) = 2o(αΙ − β W ) (2) dt α 2 Como o ≠ 0 ⇒ W → ∀I β T Leyes de Aprendizaje Caso 3 W! = αI − βoW 3.2 Análisis de la orientación de Supongamos I (t ) con propiedades estadísticas estacionarias E {W! W }= E {αΙ − βoW W } { } Si I y W independientes ⇒ E I W = I~ (cte en t) Sea θ = WI~ d ~T ~TW ) d d I~ T W dt I W d (cosθ ) ( I E W = E W = E ~ WW − ~ ~ 2 I ⋅ W dt dt dt I ⋅ W I ⋅W ( ) Leyes de Aprendizaje I~ T I~ ⋅ W El primer término se calcula de (1) multiplicando por 2 El segundo término se calcula de (2) dado que d ( W ) = 2 W d ( W ) dt dt Sustituyendo y simplificando se tiene: ~ I α dθ E W = − sen θ ⇒ La dirección media de W tiende a I~ W dt ~ I α Luego W (∞ ) = ~ β I Este resultado puede obtenerse directamente de la ecuación de aprendizaje W! = αI − βoW Leyes de Aprendizaje Caso 4 W! = αoI − βoW { } con α , β > 0 Considerando que E II T W = C II matriz de correlación Se puede demostrar que W tiende al máximo autovector de C II Conclusión: •El vector de pesos almacena la información de entrada •Se efectúa la comparación entrada/peso en la neurona Indice • • • • • Motivación Arquitectura Clasificación Leyes de Aprendizaje Aplicaciones Propiedades de las RN • • • • Procesamiento de un gran conjunto de datos Baja densidad de información Robustez ante fallo en estructura Robustez ante inconsistencia en los datos de entrada • Datos y reglas de procesamiento confundidos en las conexiones • Procesamiento altamente paralelo • Capacidad de Autoorganización. Adaptabilidad ¿Cuando usar Redes Neuronales? • Cuando se quiere desarrollar un modelo (funcional, clasificador, predicción de serie temporal,...) • Ejemplos – Finanzas: Modelos de mercado – Ingeniería: Modelado de procesos y control adaptativo – Medicina: Diagnosis ¿Cuando usar Redes Neuronales? • En análisis de datos con baja densidad de información • Ejemplos: – – – – Reconocimiento de imágenes Reconocimiento de firmas Análisis de encuestas Predicción meteorológica