Download Redes Neuronales Introducción - GTE

Redes Neuronales
Introducción
José Manuel Quero Reboul
Dpto. Ingeniería Electrónica
Universidad de Sevilla
Indice
•
•
•
•
•
Motivación
Arquitectura
Clasificación
Leyes de Aprendizaje
Aplicaciones
CALCULO
• Aritmética
1 cerebro=1/10 calculadora de
bolsillo
• Visión
1 cerebro=1000 supercomputadores
MEMORIA
DILEMA
• Datos
cerebro mucho peor
• Direccionada por
contenido
cerebro mucho mejor
Arquitectura Von Newman
BUS
BUS
CPU
CPU
MEM
MEM
E/S
E/S
E/S
E/S
• Unico nodo de procesamiento (800Mhz)
Bus
de
• Memoria
pasivade
Bus
dedatos:
datos:Cuello
Cuello
deBotella
Botella(Secuencialidad)
(Secuencialidad)
• Baja conectividad
Cerebro
•
•
•
•
1010 neuronas (10ms)
104 dendritas
1014 pesos de conexión
Los pesos almacenan y
procesan
Definición
Computación neuronal:
Computación
Computación en
en redes
redes masivas
masivas paralelas
paralelas de
de
procesadores
procesadores simples
simples yy no
no lineales,
lineales, que
que
almacenan
almacenan todo
todo su
su contenido
contenido en
en los
los pesos
pesos
de
de conexión
conexión
Propiedades:
– Eliminación del cuello de botella
– Inteligencia artificial llevada al límite
Indice
•
•
•
•
•
Motivación
Arquitectura
Clasificación
Leyes de Aprendizaje
Aplicaciones
Neurona Artificial
Ley de Propagación
neti = ∑ Wij I j
j
Ley de Activación
a (t + 1) = F (a (t ), net1 (t ), net 2 (t ),...)
Función de Salida
o = f (a )
Patrón de Conectividad
Entorno
Ley de Aprendizaje
wij (t + 1) = g ( wij (t ), neti (t ), a (t ), o(t ))
Función de activación
σ(s)
1
s
Función sigmoidal: σ(x) =
1
__________
1 + e -x
Red neuronal
salidas
Topologías:
•Monocapa
neuronas
•Multicapa
•Redes forward
capas
•Redes recurrentes
pesos
•Redes realimentadas
•Redes de funciones
radiales
entradas
Indice
•
•
•
•
•
Motivación
Arquitectura
Clasificación
Leyes de Aprendizaje
Aplicaciones
Red neuronal
Clasificación:
•Tipo de señales
Analógicas/Binarias
•Tipo de Aprendizaje
Competitivo/Supervisado
•Funcionalidad
Clasificación/Memoria/Optimización
Red neuronal
Clasificación
Binarias
Supervisado
No Supervisado
Analógicas
Supervisado
No Supervisado
Hopfield Grossberg Perceptrón Perceptrón Fukushima Kohonen
Multicapa
Memoria Memoria Clasificación Clasificación Clasificación Memoria
Indice
•
•
•
•
•
Motivación
Arquitectura
Clasificación
Leyes de Aprendizaje
Aplicaciones
Aprendizaje
• El conocimiento es obtenido a partir de la
experiencia y almacenado en los pesos
• Tipos de aprendizajes:
–
–
–
–
Preprogramadas
Ley de Hebbs
Aprendizaje competitivo
Aprendizaje supervisado
• La red extrae y copia la estructura interna del
conocimiento del entorno
Leyes de Aprendizaje
o =W I
T
W :Vector de pesos
I : Señales de entrada
dW
= W! = φ (⋅) I − γ (⋅)W
dt
φ (⋅), γ (⋅) :Funciones escalares (W,I,o)
o
:salida
Función de Tranferencia lineal
Leyes de Aprendizaje
•Justificación
1) Ley de Hebb: Cuanto mayor sea la excitación,
mayor será el refuerzo de la conexión
φ (⋅) I
2) Factor de Olvido: Proporcional a la propia magnitud − γ (⋅)W
•Condiciones (estabilidad dinámica)
1) si o(t ) acotada ⇒ W (t ) finita ∀t
2)
si I ≠ 0 ⇒ W (t ) →
/ 0 t →∞
Leyes de Aprendizaje
Caso 1
W! = αI − βW
α , β ctes y
β >0
t


−β t
− β ′t
W (t ) = e W (0) + α ∫ e I (t ′) dt ′
0


Comentarios
para t → ∞
W es copia ponderada en el tiempo de I
W(0) es olvidada
Leyes de Aprendizaje
Caso 2 W! = αoI − βW
t


T
W (t + 1) = {(1 − β )Ι + αI (t ) I (t )}W (t ) = P(t ) W (t ) = ∏ P(k )W (0)
 k =0

Comentarios
•En la mayoria de los casos diverge o tiende a 0
•Para β = ∞ y α < 0 ⇒ Detector de Novedades
(Proyección Ortogonal)
Leyes de Aprendizaje
Caso 3 W! = αI − βoW
W! = (αΙ − βWW T ) I
(1)
3.1 Análisis de convergencia de W
Multiplicando (1) por 2W T
d
2
2
!
2W W = ( W ) = 2o(αΙ − β W ) (2)
dt
α
2
Como o ≠ 0 ⇒ W →
∀I
β
T
Leyes de Aprendizaje
Caso 3 W! = αI − βoW
3.2 Análisis de la orientación de
Supongamos I (t ) con propiedades estadísticas estacionarias
E {W! W }= E {αΙ − βoW W }
{ }
Si I y W independientes ⇒ E I W = I~ (cte en t)
Sea θ = WI~
 d ~T

~TW ) d
 d  I~ T W  
 dt I W

 d (cosθ ) 
(
I


E
W  = E
W  = E ~
WW
− ~
~
2


I ⋅ W dt
 dt

 dt  I ⋅ W  
 I ⋅W



(
)
Leyes de Aprendizaje
I~ T
I~ ⋅ W
El primer término se calcula de (1) multiplicando por
2
El segundo término se calcula de (2) dado que d ( W ) = 2 W d ( W )
dt
dt
Sustituyendo y simplificando se tiene:
~
I
α
 dθ 
E W  = −
sen θ ⇒ La dirección media de W tiende a I~
W
 dt 
~
I
α
Luego
W (∞ ) =
~
β I
Este resultado puede obtenerse directamente de la
ecuación de aprendizaje W! = αI − βoW
Leyes de Aprendizaje
Caso 4 W! = αoI − βoW
{
}
con α , β > 0
Considerando que E II T W = C II matriz de correlación
Se puede demostrar que W tiende al máximo autovector de C II
Conclusión:
•El vector de pesos almacena la información de entrada
•Se efectúa la comparación entrada/peso en la neurona
Indice
•
•
•
•
•
Motivación
Arquitectura
Clasificación
Leyes de Aprendizaje
Aplicaciones
Propiedades de las RN
•
•
•
•
Procesamiento de un gran conjunto de datos
Baja densidad de información
Robustez ante fallo en estructura
Robustez ante inconsistencia en los datos de
entrada
• Datos y reglas de procesamiento confundidos en
las conexiones
• Procesamiento altamente paralelo
• Capacidad de Autoorganización. Adaptabilidad
¿Cuando usar Redes Neuronales?
• Cuando se quiere desarrollar un modelo
(funcional, clasificador, predicción de serie
temporal,...)
• Ejemplos
– Finanzas: Modelos de mercado
– Ingeniería: Modelado de procesos y control
adaptativo
– Medicina: Diagnosis
¿Cuando usar Redes Neuronales?
• En análisis de datos con baja densidad de
información
• Ejemplos:
–
–
–
–
Reconocimiento de imágenes
Reconocimiento de firmas
Análisis de encuestas
Predicción meteorológica