Download Red de Hopfield

Redes de Hopfield
Red de Hopfield
Hertz. Kroght, Palmer
Introduction to the theory of neural
computation
1
Redes de Hopfield
La memoria asociativa
• Almacenar un conjunto de patrones y
recuperarlos en función de su contenido
(content addressable):
Los patrones son binarios: {0,1} en cada nodo i.
2
Redes de Hopfield
Solución algorítmica: almacenar en una lista los
patrones y buscar el más cercano en el sentido de
la distancia de Hamming
Solución neuronal: construir una red tal que partiendo d e
un estado inicial
recupere el estado
correspondiente a la memoria almacenada
3
Redes de Hopfield
4
Redes de Hopfield
En el espacio de posibles configuraciones, las memorias o
patrones almacenados por la red deben corresponder a
estados estables y atractores de la dinámica de la red.
Cada memoria tiene una base de atracción.
5
Redes de Hopfield
El modelo
Las unidades son binarias {-1,+1}
La dinámica de la red viene dada por (Si es el estado de la
unidad i):
Obviando el umbral
Tipos de dinámica:
Síncrona: se actualizan todos los estados a la vez
Asíncrona: un proceso aleatorio simula la dinámica
6
Redes de Hopfield
Dinámica asíncrona:
En cada instante se selecciona aleatoriamente una
unidad y se actualiza su estado.
Criterio de parada: estabilidad de la red (converge a un
estado estable)
Construcción de los pesos: por reforzamiento mediante
correlación.
7
Redes de Hopfield
Caso de un solo patrón:
Condición de estabilidad
dado que
Un conjunto de pesos que cumple la
condición de estabilidad es
La red tiene dos estados estables y atractores, el
patrón deseado y su opuesto.
Input neto
8
Redes de Hopfield
Caso de múltiples patrones (modelo de Hopfield)
Condición de estabilidad
Regla de Hebb:
reforzamiento
sináptico
proporcional a la
correlación entre las
entradas y salidas.
Input neto
La estabilidad depende del término crosstalk
9
Redes de Hopfield
Capacidad de almacenamiento
Considerese la cantidad, proporcional al término crosstalk
Si es negativo, es del mismo signo que el componente
del patrón que se desea recuperar/almacenar
Si es positivo, convierte al componente del estado en
inestable.
10
Redes de Hopfield
Considerese un conjunto de patrones aleatorios, con
probabilidades idénticas para los estados de los
componentes e independientes entre componentes.
Probabilidad de que
un bit sea inestable
La probabilidad de error aumenta con el número de patrones
Especificando un límite a la probabilidad de error podemos
calcular el número de patrones admisible.
11
Redes de Hopfield
El término crosstalk es la
suma de Np variables
aleatorias independientes con
valor -1 o +1.
Su distribución es la
binomial de media cero y
varianza
Puede aproximarse por una
gausiana
12
Redes de Hopfield
Atendiendo a la recuperación perfecta de los bits para la
mayor parte de los patrones, se exige
para obtener los N bits con probabilidad 99%
Usando la expansión asintótica
Se obtiene
Y la condición
Para N grande:
da la capacidad
13
Redes de Hopfield
Si se exige que todos los patrones se recuperen sin error
que da la capacidad
Si los patrones son ortogonales
Todos los términos crosstalk son nulos
Aparentemente se obtienen N memorias estables, sin embargo
Para N patrones ortogonales
En este caso todos los estados son estables trivialmente.
14
Redes de Hopfield
La función de energía
La función de energía
es función de {Si}: las
configuraciones de la
red
La función de energía es decreciente para cualquier evolución
dinámica de los estados de la red.
Los patrones memorizados son mínimos locales de la red.
La dinámica de la red corresponde a la búsqueda de un
mínimo local de la función de energía.
15
Redes de Hopfield
La condición suficiente para que H sea una función de
energía es que los pesos sean simétricos.
C corresponde a los pesos wii
(ij) son todos los pares salvo simetría
Nuevo estado de la unidad i.
Implica que la función de energía no cambia
H’-H<0
Usualmente se anulan las autoconexiones para
evitar estados espúreos.
16
Redes de Hopfield
Estados espurios
Los estados espurios son estados estables y atractores que
no corresponden a patrones almacenados/deseados
La simetría de la función energía
implica que los estados
son
estables y atractores
Los estados mezcla: corresponden a combinaciones lineales
de un número impar de patrones
Son equidistantes de sus componentes
Condición de estabilidad en el caso de la
suma, se puede replicar para las otras
combinaciones
17
Redes de Hopfield
La analogía física
Cada uno de los espines está
influenciado por un campo magnético
compuesto de la influencia externa y
la influencia de los espines vecinos.
Un material magnético puede
representarse como una malla
regular de átomos magnéticos
(spins) que pueden orientarse en
varias direcciones (2 en nuestro
caso de interés). En el modelo
Ising estas orientaciones
corresponden a valores
Las interacciones wij son necesariamente simétricas
A bajas temperaturas el espín se alinea con su campo local.
El modelo de Hopfield corresponde al
caso de campo externo nulo.
18
Redes de Hopfield
Dinámica estocástica a temperatura finita
La temperatura controla la pendiente de la función en torno a cero y
la diferencia entre la función signo determinista y la elección
aleatoria pura .
19
Redes de Hopfield
Estado promedio de un espín aislado conmutando
aleatoriamente
Función tangente
hiperbólica
20
Redes de Hopfield
Teoría del campo medio: aproximación al valor promedio
de los espines cuando se producen interacciones.
Las interacciones
producen N ecuaciones
nolineales en N
incógnitas.
21
Redes de Hopfield
Redes estocásticas: las unidades se comportan
aleatoriamente
La pseudo temperatura
es un índice del ruido.
Los estados espurios serán menos frecuentes que los patrones deseados. La
red sale de minimos locales indeseados.
Las cantidades de interés son los valores promedio de los estados de las
unidades. La estabilidad se redefine en términos de los valores promedio.
Ecuaciones de campo medio
22
Redes de Hopfield
asumiendo
tenemos
Eliminando términos crosstalk
Corresponde a la ecuación de un ferromagneto
Desaparición de estados espurios al
aumentar la temperatura sobre un
valor crítico, dependiente del tipo de
estado espurio.
23
Redes de Hopfield
Aplicación en proceso de imagen
Las redes de hopfield se aplican en el contexto del procesado Bayesiano de la
imagen como mecanismos de modelado y cálculo de la estimación óptima.
El caso más usual es el de la reconstrucción de la imagen, dados valores di
corruptos de la imagen se desea obtener Vi los valores originales restaurados.
La restauración lleva consigo un
problema de interpolación.
24
Redes de Hopfield
Los estados de las unidades son los valores de la imagen restaurada, los
valores de la imagen original son los inputs externos. Se trata de
unidades continuas.
Se construye una función de energía que incorpora las restricciones
deseadas de suavidad y fidelidad.
Caso 1D
En esta función no existe más que un mínimo global, se puede buscar por
descenso de gradiente directamente
25
Redes de Hopfield
Para modelar las
discontinuidades se introducen
procesos linea, modelados
mediante unidades binarias
Existe una discontinuidad entre Vi y Vi+1
La línea anula la restricción de suavidad
Las unidades línea tienen un alto costo m, para evitar la solución trivial nula
26
Redes de Hopfield
Extensión 2D trivial
Penaliza contornos abiertos, penalizando
plaquetas <ijkl> con numero impar de
unidades de contorno activa.
27