Download archivo - Biología de Sistemas

Lección 6
Redes Neuronales Artificiales
Curso Básico
Curso
Aproximación al estudio de célula mínima
desde la Biología de Sistemas
Montevideo 6-10 diciembre 2010
Federico Morán
Departamento de Bioqímica y Biología Molecular
Universidad Complutense madrid, España
Algunos enlaces de interés
•  http://www.gc.ssr.upm.es/inves/neural/ann2/anntutor.htm
•  http://www.ee.umd.edu/medlab/neural/nn1.html
•  http://math.chtf.stuba.sk/Books_texts_ANN.htm
2
La
neurona
biológica
3
Las neuronas son células vivas
4
Diferentes morfologías de neuronas
5
De neuronas naturales a artificiales
6
Neurona formal (McCulloch-Pitts, 1943)
x1 w1j
w2j
x2
…
wnj
xn
!
yj
f
#0 si I j < !
Binaria: I j = " w ij x i ! y j = $
i
%1 si I j " !
Valores
reales: I j = ! w ij x i " # $
i
!función escalón
# sigmoide
#
y j = f (I j ) siendo f "
# gaussiana
#$
...
7
Autómatas celulares
Sistemas dinámicos discretos capaces de describir
sistemas dinámicos continuos
Stanislaw Ulam
DISCRETO: “Que las
propiedades, el espacio y el
tiempo del autómata tienen un
número de estados finitos”
Los autómatas celulares son una
alternativa a los sistemas de
ecuaciones diferenciales parciales
• Células
John von Neumann
• Rejilla
• Estados
John Horton Conway
• Reglas de transición
• Condiciones de
contorno
• Vecindad
Toffoli T. (1984) Cellular automata as an alternative (rather than an approximation of) differential
equations in modeling physics. Physica 10, 117- 127
Vichiniac G.Y. (1984) Simulating physics with cellular automata Physica 10D, 96-116
http//:www.wolfram.com/articles
8
Neurona formal vs. autómata celular
Θ
x1 w1j
w2j
x2
…
wnj
xn
f
yj
%0 si ! w ij x i " # < 0
'
i
yj = &
'1 si ! w ij x i " # $ 0
i
(
x1
x2
s
x
x4
!s(t + 1) = f ({x i (t)},s(t))
"
# x(t + 1) = g({x i (t)},s(t))
x3
9
Historia de las Redes Neuronales Artificiales
(Primera Epoca)
AÑO
AUTORES
CONTRIBUCIÓN
1943
W. McCulloch, W. Pitts
Neurona formal
1949
Donald Hebb
Aprendizaje hebbiano
1950
N. Wiener
Cybernetics
1951 y 56
J. von Neuman
Automata y computacion neuronal.
Redundancia
1951
M. Minsky
Neurocomputer
1957 y 62
F. Rosenblatt
Regla delta y Perceptron
1962
B. Widraw
ADALINE
1963
Winograd y Cowan
Proceso distribuido
1969
M. Minsky y S. Papert
Critica al perceptron
10
Perceptrón
11
Aprendizaje
• Supervisado: se conoce la respuesta esperada y
se puede evaluar el grado de acierto
– Refuerzo positivo/negativo
– Cálculo del error (regla delta)
• No supervisado: no se conoce si la respuesta es
acertada o no; no se conoce el tipo de respuesta
(clasificación)
– Autoorganizado
– Hebbiano
12
Primeras redes adaptativas:
El perceptrón original (Rosemblatt, 1959)
Θ
x1 w1j
w2j
x2
…
wnj
xn
f
yj
%!1 si
'
yj = &
'+1 si
(
"w
"w
ij
xi ! # < 0
ij
xi ! # $ 0
i
i
Primera regla de aprendizaje (Rosemblatt):
wij(nuevo) = wij(viejo) + β yj xi
+1 respuesta correcta
β es la constante de refuerzo (“critico”)
!1 respuesta incorrecta
{
Procedimiento:
- Se presenta la muestra en veces sucesivas
- Se van modificando los pesos en cada paso hasta llegar a una situación
estacionaria
- El estado final depende de los valores iniciales de los pesos (mínimos locales)
Otras reglas de aprendizaje:
• Tipo Hebb: β=0
• Convergente ! = 0 respuesta correcta
{
signo(y j x i ) respuesta incorrecta
13
Primeras redes adaptativas: regla delta
Θ
x1 w1j
w2j
x2
…
wnj
xn
yj
f
tj (respuesta deseada)
%0 si ! w ij x i " # < 0
'
i
yj = &
'1 si ! w ij x i " # $ 0
i
(
w ij (nuevo) = w ij (viejo) + ! (t j " y j )x i
! : constante aprendizaje (0 < ! " 1)
! j = (t j " y j )
Rosenblatt demostró en 1962 que con esta regla de
aprendizaje el error siempre disminuye
14
Demostración de la disminución del error en la regla delta
15
Límites del perceptrón monocapa
Θ
x1
x2
w11
w21
f
yj
16
Límites del
perceptrón: el
operador Xor
(Minsky y Papert,
1969)
17
Historia de las Redes Neuronales Artificiales
(Epoca Intermedia)
AÑO
AUTORES
CONTRIBUCIÓN
1971
T. Kohonen
Memoria asociativa
1973
Ch. von der Maslsburg
Columnas de Orientacion
1975
S.I. Amari
Aprendizaje competitivo
1976
Willsaw y von der Malsburg Retinotopia
1977
J. Anderson
Autoasociación
1977 y 79
K. Fukushima
Cognitron y neocognitron
1978
S. Grossberg
Autoorganizacion de redes
1982
T. Kohonen
Self Organizing Map (SOM)
1982 y 84
J. Hopfield
Redes resonantes o de Hopfield
1985
Ackley, Hinton, Sejnowski
Maquina de Boltzman
18
Redes de Hopfield
19
Redes Resonantes o Redes de Hopfield
•  Las redes de Hopfield están formadas por neuronas
binarias, es decir que sus estado sj pueden adoptar
valores (1, -1) ó (1, 0)
•  Las neuronas están conectadas todas con todas
mediante pesos sinápticos con las siguientes
restricciones:
- wij = wji (conexiones simétricas)
- wii = 0 (no se conectan a sí mismas)
•  Regla de actualización de la actividad:
•  La actividad se va actualizando de modo recursivo
hasta que no varíe en un turno completo
• En estas condiciones la energía E siempre disminuye:
20
Ejemplos de redes de Hopfield:
memoria asociativa
21
Ejemplos de redes
de Hopfield (2):
memoria asociativa
y reconstrucción de
imágenes.
22
Convergencia de una red
de Hopfield: minimización
de la “energía”
23
Aprendizaje no supervisado
•  El aprendizaje implica la modificación de los pesos “sinápticos”
•  La red presenta ENTRADA y SALIDA, pero no hay retorno desde fuera
•  La red debe descubrir por sí misma patrones, características, regularidades,
correlaciones, etc. en los datos de entrada y codificarlos en la salida
•  Tanto unidades como conexiones han de ser capaces de autoorganización
•  Sólo es posible si existe redundancia en los datos de entrada:
“La redundancia proporciona conocimiento” (Barlow, 1989)
•  Tipos de tareas que se pueden realizar:
- modelización de procesos biológicos
- agrupar por familias
- análisis de componentes principales
- “clustering” (agrupamiento o clasificación)
- localiación de prototipos
- codificación
- extracción de carácterísticas comunes
- organización topológica de datos
24
Aprendizaje
competitivo no
supervisado
25
SOM:
Mapas
topológicos o
autoorganizados
de Kohonen
26
SOM (2)
27
Clasificación de partículas virales mediante SOM
28
Cálculo de estructura secundaria de proteínas a partir de DC en UV lejano
SOMCD
Cálculo de
estructura
secundaria de
proteínas a
partir de DC en
UV lejano
http://somcd.geneura.org/
31
Historia de las Redes Neuronales Artificiales
(Segunda Epoca)
AÑO
AUTORES
CONTRIBUCIÓN
1986
Rumelhart, Hinton y
Williams
Regla delta generalizada,
backpropagation
1986
Rumelhart, McClelland y
PDP-group
Paralell distributed processing
1986
Sejnowski y Rosenberg
NETtalk
1989
T. Kohonen
LVQ
32
Perceptron
multicapa
33
Regla delta
generalizada:
propagación del
error hacia atrás
34
Dos pasos:
propagacion de
actividad hacia delante
y del error hacia atrás.
35
Demostración de la disminución del error en la regla delta generalizada
36
Solución al problema XOR
37
Ejemplo de
aplicación con
perceptrón
multicapa
38
NETtalk: Sejnowski, T. J. and Rosenberg, C. R. (1986) NETtalk: a parallel network that
learns to read aloud, Cognitive Science, 14, 179-211.
39
Redes Neuronales en Bioinformática
Algoritmos supervisados
•  Genetic Algorithm Neural Networks for Regulatory Region Identification
Robert G. Beiko and Robert L. Charleboi
http://bioinformatics.org.au/gann/
•  Análisis de microarrays de DNA: diagnóstico de
diferentes tipos de cáncer basándose en sus
expresiones génicas características.
Khan et al. Nature Med. 7: 673-679 (2001)
•  Predicción de la estructura secundaria a partir de la secuencia de
aminácidos de una proteína. B Rost: PHD: predicting one-dimensional
protein structure by profile based neural networks.
Meth. in Enzymolgy, 266, 525-539, (1996)
http://www.predictprotein.org/
http://www.cmpharm.ucsf.edu/~nomi/nnpredict.html
40
41
42