Download Redes Neuronales

Introducción a las Redes
Neuronales y su aplicación a la
Investigación Astrofísica
Patricio García Báez
[email protected]
Patricio García Báez
1
Sumario
◆ Introducción
◆ Inspiración
biológica
◆ Modelado Neuronal
◆ Implementaciones
◆ Aplicaciones
◆ Grupo de trabajo
◆ Futuro de las RNAs
Patricio García Báez
2
Redes Neuronales en la IA
Ramas de la Inteligencia Artificial en sus inicios:
◆ Simbólica-deductiva:
– Sistemas formales de reglas y manipulación
simbólica
– Rama más conocida de la IA
◆ Conexionista:
– Inspirada en las redes neuronales biológicas
– Métodos Inductivos: a partir de ejemplos
Ambas tratan de resolver problemas no algoritmicos a partir
de la experiencia almacenada como conocimiento
Patricio García Báez
3
RNA como Modelo de Computación
Conexionista vs. Von Neumann
• Masivamente paralelo
• Arquitectura secuencial
• Datos y programa
indiferenciable en las
conexiones
• Separa claramente datos
del programa en la
memoria
• Solución inducida por
aprendizaje
• Solución como algoritmo
o programa introducido
• Impredicibilidad de
resultados
• Resultados totalmente
predecibles
• Gran tolerancia a fallos
• No tolera errores
Patricio García Báez
4
Áreas de Trabajo
Procesamiento de Señales
Análisis de Datos
Reconocimiento de Patrones
Control
Inteligencia Artificial
Desarrollo de aplicaciones
basadas en técnicas
conexionistas
Aplicaciones
Informática
Implementaciones
Sicología
Arquitectura y Teoría de RN
Matemáticas
Patricio García Báez
Construcción de modelos
neuronales
Proponer y validar modelos de
funcionamiento de arquitecturas
neuronales
Neurofisiología
Física
5
Inspiración biológica
“Entender el cerebro y emular su potencia”
◆ Cerebro:
– Gran velocidad de proceso
– Tratamiento de grandes cantidades de información
procedentes de:
• Los sentidos
• Memoria almacenada
– Capacidad de tratar situaciones nuevas
– Capacidad de aprendizaje
Patricio García Báez
6
Inspiración biológica
◆
Neuronas:
– Árbol dendrítico de
entradas
– Un axón de salida
– Sobre de104 sinapsis
– Comunicación mediante
Potenciales de Acción (PA)
– Periodo refractario de 10-3
segundos entre PAs
Patricio García Báez
7
Inspiración biológica
◆
Transmisión neuronal:
– Impulso eléctrico que
viaja por el axón
– Liberación de
neurotransmisores
– Apertura/cierre de
canales iónicos
– Variación potencial en
dendrita
– Integración de entradas
en soma
– Si se supera umbral de
disparo se genera un PA
Patricio García Báez
8
Inspiración biológica
◆
Red Neuronal Biológica:
–
–
–
–
de 1010 a 1011 neuronas
1014 sinapsis
Organización por capas
Organización por niveles:
• Sistema Nervioso
Central (SNC)
• Circuitos entre regiones
• Circuitos locales
• Neuronas
• Árboles dendríticos
• Microcircuitos
neuronales
• Sinapsis
• Canales iónicos
Patricio García Báez • Moléculas
9
Inspiración biológica
◆
Características SNC:
– Inclinación a adquirir
conocimiento desde la
experiencia
– Conocimiento almacenado
en conexiones sinápticas
– Gran plasticidad neuronal
– Comportamiento altamente
no-lineal
– Alta tolerancia a fallos
(muerte neuronal)
– Apto para reconocimiento,
percepción y control
Patricio García Báez
10
Modelado Neuronal
◆ Una
red neuronal artificial (RNA) es un sistema
de procesamiento de información que tiene
ciertas aptitudes en común con las redes
neuronales biológicas:
– El procesamiento de información ocurre en muchos
elementos simples llamados neuronas.
– Las señales son transferidas entre neuronas a través de
enlaces de conexión.
– Cada conexión tiene un peso asociado, el cual, típicamente,
multiplica a la señal transmitida.
– Cada neurona aplica una función de activación (usualmente
no lineal) a su entrada de red (suma de entradas pesadas)
para determinar su salida.
Laurene Fausett
Patricio García Báez
11
Modelado Neuronal
◆ Enfoques:
– Computacional:
• Modelos eficientes, potentes y simples
• Áreas de aprendizaje inductivo y reconocimiento de
patrones
– Cognitivo:
• Interesado por capacidades cognitivas de los modelos
• Centrados en representación del conocimiento
– Biocognitivo:
• Premisa la plausibilidad biológica
– Psicofisiológico:
• Mecanismos naturales de procesos cognitivos reales
Patricio García Báez
12
Modelado Neuronal
◆
Neurona Artificial:
–
–
–
–
Grupo de entradas (x)
Pesos sinápticos (w)
Función suma (net)
Función de activación
(act)
– Una única salida (y)
– Funcionamiento en modo
aprendizaje o ejecución
Patricio García Báez
x1
x2
w1,j
w2,j
wn,j
xn
función
suma

función
de activación
netj(t)
xj(t)
j
umbral (bias)
13
Modelado Neuronal
◆
Neurona Natural vs. Artificial:
– Neurona = Unidad de proceso
– Conexiones sinápticas =
Conexiones Pesadas
– Efectividad sináptica = Peso
sináptico
– Exitatorio/Inhibitorio = Pesos +
ó– Efecto combinado de sinapsis
= Función suma
– Activación-> Ratio disparo =
Función activación -> salida
Patricio García Báez
14
Modelado Neuronal
◆
Arquitecturas Neuronales:
– Según e/o/s
•
•
•
Número y tipo de entradas
Elementos ocultos
Elementos de salida
– Según conectividad entre
capas
Monocapa feedforward
Capa de
entrada
Capa de
salida
Multicapa feedforward
• Feedforward (hacia
adelante)
• Redes Recurrentes
• Estructuras Enrejadas
(Lattice)
Capa de
entrada
Capa de
salida
Multicapa feedforward
parcialmente conectada
Capa
oculta
Patricio García Báez
Capa
oculta
Capa de
salida
15
Modelado Neuronal
◆
Arquitecturas Neuronales:
– Según conexión entre
capas
Recurrente con
interconexiones
laterales
• Totalmente conectados
(full-conexión)
• Parcialmente conectados
• Conexión uno a uno
– Sincronía (actualización de
valores)
•
•
•
Simultánea
Aleatoria
Según orden topológico
Salidas
Recurrente con
neuronas ocultas
Entradas
Patricio García Báez
16
Modelado Neuronal
◆ Aprendizaje:
– Estimulación de la RN por el entorno
– Cambios en la RN debido a estimulación
– Nueva forma de responder debido a cambios de la
estructura interna de la RN
Patricio García Báez
17
Modelado Neuronal
◆ Paradigmas
de aprendizaje:
– Aprendizaje Supervizado
– Aprendizaje por Reforzamiento
– Aprendizaje Auto-organizado (No Supervizado)
– Precalculado o prefijado
Patricio García Báez
18
Modelado Neuronal
◆ Aprendizaje
supervizado:
– Se presentan pares de patrones de entrada y salida
deseada
– Pasos:
•
•
•
•
•
Fijar pesos aleatorios las conexiones
Seleccionar par de entrenamiento
Presentar patrón de entrada y calcular salida
Calcular error o discrepancia con la salida deseada
Aplicar regla de aprendizaje
– Dudosa plausibilidad biológica:
• Requiere propagar información hacia atrás
• Requiere de instructor
Patricio García Báez
19
Modelado Neuronal
◆ Aprendizaje
no supervizado:
– Se presentan sólo patrones de entrada
– Basado en la redundancia en las entradas
– Aprendizaje extrae de los patrones:
• Familiaridad con patrones típicos o promedios del
pasado
• Análisis de las Componentes Principales
• Clustering
• Prototipos, correspondientes a las categorias existentes
• Codificación
• Mapa de Características
– Grandes plausibilidades biológicas
Patricio García Báez
20
Modelado Neuronal
◆ Algoritmos
de aprendizaje más comunes:
– Perceptrón multicapa o Backpropagation (BPN)
• Aprendizajes supervizados bajo corrección de error
– Mapas Auto-organizados (SOM)
• Aprendizajes competitivo no supervizados
– Extractores de características (GHA ó ICA)
• Aprendizajes hebbianos no supervizados
Patricio García Báez
21
Modelado Neuronal
◆ Propiedades
y Capacidades
– Generalización
– Estructura altamente
paralela
– No linealidad
– Mapeo de EntradaSalida
– Adaptabilidad
– Respuesta graduada
Patricio García Báez
– Información Contextual
– Tolerancia a fallos
– Implementación VLSI
– Uniformidad en el
Análisis y Diseño
– Analogía
Neurobiológica
22
Implementaciones
◆ Medio
biológico vs. medio silicio
– Velocidad:
• Neuronas: 10-3 s., Puertas lógicas: 10-9 s.
– Tamaño:
• Neuronas 5 ó 6 órdenes de magnitud menores
– Eficiencia energética:
• Cerebro: 10-16 J/op./s., mejores ordenadores: 10-6
– Fan-In:
• Promedio de 10.000 sinapsis por neurona, mucho mayor
que en silicio
Patricio García Báez
23
Implementaciones
◆ Neurosimuladores:
– Software:
• Flexibles
• Económicos
– Hardware:
• Eficientes
Patricio García Báez
24
Implementaciones
◆
Tipos Neurosoftware:
–
–
–
◆
Programación directa
Librerías
Entornos de desarrollo
Características
deseables:
–
–
–
–
Facilidad de uso
Potencia
Eficiente
Extensibilidad
Patricio García Báez
25
Implementaciones
◆
Neurohardware:
–
–
–
–
–
–
VLSI analógico
Opto-Electrónicos
FPGAs
Neuro-Chips (VLSI Digital)
Neuro-Tarjetas
Máquinas paralelas de
propósito general
– Biochips
◆
Objetivo:
– Acelerar fases de aprendizaje
y ejecución
Patricio García Báez
26
Implementaciones
◆ Biochips
Patricio García Báez
27
Aplicaciones
◆ Fases
de desarrollo:
Selección de
la arquitectura
neuronal
Selección del
conjunto de
aprendizaje
Selección del
conjunto de
validación
Patricio García Báez
Fase de
aprendizaje
Fase de
validación
¿OK?
Implantar en
aplicación
28
Aplicaciones
◆ Tipos
de problemas abordables:
– Asociación
– Clasificación de Patrones
– Predicción
– Control
– Aproximación
– Optimización
◆ En
general:
– Difícil describir conocimiento/forma de resolverlos
– Se dispone de una gran cantidad de datos
Patricio García Báez
29
Problemas de Asociación
– NETalk (Sejnowski & Rosemberg):
• A partir de textos escritos genera
gonemas correspondientes. Mejoras
durante aprendizaje
– Tratamiento de imágenes:
• Ruido placas matrículas
• Restitución
– Compresión de Imágenes:
Patricio García Báez
30
Problemas de Clasificación de
Patrones
– Conteo de células:
• Clasificación de glóbulos
blancos
– Inspección visual:
– Seguimiento de pupila
Patricio García Báez
31
Problemas de Predicción
– Airline Marketing Tactician (AMT):
• Monitoriza y recomienda la reserva de
plazas
– Neuralstocks:
• Servico de predicciones financieras a
corto plazo
Patricio García Báez
32
Problemas de Control
– Control de robots:
• Cinemática inversa
• Dinámica
– ALVINN:
• Conducción de
vehículo
Patricio García Báez
33
Problemas de Aproximación
– Aproximación de funciones
utilizando RBFs
Problemas de
Optimización
– Optimización de rutas:
• TSP
Patricio García Báez
34
Aplicaciones en
Astronomía/Astrofísica
– Reconocimiento de estrellas/galaxias
– Clasificación espectral y morfológica de
estrellas/galaxias
– Estudios de superficies planetarias
– Estudio del campo magnético interplanetario
– Determinación de parámetros en atmósferas
estelares
– Clasificación de poblaciones de enanas blancas
• Neural Networks, 16 (2003)
Patricio García Báez
35
Aplicaciones en
Astronomía/Astrofísica
– Identificación y caracterización de objetos: QSO's,
galaxias IR ultraluminosas, fuente de Rayos
Gamma
– Determinación de desplazamientos fotométricos al
rojo
– Eliminación de ruido en pixels
– Descomposición de datos simulados multifrecuencia para la misión Planck
– Búsqueda de cúmulos de galaxias
• Neural Networks, 16 (2003)
Patricio García Báez
36
Aplicaciones en
Astronomía/Astrofísica
– Análisis de datos recogidos por instrumentos de
nueva generación para astrofísica de alta energía:
•
•
•
•
Telescopio de neutrinos AUGER y ARGO
Telescopio de rayos gamma Cherenkhov
Interferómetro de ondas gravitacionales VIRGO
Búsqueda de bosones Higgs
– AstroNeural, paquete AstroMinnig: reducción y
análisis de datos
• Neural Networks, 16 (2003)
Patricio García Báez
37
Grupo de Trabajo
◆ Grupo
de Computación Neuronal y Adaptativa
y Neurociencia Computacional
– Departamento de Estadística, I. O. y Computación, ULL
– I. U. de Ciencias y Tecnologías Cibernética, ULPGC
– Área de Conocimiento: Ciencias de la Computación e
Inteligencia Artificial
◆ Líneas de trabajo
– Neurociencia Computacional y Cognición Computacional:
Comunicación Neuronal;Aprendizaje y Memoria.Procesos y
Estructuras Cognitivas/Perceptivas Teorías y Modelos
– Redes Neuronales Naturales y Artificiales: Diseño de Nuevos
Modelos de RNAs
– Aplicación de la Computación Neuronal en Dominios
Biomédicos, Clínicos y Medioambientales
Patricio García Báez
38
Grupo de Trabajo
◆ Campos aplicativos estudiados
– Procesamiento de Señales Neurofisiológicas
– Identificación de Espectros Luminescentes
– Agente de Catalogación Automática de Webs
– Sistema Automático de Detección de Ataques
Informáticos
– Diagnóstico de Enfermedades
Neurodegenerativas
..... xi ......
Entradas
mli
...... dl ........
Capa
SOM
hl
...... zl ........
Capa de
Holguras
upl
gpq
Capa de
Etiquetado
... vp
Mezcla
Espectrofotómetro
de Luminescencia
Analysis
Mapa de Rechazo
Capa de Tolerancias
2
1
Espectro
Preprocesado
2
1
Características
Espectrales
Identificador de Espectros
(Capa de Etiquetado)
Etiquetado
Mapa de SOM
Comparación de Espectros
(Capa SOM)
Patricio García Báez
Comp. 1 Comp. 2 Comp. 3
39
Grupo de Trabajo
◆ Docencia Impartida en la ULL
– Introducción a los Modelos de Computación Conexionista
• 3er curso, Ing. Técnica en Informática de Sistemas, ETSII
• 30 a 40 alumnos
• http://soma.etsii.ull.es/imcc/
– Introducción a la Inteligencia Artificial
• 3er curso, ITI de Gestión/Sistemas
• 50 a 60 alumnos
• http://soma.etsii.ull.es/iia/
– Modelos Conexionistas y Autómatas
• 5º curso, Ing. Informática, ETSII
• 10 a 20 alumnos
• http://soma.etsii.ull.es/mcya/
Patricio García Báez
40
Futuro de las RNAs
– Futuro prometedor, si nos seguimos acercando a
las característicias de los organismos vivos:
• Evolución, Computación Colectiva, Manejo del
Conocimiento, ...
• Natural Computing => Soft Computing
– Presente problemático: dificultades de escalabilidad
• ¿Tal vez algunos parámetros de nuestros modelos son
erroneos?
• ¿Tal vez no disponemos de la suficiente potencia
informática?
• ¿Tal vez nuestros modelos no han alcanzado la
suficiente complejidad?
• ¿Tal vez nos falta en nuestros modelos algún concepto
fundamental?
Patricio García Báez
41