Download Redes Neuronales Artificiales

Redes
Neuronales
Artificiales
Dr. Juan José Flores Romero
División de Estudios de Posgrado
Facultad de Ingeniería Eléctrica
[email protected]
http://lsc.fie.umich.mx/~juan/
Curso Redes Neuronales Artificiales
CONTENIDO





Introducción
Aprendizaje
Perceptrones mono-nivel
Perceptrones multi-nivel
Otras Arquitecturas
Redes Neuronales
2
Redes Neuronales Artificiales
1.- INTRODUCCION
Inteligencia Artificial
Redes Neuronales
3
Cerebro Humano



Redes Neuronales
1011 Neuronas
(procesadores)
Poder
desconocido
1000 – 10000
conecciones por
neurona
4
Neuronas
Redes Neuronales
5
Neuronas Artificiales



Súper-simplificación
Analogía Metafórica
Sorprendente poder de cómputo
Redes Neuronales
6
A Very Brief History











William James (1890): Describe (en palabras y figuras) redes
distribuídas simples y el aprendizaje de Hebbian.
McCulloch & Pitts (1943): Unidades binarias con barrera de activación
que realizan operaciones lógicas (prueban computación universal!).
Hebb (1949): Formulación de una regla fisiologica (local) de
aprendizaje.
Rosenblatt (1958): El Perceptrón—la primera máquina real que
aprende.
Widrow & Hoff (1960): ADALINE y la regla Widrow-Hoff de aprendizaje
supervisado.
Minsky & Papert (1969): Las limitaciones del perceptrón—el “Invierno
Neuronal”
v.d.Malsburg (1973): Mapas Auto-organizables.
Grossberg (1980): Theoría de la Resonancia Adaptiva.
Hopfield (1982/84): Redes de Atractores. Teoría de patrones de
asociación y memoria.
Kohonen (1982): Mapas Auto-organizables.
Rumelhart, Hinton, & Williams (1986): Backpropagation
Redes Neuronales
7
Características de RNAs






El estilo de procesamiento es mas bien como el de
procesamiento de señales, no simbólico. La combinación de
señales para producir nuevas señales contrasta con la ejecución
de instrucciones almacenadas en memoria
La información se almacena en un conjunto de pesos, no en un
programa. Los pesos se deben adaptar cuando le mostramos
ejemplos a la red.
Las redes son tolerantes a ruido: pequeños cambios en la
entrada no afecta drásticamente la salida de la red.
Los conceptos se ven como patrones de actividad a lo largo de
casi toda la red y no como el contenido de pequeños grupos de
celdas de memoria.
La red puede generalizar el conjunto de entrenamiento y así
tratar con ejemplos no conocidos.
RNA son buenas para tareas perceptuales y asociaciones.
Justamente con lo que se topa la computación tradicional.
Redes Neuronales
8
Arquitecturas de RNAs

Perceptrones de un
solo nivel
Redes Neuronales
9
Arquitecturas de RNAs

Perceptrones de varios niveles
Redes Neuronales
10
Arquitecturas de RNAs

Redes Recurrentes
Redes Neuronales
11
Representación de Conocimiento



Conocimiento = Información Almacenada
+ Modelos
Tarea = Aprender un “Modelo del Mundo”
Conocimiento:



Ejemplos:



Del mundo (información a priori)
Observaciones (ejemplos)
Etiquetados (respuesta deseada)
Sin etiqueta
Ejemplos (+ y -):



Entrenamiento (Training Set)
Validación (Validation Set)
Prueba (Test Set)
Redes Neuronales
12
Diseño de una RNA


Dado un conj. de Ejemplos
Seleccionar una arquitectura adecuada:





Tipo de conexión
# neuronas/capa
Entrenar con TS
Validar con VS
Probar con TS
Redes Neuronales
13
IA y RNAs

IA -> desarrollar máquinas que realizan
tareas cognitivas para las cuales los
humanos son aptos.
Representación
IA
Aprendizaje
Razonamiento
Redes Neuronales
14
Modelo de una Neurona
Redes Neuronales
15
Bias (Sesgo)
Redes Neuronales
16
Funciones de Activación
Redes Neuronales
17
RNAs como Gráficos Dirigidos
Redes Neuronales
18
Problema 1.
Redes Neuronales
19
Problema 2.
Redes Neuronales
20
Problema 3.
Redes Neuronales
21
Problema 4.
Redes Neuronales
22
Problema 5.
Redes Neuronales
23