Download Redes Neuronales – Unidad 3 – Parte III

Redes
Neuronales
Parte III
Facultad de Ciencias Exactas y Tecnología
Universidad Nacional de Tucumán
Mg. Ing. Gustavo E. Juárez
UNIDAD TEMÁTICA :
REDES NEURONALES
Introducción. De/iniciones. Topologías típicas. Redes Supervisadas. Modelo
Backpropagation – Redes No Supervisadas – Modelo de Kohonen –
ImplementaciónenMatlabmedianteToolkitsobreRedesNeuronales.ANFIS.
RED
NEURONAL
ARTIFICIAL
ARQUITECTURA
ARQUITECTURA DE UNA RED NEURONAL
DEFINICIONES
“SedenominaArquitecturaalatopología,estructuraopatrón
deconexionadodeunaredNeuronal”.
EnlasRedesNeuronalesArti/iciales,losnodosseconectanpormediodesinapsis,las
cualesdeterminanelcomportamientodelaRed.
ARQUITECTURA DE UNA RED NEURONAL
DEFINICIONES
“ElconjuntodeunaomascapasconstituyelaRedNeuronal”
Las sinapsis son direccionales, ya que la información va desde una neurona pre
sinápticaaotrapostsinaptica.
Las neuronas suelen organizarse en grupos denominados Capas, en donde las
neuronassuelenserdelmismotipo.
ARQUITECTURA DE UNA RED NEURONAL
CARACTERÍSTICAS
Laorganizaciónydisposicióndelasneuronasdentrodeunaredneuronal
sedenominatopología,yvienedadapor:
•  Elnúmerodecapas:monocapaomulticapa.
•  Lacantidaddeneuronasporcapa:unaomas.
•  elgradodeconectividad:realimentada,unidireccional,
•  Eltipodeconexiónentreneuronas:exceitatoriaoinhibitoria.
ARQUITECTURA DE UNA RED NEURONAL
En general podemos encontrar tres tipos de neuronas
arti/iciales,dondecadaunadelascualestienesucontraparte
enelsistemanervioso:
1. 
Las que reciben información directamente desde el
exterior, a las cuales se las denomina neuronas de
entrada.
2. 
Las que reciben información desde otras neuronas
arti/iciales, a las cuales se las denomina neuronas
ocultas. Es en estas neuronas, en particular en sus
sinapsis, donde se realiza la representación de la
informaciónalmacenada.
3. 
Las que reciben la información procesada y las
devuelvenalexterior.Aestasneuronasselasdenomina
neuronasdesalida.
ARQUITECTURA DE UNA RED NEURONAL
Lasredesneuronasarti/icialesposeenunaestructuracomolasiguiente:
TIPIFICACIÓN
Lasredesneuronasarti/iciales,setipi/icanen:
1.  RedesNeuronalesMonocapas:eslaarquitecturamassencillayaquese
tieneunacapadeneuronasqueproyectanlasentradasaunacapade
neuronasdesalidadondeserealizanloscalculos.
TIPIFICACIÓN
2.  Redes Neuronales Multicapas: es la generalización de la anterior,
existiendounconjuntodecapasintermediasentrelaentradaylasalida
(capasocultas).Puedeestartotaloparcialmenteconectada.
TIPIFICACIÓN
RED
NEURONAL
ARTIFICIAL
APRENDIZAJE
OPERACIONES CON REDES NEURONALES
Durante la operatoria de una red neuronal podemos distinguir dos fases o
modosdeoperación:
APRENDIZAJE
Para poder aprender, las redes neuronales se sirven de un algoritmo de
aprendizaje,elcuales:
“Procesoporelqueseproduceelajustedeparametroslibresdelared
apartirdeestimulacionporelentornoquerodeaalared”
El tipo de aprendizaje vendra determinado por la forma en la que dichos
parametros son adaptados (seleccionar el conjunto de pesos sinapticos que
lepermitaalaredrealizarcorrectamenteeltipodeprocesamientodeseado.
APRENDIZAJE POR CONVERGENCIA
Si denominamos wij(t) al peso que conecta la neurona presinaptica j con la
neurona postsinaptica i en la iteracion (t), el algoritmo de aprendizaje, en
funcion de las senales que en el instante t llegan, procedentes del entorno,
proporcionaraelvalorΔwij(t)quedalamodi/icacionquesedebeincorporar
endichopeso,elcualactualizadoquedaradelasiguienteforma:
Δwij(t+1)=wij(t)+Δwij(t)
APRENDIZAJE POR CONVERGENCIA
Apartirdelade/iniciondeltipo,numeroyarquitecturaneuronalqueseelija,
sedebencargarlospesossinapticosinicialesdelasneuronas.Dichosvalores
engeneralpuedensernulosoaleatorios.
El metodo convencional para el aprendizaje o entrenamiento de la red
neuronal es el que asigna valores a las neuronas, evalua resultados e
iterativamente reasigna valores. Esto ocurre hasta que la neurona alcanza el
rendimiento deseado.
Aleatorios
DATOS PARA
ENTRENAMIENTO
PUEDEN SER
Secuenciales
APRENDIZAJE. TIPIFICACION
Aprendizaje
Supervisado
Se introducen valores de entrada a la red, y los valores de salida
generados por esta se comparan con los valores de salida correctos.
Si hay diferencias, se ajusta la red en consecuencia.
Aprendizaje
de refuerzo
Se introducen valores de entrada, y lo único que se le indica a la red
si las salidas que ha generado son correctas o incorrectas.
Aprendizaje
No
Supervisado
No existe ningún supervisor. De esta manera lo único que puede
hacer la red es reconocer patrones en los datos de entrada y
crear categorías a partir de estos patrones.
Aprendizaje
Hibrido
Existen en la red los dos tipos de aprendizaje básicos,
supervisado y auto-organizado, normalmente en distintas
capas de neuronas.
EJECUCION - ESTABILIDAD
Una vez que el sistema ha sido entrenado, el modulo de aprendizaje se
desconecta, por lo que los pesos y la estructura de la red neuronal quedan
/ijos,encontrándoselaredneuronaldispuestaparaprocesarlosdatos.
TIPIFICACIÓN DE MODELOS DE APRENDIZAJE
RED
NEURONAL
ARTIFICIAL
TIPIFICACION
REDES NEURONALES TRADICIONALES
Perceptrón Multicapa
(Supervisado-Unidireccional)
Redes de Hopfield
(Supervisado-Unidireccional)
Red recurrente para el modelado de
memorias asociativas.
Se crean atractores que constituyen la
memoria almacenada y a los cuales se
evoluciona a partir de un cierto patrón inicial
Red neuronal con procesamiento
unidireccional de la información del tipo
“Feed-Forward” con procesamiento hacia
adelante
Se entrenan a través de ejemplos, en un
proceso de minimización del error entre las
entradas y las salidas
ENTRADA
SALIDA
REDES FEEDFORWARD
Las redes neuronales con conexión hacia delante (redes feedforward)
poseen conexiones entre las distintas neuronas de la red con un único
sentido(desdelaentradadelaredhacialasalidadelamisma).
REDES NEURONALES PROFUNDAS
(DEEP BELIEF NEURONAL NETWORKS)
Una combinación de las dos arquitecturas
másutilizadas:
•  Redes multicapa tipo perceptrón pero
entrenadascomoredesrecurrentes.
•  Di/ícilesdeentrenar:muylentas
•  Comportamiento similar al del cerebro
humano.Informacióndistribuida.
•  Varios récords en reconocimiento de
patrones, similares o mejores que los de
humanos.
REDES BACKPROPAGATION
Claveenelresurgimientodelasredesneuronales.
1974 Primera descripción del algoritmo fue dada por Werbos. Generalización del
algoritmo de Widrow-Hoff para redes multicapa con funciones de
transferenciano-linealesydiferenciables.
1989 Hornik,StinchcombeyWhitedesarrollaronunaredneuronalconunacapa
desigmoidesescapazdeaproximarcualquierfunciónconunnúmero/inito
dediscontinuidades.Propiedaddelageneralización.
RED PERCEPTRON MULTICAPA (MLP)
CARACTERISTICAS
•  Funciónacotada,monótonacrecienteydiferenciable.
•  SonRedesdetipoFeedforward.
•  Dedoscapas.
a
y
ALGORITMO BACKPROPAGATION
Descripcióndelproceso:
• 
Trasinicializarlospesosdeformaaleatoriayconvalorespequeños,seleccionamos
elprimerpardeentrenamiento.
• 
Calculamoslasalidadelared
• 
Calculamosladiferenciaentrelasalidarealdelaredylasalidadeseada,conloque
obtenemoselvectordeerror
• 
Ajustamoslospesosdelareddeformaqueseminimiceelerror
• 
Repetimoslostrespasosanterioresparacadapardeentrenamientohastaqueel
errorparatodoslosconjuntosdeentrenamientoseaaceptable.
REDES NEURONALES NO SUPERVISADAS
Auto-organizativas:duranteelprocesodeaprendizajelareddebedescubrirporsimisma
regularidadesocategorías=>lareddebeautoorganizarseenfuncióndelasseñalesprocedentes
delentorno.
MapadeRasgosAutoorganizados,SOM(Kohonen,80)
Características:
•  Redcompetitiva
•  Arquitecturaunidireccionaldedoscapas:
•  Capadeentrada:mneuronasunaporcadavectordeentrada.
•  Capasegundaserealizaelprocesamiento,formandoelmapaderasgos.TienenxXny
neuronasoperandoenparalelo.
•  Todaslasneuronasdeentradaestánconectadasalasneuronasdelasegundacapa,a
travésdelospesoswij
REDES NEURONALES NO SUPERVISADAS
•  Cadaneurona(i,j)calculalasimilitudentreelvectordeentradasysuvectordepesos.
•  Vencelaneuronacuyovectordepesosesmássimilaralvectordeentrada.
•  Cadaneuronasirvaparadetectaralgunacaracterísticadelvectordeentrada.
•  Funcióndevecindad:
relaciónentreneuronaspróximasenelmapa.
REDES NEURONALES NO SUPERVISADAS
Aprendizaje:
•  Inicializacióndelospesoswij
•  Presentacióndelasentradasx(t)
•  Cadaneuronacalcula,lasimilitudentresuvectordepesoswijyelvectordeentrada
x,usandoladistanciaEuclídeana
•  Determinacióndelaneuronaganadora:
•  Actualizacióndelospesosdelaneuronaganadoraysusvecinas
•  Lasdemásneuronasnoactualizansupeso
•  Sisehaalcanzadoelnúmerodeiteracionesparar,sinovolveralpaso2.
REDES FEEDFORWARD
El proceso de aprendizaje se puede dividir en tres grandes grupos de acuerdo a sus
características:
• 
Aprendizajesupervisado.Sepresentaalaredunconjuntodepatronesdeentradajunto
conlasalidaesperada.Lospesossevanmodi/icandodemaneraproporcionalalerrorquese
produceentrelasalidarealdelaredylasalidaesperada.
• 
Aprendizajenosupervisado.Sepresentaalaredunconjuntodepatronesdeentrada.No
hay información disponible sobre la salida esperada. El proceso de entrenamiento en este
casodeberáajustarsuspesosenbasealacorrelaciónexistenteentrelosdatosdeentrada.
• 
Aprendizaje por refuerzo. Este tipo de aprendizaje se ubica entre medio de los dos
anteriores.Selepresentaalaredunconjuntodepatronesdeentradayseleindicaalaredsi
lasalidaobtenidaesonocorrecta.
RED
NEURONAL
ARTIFICIAL
CASOS DE ESTUDIO
RECONOCIMIENTO DE DÍGITOS
Geoffrey Hinton
http://www.cs.toronto.edu/~hinton/
REFERENCIAS
Libros
Redes Neuronales y Sistemas Difusos / Bonifacio Martin del Brío y Alfredo Sanz Molina.
Alfa Omega – Rama. Colombia/c.2005
Referencias