Download Redes Neuronales Support Vector Regression

Redes Neuronales
Support Vector Regression
Series Temporales
Máster en Computación
Universitat Politècnica de Catalunya
Dra. Alicia Troncoso Lora
1
Contenido
Introducción
Redes Neuronales: Aplicación
Support Vector Regression: Aplicación
Referencias
2
Redes Neuronales (I)
Las Artificial Neural Network (ANN) han sido
ampliamente usadas para predecir series
temporales
No necesita conocimiento a priori sobre la
distribución de los datos
Simulan el funcionamiento del sistema
nervioso
Modelos que simulan el proceso
de aprendizaje de las neuronas
interconectadas en el cerebro
3
Redes Neuronales (II)
En general, modelos:
Definición de una serie de capas
Cada capa tiene un número de nodos
relacionados con la capa anterior
La primera capa es el vector de entrada
La última capa es el vector de salida
4
Redes Neuronales (III)
Clasificación según tipo de aprendizaje
Aprendizaje Supervisado
Perceptrón Multicapa (MLP)
Aprendizaje no supervisado
Redes auto-organizadas (Redes de
Kohonen)
Redes híbridas: kohonen+MLP
Redes de función de base radial
5
Redes Neuronales: MLP
Capa intermedia
Capa de entrada
x1
1
xi
i
1
Capa de salida
1
x̂1
k
x̂k
2
j
wij xi + θ j
xˆ j = Φ
wji
wkj
i
6
Redes Neuronales: MLP
Entrenamiento
• Cálculo de parámetros Método de
optimización (métodos de descenso de gradiente)
x
k +1
= x + α ∇x
k
k
7
Redes Neuronales: MLP
Entrenamiento
• Rampa de aprendizaje: Paso en el Método del
gradiente. Afecta a la rapidez con la que la red
alcanza el mínimo.
Alto: Oscilación alrededor del mínimo o
divergencia
Bajo: mucho tiempo en converger
8
Redes Neuronales: MLP
Entrenamiento
• Momento: Prevenir convergencia a mínimo local
o punto de silla.
Alto: Incrementa la velocidad de
convergencia.
Riesgo de “pasarse” el mínimo
Bajo: Favorece mínimos locales
9
Redes Neuronales: Aplicación
Predicción de los precios de la energía eléctrica
Enero-febrero 2001
Training set
Marzo-octubre 2001
Test set
Topología de la red y funciones de transferencia:
3 capas: capa de entrada, capa intermedia y
capa de salida
Determinar el número de neuronas de cada
capa
10
Redes Neuronales: Aplicación
Capa de entrada
24 neuronas
correspondientes a los precios de las 24 horas
Capa de salida:
Una única salida
24 salidas correspondientes a los precios
horarios de un día entero
Función de transferencia lineal
11
Redes Neuronales: Aplicación
Capa intermedia: 24 neuronas
Función de transferencia sigmoidal
Working days of a representative month
12
Redes Neuronales: Aplicación
Peor y mejor día de marzo de 2001
13
Redes Neuronales: Aplicación
Predicción media del Marzo de 2001
14
Redes Neuronales: Aplicación
Precios Diarios (céntimos/kWh)
marzo-mayo
junio-agosto
septiembre-octubre
Precio real
2.2588
3.5482
3.673
s. d.
0.7801
1.0597
0.518
Error absoluto
medio
0.3464
0.428
0.576
Máximo error
horario
2.671
2.0736
Error relativo
medio (%)
15
12
2.167
14
15
Support Vector Regression (I)
Anchura del pétalo
Introducidas en los 90 por Vapnik para
problemas de clasificación
?
?
?
?
Longitud del pétalo
16
Support Vector Regression
Puntos más cercanos a la recta: vectores soporte
El margen es la distancia mínima de vectores soporte al
hiperplano
Objetivo: calcular hiperplano que maximiza el margen
d
Caso separable
linealmente
17
Support Vector Regression
Resolver un problema de optimización:
Función objetivo cuadrática
Función objetivo convexa
f (θu + (1 − θ )v ) ≤ θf (u ) + (1 − θ ) f (v )
Un único óptimo global
18
Support Vector Regression
h ( x ) =<
w x > +b
w es una combinación lineal de los
vectores soporte ( multiplicadores de
Lagrange distintos de 0)
1
|| w || 2
min
2
s. a . < w xi > +
b ≥ +1
∀ yi = +1
< w xi > +
b ≤ +1
∀ yi = −1
f ( x ) = signo ( h ( x ))
19
Support Vector Regression
h ( x ) =<
w x > +b
1
2
|| w || + C
ξi
min
2
i
s. a . < w xi > + b ≥ + 1 − ξ
i
∀ yi = +1
b ≤ +1 − ξ
i
∀ yi = −1
< w xi > +
f ( x ) = signo ( h ( x ))
20
Support Vector Regression
C nos permite regular el compromiso entre
coste y precisión
Cross-Validation, algoritmos
evolutivos
más bajo
intermedio
más alto
21
Support Vector Regression
¿Y si queremos separadores no lineales?
22
Support Vector Regression
¿Qué es un kernel?
Función que realiza el producto escalar en el
espacio expandido
23
Ejemplo: kernel cuadrático
Expansión espacio:
Kernel: producto escalar en el espacio
expandido:
Más ejemplos de kernels
Lineal
Espacio:
Kernel:
Cuadrático
Espacio:
Kernel:
Polinómico de grado d
Kernel:
Gaussiano de escala
Kernel:
Support Vector Regression
h( x) =
i∈SV
∈SV
α ⋅ y i < xi x >
h( x) =
i∈SV
α ⋅ y i K ( xi , x )
26
Support Vector Regression
Lineal
f (x) =< w x > +b
Función de pérdida
Vale 0 para los ejemplos dentro
de una banda de anchura ∈
y − f ( x ) ε = max{0, y − f ( x ) − ε }
−ε
ε
N
1 2
min w + C yi − f (xi ) ε
2
i =1
27
Support Vector Regression
No lineal
f (x) =<wφ(x) > +b
Resuelve problema de optimización
f (x) =
i∈SV
(αi* −αi )K(x, xi ) +b
Multiplicadores
de Lagrange
28
Support Vector Regression
x
y
1.0
1.6
3.0
1.8
4.0
1.0
5.6
1.2
7.8
2.2
10.2
6.8
11.0
10.0
11.5
10.0
12.7
10.0
29
Support Vector Regression
x
y
1.0
1.6
3.0
1.8
4.0
1.0
5.6
1.2
7.8
2.2
10.2
6.8
11.0
10.0
11.5
10.0
12.7
10.0
30
Support Vector Regression
1) Toolbox SVM en Matlab
http://www.isis.ecs.soton.ac.uk/resources/svminfo/
Guardar en …/matlab/toolbox/svm y añadir al path
Interfaz gráfica (sólo 1 dimensión) uiregress
2) WEKA
http://www.cs.waikato.ac.nz/ml/weka/
Classifier SVMReg
Classifier SMOReg
Classifier LibSVM
31
Support Vector Regression
32
Ejercicios
Base de Datos: Demanda marzo 2001 – mayo
2001
1) Red Neuronal MLP y SVM (kernel lineal y
RBF) con validación cruzada
2) Red Neuronal MLP y SVM (kernel lineal y
RBF) con Percentage split
MLP
SVM
Lineal
RBF
Cross-Validation
Percentage split
33
Ejercicios
Base de Datos: Demanda marzo 2001 – abril
2001
1) Red Neuronal MLP y SVM (lineal,
cuadrático, RBF)
Supplied Test set: Mayo 2001
MLP
SVM
Lineal
Cuadrático
RBF
Mayo 2001
34
Referencias
[1] Ian H. Witten and Eibe Frank. Data Mining: Practical Machine Learning Tools and
Techniques Morgan Kaufmann, June 2005.
[2] Alicia Troncoso Lora et al. Influence of ANN-Based Market Price Forecasting
Uncertainty on Optimal. (PSCC) Power System Computation Conference, 2002
[3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks
Versus Weighted-Distance k Nearest Neighbours. Lecture Notes in Computer
Science, Vol. 2453, pp. 321-330, 2002
[4] Wei-Chiang Hong. Electric Load Forecasting by Support Vector Model. Applied
Mathematical Modelling, Vol. 33, pp. 2444-2454, 2009.
[5] Jinxing Che, Jianzhou Wang. Short-term electricity prices forecasting based on
support vector regression and Auto-regressive integrated moving average modeling.
Energy Conversion and Management, in Press
35