Download Redes Neuronales Support Vector Regression
Document related concepts
Transcript
Redes Neuronales Support Vector Regression Series Temporales Máster en Computación Universitat Politècnica de Catalunya Dra. Alicia Troncoso Lora 1 Contenido Introducción Redes Neuronales: Aplicación Support Vector Regression: Aplicación Referencias 2 Redes Neuronales (I) Las Artificial Neural Network (ANN) han sido ampliamente usadas para predecir series temporales No necesita conocimiento a priori sobre la distribución de los datos Simulan el funcionamiento del sistema nervioso Modelos que simulan el proceso de aprendizaje de las neuronas interconectadas en el cerebro 3 Redes Neuronales (II) En general, modelos: Definición de una serie de capas Cada capa tiene un número de nodos relacionados con la capa anterior La primera capa es el vector de entrada La última capa es el vector de salida 4 Redes Neuronales (III) Clasificación según tipo de aprendizaje Aprendizaje Supervisado Perceptrón Multicapa (MLP) Aprendizaje no supervisado Redes auto-organizadas (Redes de Kohonen) Redes híbridas: kohonen+MLP Redes de función de base radial 5 Redes Neuronales: MLP Capa intermedia Capa de entrada x1 1 xi i 1 Capa de salida 1 x̂1 k x̂k 2 j wij xi + θ j xˆ j = Φ wji wkj i 6 Redes Neuronales: MLP Entrenamiento • Cálculo de parámetros Método de optimización (métodos de descenso de gradiente) x k +1 = x + α ∇x k k 7 Redes Neuronales: MLP Entrenamiento • Rampa de aprendizaje: Paso en el Método del gradiente. Afecta a la rapidez con la que la red alcanza el mínimo. Alto: Oscilación alrededor del mínimo o divergencia Bajo: mucho tiempo en converger 8 Redes Neuronales: MLP Entrenamiento • Momento: Prevenir convergencia a mínimo local o punto de silla. Alto: Incrementa la velocidad de convergencia. Riesgo de “pasarse” el mínimo Bajo: Favorece mínimos locales 9 Redes Neuronales: Aplicación Predicción de los precios de la energía eléctrica Enero-febrero 2001 Training set Marzo-octubre 2001 Test set Topología de la red y funciones de transferencia: 3 capas: capa de entrada, capa intermedia y capa de salida Determinar el número de neuronas de cada capa 10 Redes Neuronales: Aplicación Capa de entrada 24 neuronas correspondientes a los precios de las 24 horas Capa de salida: Una única salida 24 salidas correspondientes a los precios horarios de un día entero Función de transferencia lineal 11 Redes Neuronales: Aplicación Capa intermedia: 24 neuronas Función de transferencia sigmoidal Working days of a representative month 12 Redes Neuronales: Aplicación Peor y mejor día de marzo de 2001 13 Redes Neuronales: Aplicación Predicción media del Marzo de 2001 14 Redes Neuronales: Aplicación Precios Diarios (céntimos/kWh) marzo-mayo junio-agosto septiembre-octubre Precio real 2.2588 3.5482 3.673 s. d. 0.7801 1.0597 0.518 Error absoluto medio 0.3464 0.428 0.576 Máximo error horario 2.671 2.0736 Error relativo medio (%) 15 12 2.167 14 15 Support Vector Regression (I) Anchura del pétalo Introducidas en los 90 por Vapnik para problemas de clasificación ? ? ? ? Longitud del pétalo 16 Support Vector Regression Puntos más cercanos a la recta: vectores soporte El margen es la distancia mínima de vectores soporte al hiperplano Objetivo: calcular hiperplano que maximiza el margen d Caso separable linealmente 17 Support Vector Regression Resolver un problema de optimización: Función objetivo cuadrática Función objetivo convexa f (θu + (1 − θ )v ) ≤ θf (u ) + (1 − θ ) f (v ) Un único óptimo global 18 Support Vector Regression h ( x ) =< w x > +b w es una combinación lineal de los vectores soporte ( multiplicadores de Lagrange distintos de 0) 1 || w || 2 min 2 s. a . < w xi > + b ≥ +1 ∀ yi = +1 < w xi > + b ≤ +1 ∀ yi = −1 f ( x ) = signo ( h ( x )) 19 Support Vector Regression h ( x ) =< w x > +b 1 2 || w || + C ξi min 2 i s. a . < w xi > + b ≥ + 1 − ξ i ∀ yi = +1 b ≤ +1 − ξ i ∀ yi = −1 < w xi > + f ( x ) = signo ( h ( x )) 20 Support Vector Regression C nos permite regular el compromiso entre coste y precisión Cross-Validation, algoritmos evolutivos más bajo intermedio más alto 21 Support Vector Regression ¿Y si queremos separadores no lineales? 22 Support Vector Regression ¿Qué es un kernel? Función que realiza el producto escalar en el espacio expandido 23 Ejemplo: kernel cuadrático Expansión espacio: Kernel: producto escalar en el espacio expandido: Más ejemplos de kernels Lineal Espacio: Kernel: Cuadrático Espacio: Kernel: Polinómico de grado d Kernel: Gaussiano de escala Kernel: Support Vector Regression h( x) = i∈SV ∈SV α ⋅ y i < xi x > h( x) = i∈SV α ⋅ y i K ( xi , x ) 26 Support Vector Regression Lineal f (x) =< w x > +b Función de pérdida Vale 0 para los ejemplos dentro de una banda de anchura ∈ y − f ( x ) ε = max{0, y − f ( x ) − ε } −ε ε N 1 2 min w + C yi − f (xi ) ε 2 i =1 27 Support Vector Regression No lineal f (x) =<wφ(x) > +b Resuelve problema de optimización f (x) = i∈SV (αi* −αi )K(x, xi ) +b Multiplicadores de Lagrange 28 Support Vector Regression x y 1.0 1.6 3.0 1.8 4.0 1.0 5.6 1.2 7.8 2.2 10.2 6.8 11.0 10.0 11.5 10.0 12.7 10.0 29 Support Vector Regression x y 1.0 1.6 3.0 1.8 4.0 1.0 5.6 1.2 7.8 2.2 10.2 6.8 11.0 10.0 11.5 10.0 12.7 10.0 30 Support Vector Regression 1) Toolbox SVM en Matlab http://www.isis.ecs.soton.ac.uk/resources/svminfo/ Guardar en …/matlab/toolbox/svm y añadir al path Interfaz gráfica (sólo 1 dimensión) uiregress 2) WEKA http://www.cs.waikato.ac.nz/ml/weka/ Classifier SVMReg Classifier SMOReg Classifier LibSVM 31 Support Vector Regression 32 Ejercicios Base de Datos: Demanda marzo 2001 – mayo 2001 1) Red Neuronal MLP y SVM (kernel lineal y RBF) con validación cruzada 2) Red Neuronal MLP y SVM (kernel lineal y RBF) con Percentage split MLP SVM Lineal RBF Cross-Validation Percentage split 33 Ejercicios Base de Datos: Demanda marzo 2001 – abril 2001 1) Red Neuronal MLP y SVM (lineal, cuadrático, RBF) Supplied Test set: Mayo 2001 MLP SVM Lineal Cuadrático RBF Mayo 2001 34 Referencias [1] Ian H. Witten and Eibe Frank. Data Mining: Practical Machine Learning Tools and Techniques Morgan Kaufmann, June 2005. [2] Alicia Troncoso Lora et al. Influence of ANN-Based Market Price Forecasting Uncertainty on Optimal. (PSCC) Power System Computation Conference, 2002 [3] Alicia Troncoso Lora et al. Electricity Market Price Forecasting: Neural Networks Versus Weighted-Distance k Nearest Neighbours. Lecture Notes in Computer Science, Vol. 2453, pp. 321-330, 2002 [4] Wei-Chiang Hong. Electric Load Forecasting by Support Vector Model. Applied Mathematical Modelling, Vol. 33, pp. 2444-2454, 2009. [5] Jinxing Che, Jianzhou Wang. Short-term electricity prices forecasting based on support vector regression and Auto-regressive integrated moving average modeling. Energy Conversion and Management, in Press 35