Download Efecto
Document related concepts
Transcript
UT 7 – Parte I ANOVA Análisis de la Varianza (ANalysis Of VAriance) ESTADÍSTICA II Índice I.- Preámbulo II.- Análisis de la varianza con 1 factor II.1.- Un ejemplo II.2.- Idea intuitiva del ANOVA II.3.- Descomposición de la suma de cuadrados. Test F II.4.- Intervalos LSD de comparación de medias II.5.- Análisis de residuos II.6.- Estudio de efectos sobre varianzas II.7.- Realización práctica de los cálculos II.8.- Número desigual de observaciones para cada factor II.9.- Factores cuantitativos: descomposición de la SCFactor Resumen Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II I-Preámbulo Técnica básica para el estudio de observaciones que dependen de varios factores. Herramienta fundamental en el análisis de los modelos de Diseño de Experimentos y Regresión Lineal En esta UT veremos el caso más sencillo: la comparación de los efectos de las I variantes de un único factor. (Más adelante se generalizará simultáneo de K factores) al Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II estudio II- Análisis de la Varianza con 1 Factor EJEMPLO Una factoría de motores tiene 2 proveedores de los cigüeñales que mecaniza. Un tercer proveedor ofrece sus cigüeñales algo más caros argumentando sus mejores propiedades dinámicas, concretamente que su equilibrado dinámico es menor. La factoría decide hacer una prueba comparando 10 cigüeñales del nuevo proveedor (código=1) con 10 de cada uno de sus 2 proveedores tradicionales (códigos 2 y 3). Los resultados obtenidos se recogen en la siguiente tabla: Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II EJEMPLO Factor estudiado (sólo uno) Variantes del factor (3) Resultados obtenidos (equilibrado dinámico en grs.) PROVEEDOR 1 2 3 23 35 50 28 36 43 21 29 36 27 40 34 95 43 45 41 49 52 37 51 52 30 28 43 32 50 44 36 52 34 Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II EJEMPLO CUESTIÓN CLAVE ¿Hay evidencia suficiente respecto a la superioridad de los cigüeñales del nuevo proveedor para cambiar a éste pese al precio ligeramente más elevado?. El ejemplo que consideramos es un caso particular de diseño de experimentos: se estudia el efecto de un único factor (el proveedor) con 3 variantes (los 3 proveedores a comparar) sobre la media de la variable respuesta (el equilibrado dinámico, que debe ser el menor posible) (En la siguiente unidad veremos el análisis del efecto de varios factores) Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Autoevaluación Dado que conocemos una técnica estadística para comparar dos tratamientos ¿no sería posible analizar los datos anteriores comparando dos a dos las tres parejas posibles de proveedores?. Si en vez de tratarse de 3 hubiera 5 proveedores ¿Cuántas parejas de tratamientos habría que comparar? Suponiendo que los 5 proveedores fueran idénticos y si en cada comparación se operase con un riesgo de 1ª especie del 5%, ¿la probabilidad de obtener una conclusión errónea (deducir que al menos dos de los proveedores son distintos) sería del 5%? Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Conclusión En general, la práctica de analizar los resultados de este tipo de experimentos comparando 2 a 2 (mediante las técnicas ya vistas) todas las parejas posibles de tratamientos no es recomendable: es muy laboriosa incrementa la probabilidad global de cometer un error de 1ª especie Técnica estadística adecuada: Análisis de la Varianza Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Objetivos del EJEMPLO Se usará a lo largo de la UT 1. Dar una idea intuitiva del fundamento del ANOVA 2. Enseñar cómo se calcula una tabla de análisis de la varianza y cómo se interpreta su contenido 3. Dar una técnica sencilla para comparar varias medias, si el ANOVA resulta significativo 4. Poner de manifiesto la importancia de las técnicas gráficas de análisis de residuos 5. Introducir una técnica para analizar si existen diferencias de varianza entre diversos tratamientos Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.2- Idea intuitiva del ANOVA Técnica estadística muy poderosa para el estudio del efecto de uno o más factores sobre la media de una variable. Variabilidad debida a Idea básica: descomponer la variabilidadVariabilidad total observada diferencias entre Variabilidad residualen unos partes asociadas a cada factor estudiado Total en datos los = en las tratamientos + (diferencias dentro de más la que después compararán datosuna parte residual, (efecto delcon factor cada se tratamiento) las dos primeras: proveedor) Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo intuitivo Efecto de la variedad y la dosis de abonado sobre el rendimiento de un cultivo en 12 parcelas. Veamos unos rendimientos hipotéticos en algunos casos extremos: Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo intuitivo Factor 1 ABONADO VARIE. 1 2 3 1 20 20 20 20 20 20 2 20 20 20 20 20 20 Valor Valor observado: observado: Factor 2 3 variantes: 3 dosis 2 variantes RENDIMIENTO RENDIMIENTO Parcela 3 4 distintasParcela sembrada sembrada con con la variedad la variedad 1y1y cultivada cultivada con con la dosis la dosis de de abonado abonado 2 2 Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo intuitivo ABONADO Caso A VARIE. 1 2 3 1 20 20 20 20 20 20 2 20 20 20 20 20 20 Rendimiento medio = 20 2 2 2 La suma de las desviaciones de cada valor xikj de x los cuadrados 20 20 20 20 20 20 0 observado del RENDIMIENTO con respecto a su media: ikj 2 Suma deinfluye Cuadrados Nada Total (SCT) SCTotal=0 Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo intuitivo ABONADO Caso B VARIE. 1 2 3 1 20 20 20 20 20 20 2 30 30 30 30 30 30 Rendimiento medio = 25 xikj x 2 20 25 2 20 25 2 30 25 2 300 ikj SCT=300 Hay variabilidad. El factor variedad influye sobre Al “analizarla la media varianza”del se observa que la variabilidad se rendimiento debe sólo al efecto de la variedad SCTotal =SCvariedad Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo intuitivo ABONADO Caso C VARIE. 1 2 3 1 20 20 25 25 30 30 2 30 30 35 35 40 40 Rendimiento medio = 30 2 2 2 ElTOTAL factor y el factor dosis influyen SC 20variedad 30 25 30 40 30 500 sobre la media del rendimiento SCT=500 Hay variabilidad. No hay interacción. Al “analizar la varianza” se observa que la variabilidad se debe al efecto de la variedad como al efecto de la El tanto efecto del abonado es lineal. dosis de abonado. SCTotal=SCvariedad+SCabonado Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo intuitivo ABONADO Caso D VARIE. 1 2 3 1 20 20 25 25 30 30 2 30 30 35 35 50 50 Rendimiento medio = 31’67 El factor variedad, el factor abonado y su 2 2 interacción influyen sobre la media del 2 1066' 67 SCTOTAL 20 31 ' 67 25 31' 67 50 31' 67 rendimiento SCT=1066’67 Hay variabilidad. El efecto favorable de la dosis 3 es mayor en la Al “analizar la varianza” variedad 2 que en la 1.se observa que la variabilidad se debe tanto al efecto de la variedad como al efecto de la dosis de abonado y a su interacción. SCTotal=SCvariedad+SCabonado+ SCInteracción Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo intuitivo ABONADO Caso E 30 Único realista 1 2 3 1 19 21 27 24 28 32 31 30 31 36 33 47 51 Rendimiento medio = 31’6 El factor variedad, el factor abonado y su 2 interacción, como otros2factores no 2 1001 SCTOTAL 19 así 31' 6 21 31' 6 51 31' 6 controlados o no tenidos en cuenta influyen sobre la media del rendimiento SCT=1001 Hay variabilidad. Las parejas de parcelas con idéntica variedad Se observa que la variabilidad se debe tanto al efecto de y la variedad al efecto de la dosis de abonado y a su abonado no como rinden exactamente igual: interacción, así como al de los factores no controlados SCTotal=SCvariedad+SCabonado+ SCInteracción + SCResidual Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Significación de un efecto La comparación de la SC asociada a cada efecto con la SCresidual permite estudiar si dicho efecto es o no significativo. Para llevar a cabo dicha comparación, cada suma de cuadrados se divide por sus grados de libertad, obteniéndose unos estadísticos a los que se denomina cuadrados medios: SC CM g.l Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Significación de un efecto El CMTotal es la varianza de los datos observados. El CMResidual es una estimación de la 2 de las poblaciones muestreadas (asumiendo misma 2 para todas las poblaciones) El CM asociado a cada efecto: Si el efecto no existe en la población el CM es otra estimación de la 2 independiente de la del CMResidual. Si existe un efecto real poblacional, entonces tiende a ser mayor que 2 Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Significación de un efecto Denominamos f-ratio o f calculada al cociente: CMfactor/CMresidual Si no existe un efecto real del factor a nivel poblacional el CMfactor será muy parecido al CMresidual El f-ratio será muy parecido a 1 con una distribución F de Fisher con los grados de libertad correspondientes. Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Significación de un efecto Si existe un efecto real del factor poblacional el CMfactor >>> CMresidual a nivel El f-ratio será demasiado elevado para ser una F de Fisher con los grados de libertad correspondientes. ¿De dónde sale esto...? Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.3 Descomposición de la Suma de Cuadrdos. Test F Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo Proveedores cigüeñales Experimento: Factores: PROVEEDOR (solo 1) Variantes: Prov. 1, 2 y 3 (3) Variable respuesta: equilibrado dinámico (EQUIDINA) Objetivo: ¿existen diferencias entre los equilibrados dinámicos medios en los cigüeñales de los 3 proveedores? H0 : m1 m2 m3 H1 : i, j ;i j / m1 m2 ANOVA Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo Proveedores cigüeñales Tabla resumen del ANOVA Origen Variación Suma de Cuadrados Grados Libertad Cuadrado Medio Total 5465 29 - - Tratamientos 207 2 103’5 0’532 Residual 5258 27 194’7 - Riesgo de 1ª especie: =0’05 Tabla: F2,27(5%) = 3’35 >> 0’532 F ratio Aceptamos H0 ¡NO HAY DIFERENCIAS SIGNIFICATIVAS ENTRE PROVEEDORES! Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo Proveedores cigüeñales TEST F (Gráficamente) Distribucion F 2,27 1,2 density 1 0,8 0,6 =0’05 0,4 0,2 0 0 1 Aceptación 0’53 3 3.35 2 x 4 5 Rechazo Aceptamos H0 Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.4- Intervalos LSD para la comparación de medias Si el test F resulta significativo: ¿Es mejor el Prov. 1 que el 2 y el 3? ¿Es mejor el 1 y el 2 que el 3, no habiendo diferencias entre los primeros? ... Hay que estudiar entre cuáles de los tratamientos existen diferencias significativas. Un valor significativo de la f-ratio sólo indicaría que al menos una de las tres medias difiere de las restantes, pero no precisa cuáles son las que difieren entre sí. Intervalos LSD Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.4- Intervalos LSD para la comparación de medias Intervalos LSD (Least Signficative Difference) son intervalos para la media de cada tratamiento. Intuitivamente, se calculan como la mitad del intervalo de confianza para la diferencia de medias: Media del tratamiento i 1 ( 2 )% ˆ ( xi x j ) xi tgl resid . 2 Valor de TABLAS Estimación de la desv. Típica de l tratamiento • NOTA: el intervalo obtenido no es un intervalo de confianza para las medias correspondiente. Su utilización es sólo la comparación de medias Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.4- Intervalos LSD para la comparación de medias Se asume 12 22 32 2 ( Homocedasticidad ) N1 N2 N3 N CM residual 2 ˆ y Sxi ( estimacion var . media muestral ) Ni 2CM residual 2CM residual CM residual ˆS 2 ˆ S( xi x j ) 2 ( xi x j ) Ni Ni Ni xi 0.0707 .t ( 2 )% gl resid .Sxi 2 2 Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II CM residual N II.4- Intervalos LSD para la comparación de medias Ejemplo: Tablas t ( 2 )% gl resid ( 2 0.025 ) 27 t CM residual 194' 7 Sx N 10 2' 052 Estimación de la varianza poblacional 4' 41 Intervalo LSD Prov 1: 37 0' 707 . 2' 052 . 4.41 30' 6 ,43' 39 Media del Desv. Típica ¿Cuáles serían los otros intervalos LSD? tratamiento 1 con que se estima cada media Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo con Statgraphics: Table of Least Squares Means for EQUIDINA with 95,0 Percent Confidence Intervals -----------------------------------------------------------------------------Level Count Mean Stnd. Lower Upper Error Limit Limit -----------------------------------------------------------------------------GRAND MEAN 30 40,5333 1 10 37,0 4,41303 27,9452 46,0548 2 10 41,3 4,41303 32,2452 50,3548 3 10 43,3 4,41303 34,2452 52,3548 PROV ------------------------------------------------------------------------------ Nº total de Equilibrado Media muestral Estimación dinámico de Intervalos de la S deLSD para observaciones medio, cada proveedor sealacual media seade cada cada proveedor el proveedor proveedor Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Gráficamente con Statgraphics: EQUIDINA Means and 95,0 Percent LSD Intervals 50 48 46 44 42 40 38 36 34 32 30 1 2 3 PROVEEDOR Intervalo LSD Prov:La diferencia entre la media de dos tratamientos será significativa si los respectivos intervalos LSD no se solapan. Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.5 Análisis de residuos Residuos: diferencia entre cada dato y la media de su tratamiento. Su estudio tiene una gran importancia práctica. Media del equilibrado Ejemplo: 23 37 14 Primer valor observado del equilibrado Séptimo valor dinámico del observado prov. 1del equilibrado dinámico del prov. 2 51 41' 3 9' 7 dinámico de la Residuo 1 muestra del prov. 1 Media del equilibrado dinámico de la Residuo 17 2 muestra del prov. Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.5 Análisis de residuos El Statgraphics calcula los residuos automáticamente y permite guardarlos en una variable que por defecto denomina RESIDUALS. También efectúa una representación gráfica de los mismos. Permite detectar datos anómalos o pautas de variabilidad sospechosas. ¡Una observación anómala puede invalidar por completo todas las conclusiones de un análisis! Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.5 Análisis de residuos Residual Plot for EQUIDINA Los residuos deben estar alrededor de cero, distribuidos Dato anómalo: la o menosdel de 5ªmás observación manera uniforme prov. 1 debe ser 35, no 95 RESIDUOS 60 40 20 0 -20 -40 -60 1 2 3 PROVEEDOR Si se vuelve a realizar el ANOVA ... Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo Proveedores (sin dato anómalo) Tabla resumen del ANOVA Origen Variación Suma de Cuadrados Grados Libertad Cuadrado Medio Total 2409’46 29 - - Tratamientos 871’26 2 435’6 7’64 Residual 1538’2 27 56’97 - Riesgo de 1ª especie: =0’05 Tabla: F2,27(5%) = 3’35 << 7’64 F ratio Rechazamos H0 ¡SI HAY DIFERENCIAS SIGNIFICATIVAS ENTRE PROVEEDORES! Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Ejemplo Proveedores cigüeñales TEST F (Gráficamente) Distribucion F 2,27 1,2 density 1 0,8 0,6 =0’05 0,4 0,2 0 0 1 3 3.35 2 Aceptación x 4 5 Rechazo Rechazamos H0 Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II 7’6 Intervalos LSD ¿Entre que tratamientos existen diferencias significativas con respecto al equilibrado dinámico? EQUIDINA 47 43 39 Los intervalos se Means and 95,0 Percent LSD Intervalssolapan: entre los prov 2 y 3 no hay diferencias significativas del eq. dinámico 35 31 27 1 2 3 Pero entro el prov. 1 y el 2 o el 3 si hay diferencias significativas PROVEEDOR Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas moderna Estadística Industrial gran importancia de los enfoques de diseño robusto desarrollados en Japón obtener condiciones operativas que sean poco sensibles a la existencia de causas de variabilidad estudio de posibles efectos sobre la dispersión de los factores implicados en el diseño de productos y procesos. ¿Existen diferencias entre los proveedores de cigüeñales respecto a la varianza de los equilibrados? Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas Se asume que las poblaciones de las que procede la EQUIDINA de cada proveedor son iguales. 0,18 Mean,Std. dev. 31,2,38 41,3,2,38 43,3,2,38 0,15 0,12 0,09 0,06 0,03 0 19 29 39 49 59 EQUIDINA Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas Pero, ¿y si los datos proceden de poblaciones con diferentes varianzas según el proveedor? 0,2 Mean,Std. dev. 31,2 41,3,6 43,3,4 0,16 0,12 0,08 0,04 0 0 20 40 60 80 EQUIDINA Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas Procedimientos clásicos: tests de Bartlett y Hartley Necesidad de aprenderse un nuevo procedimiento. No aplicables si hay más de un factor implicado. Necesitan replicaciones en cada tratamiento. Romero, R. y Zúnica, L. R. proponen un método aproximado, pero eficaz, sin los inconvenientes de los tests más formales, basado en el estudio de los residuos: Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas Residual Plot for EQUIDINA 16 residual 11 6 1 -4 -9 -14 1 2 3 PROVEEDOR ¿Qué aspecto tendría el gráfico si los equilibrados del proveedor 1 tuvieran mucha menor varianza que los otros dos? Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas Residual Plot for EQUIDINA 16 residual 11 6 1 -4 -9 -14 1 2 3 PROVEEDOR Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas ¿Existe alguna relación entre la media aritmética de los cuadrados de los residuos de un proveedor y la S2 para dicho proveedor? media( SCR ) Si2 2 ( x x ) ij i i; j Ni 2 ( x x ) ij i i; j Ni 1 La media de los residuos al cuadrado es ligeramente superior a l S2, y tienden a ser iguales si Ni es grande. Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas Si no hay diferencias entre las varianzas de los proveedores no debe haber diferencias entre las medias de los residuos al cuadrado para cada proveedor. ¿Qué herramienta o técnica se puede usar para conocer si existen o no diferencias entre múltiples medias de una v.a. de distintas poblaciones? ANOVA Variable respuesta: (residuos)2 Factor: proveedor Variantes: 3 Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.6 Estudio de efectos sobre varianzas ANOVA Table for RESIDUALS^2 by PROV Analysis of Variance ----------------------------------------------------------------------------Source Sum of Squares Df Mean Square F-Ratio P-Value ----------------------------------------------------------------------------Between groups 8198,36 2 4099,18 1,89 0,1707 Within groups 58587,0 27 2169,89 ----------------------------------------------------------------------------Total (Corr.) 66785,4 29 P-Value > 0’05 Aceptamos la H0 de igualdad de varianzas el factor proveedor no tiene un efecto significativo sobre la dispersión Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.7 Realización práctica de los cálculos Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.8 Número desigual de observaciones para cada factor Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II II.9 Factores cuantitativos: descomposición de la SCF Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Resumen Descomposición de la variabilidad total: Una parte debida al efecto del factor investigado Parte residual que recoge el efecto de todos los factores no controlados Ambas partes se comparan mediante un test F en la TABLA del ANOVA, y esto permite estudiar la significación del factor en estudio. Si el test F resulta significativo, se construyen intervalos LSD (least signficative difference) para comparar las medias de las distintas variantes del factor Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II Resumen También veremos las técnicas gráficas de análisis de residuos para detectar anomalías en los datos que puedan comprometer los análisis. Por último veremos la descomposición de la suma de cuadrados de un factor cuantitativo en los términos asociados a sus efectos lineal, cuadrático y de orden superior. Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II