Download Diapositiva 1 - nazira calleja
Document related concepts
Transcript
09. Validez Estimación y evaluación de la evidencia de validez convergente y discriminante Tipos de validez 1. Validez de contenido Validez de contenido: Por expertos. El contenido real del instrumento y Validez de facie: Por no expertos. 2. Validez de constructo Constructo único. Constructo multidimensional. La estructura interna real del instrumento y Lo que debería incluirse en el instrumento, según la teoría La estructura que el instrumento debería poseer, según la teoría Tipos de validez 3. Validez convergente Validez convergente: Concurrente Predictiva Validez discriminante Las asociaciones reales de un instrumento y Las asociaciones que el instrumento debería (o no) tener con otras medidas, según la teoría Red nomológica Guía para evaluar la calidad convergente y divergente de un instrumento Red nomológica Constructos psicológicos en un contexto teórico RED NOMOLÓGICA Constructo Constructo Reac Reac Reac Constructo Constructo Constructo Reac Reac Reac Reac Reac Reac Reac Red de “significados” alrededor de un constructo. Red nomológica Lee Cronbach y Paul Meehl en 1955. Nomológica: Del griego que significa legítimo. Dicta un patrón particular de asociaciones entre constructos y sus medidas. Red nomológica Sugiere que la medida de un constructo debería estar: fuertemente asociada con medidas de algunos constructos, pero débilmente correlacionada con medidas de otros constructos. Red nomológica Ejemplo: Escala de Necesidad de Pertenencia Necesidad de pertenencia Pulsión para formar y mantener al menos una cantidad mínima de relaciones interpersonales duraderas, positivas y significativas. Menos Más Red nomológica Correlaciones de débiles a moderadas con: Necesidad de pertenencia Necesidad de afiliación Extroversión Sociabilidad Red nomológica No correlación con: Necesidad de pertenencia Autoestima Red nomológica Correlaciones negativas con: Necesidad de pertenencia Introversión Apertura a la experiencia Aislamiento social Red nomológica Síntesis Red nomológica de NECESIDAD DE PERTENENCIA Correlaciones positivas con: No correlación con: Correlaciones negativas con: Necesidad de afiliación Autoestima Apertura a la experiencia Sociabilidad Aislamiento social Extroversión Introversión Red nomológica Predicciones con base en la red: Guía para evaluar la calidad convergente y divergente de la Escala de Necesidad de Pertenencia. MÉTODOS PARA EVALUAR LA VALIDEZ CONVERGENTE Y DISCRIMINANTE Métodos para evaluar la validez convergente y discriminante MÉTODOS 1. 2. 3. Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo 1. Método de Asociaciones Focalizadas Métodos para evaluar la validez convergente y discriminante Enfocarse en las asociaciones entre los puntajes de la prueba y una o algunas variables específicas (variables criterio). Son asociaciones predichas cruciales. Proporcionan: Fuerte evidencia de validez o Serias dudas sobre la validez de la prueba Métodos para evaluar la validez convergente y discriminante Asociaciones focalizadas Ejemplo: El Test de Evaluación Escolar (SAT) debe estar asociado con medidas de ejecución académica (variable criterio). 1. Un estudio con más de 110,000 estudiantes de 25 universidades en EU reveló una correlación promedio de .55 entre sus puntajes en el SAT y sus calificaciones. Métodos para evaluar la validez convergente y discriminante Estas correlaciones, llamadas coeficientes de validez, son fundamentales para establecer la validez. Dan confianza a psicómetras, usuarios y evaluadores respecto de la calidad del instrumento (que mide el constructo que pretende medir). Métodos para evaluar la validez convergente y discriminante Generalización de la validez Métodos para evaluar la validez convergente y discriminante Generalización de la validez Proceso de evaluación de los coeficientes de validez de una prueba a través de un gran grupo de estudios. Comúnmente, se realizan estudios con muestras de 50 a 400 participantes, por limitaciones de tiempo y recursos. Métodos para evaluar la validez convergente y discriminante PASOS: a) Aplicar la prueba. b) Evaluar la(s) variable(s) criterio relevante(s). c) Obtener la(s) correlación(es) entre a y b. Los estudios con muestras pequeñas, con un tipo específico de población, podrían proporcionar evidencia de validez convergente y discriminante, pero no se pueden generalizar a otras. Métodos para evaluar la validez convergente y discriminante Estudios de generalización de la validez: Evalúan la utilidad predictiva de los puntajes de una prueba en diferentes ambientes, ocasiones, situaciones, etc. Combina los resultados de varios estudios individuales más pequeños en un gran análisis. Métodos para evaluar la validez convergente y discriminante Los estudios de generalización de la validez pueden revelar: 1) El nivel general de la validez predictiva a través de todos los estudios individuales pequeños . 2) El grado de variabilidad entre los estudios (si es alto, la validez no se puede generalizar). 3) La fuente de la variabilidad entre los estudios: diferentes metodologías o criterios de medición. Métodos para evaluar la validez convergente y discriminante Ejemplo: Aplicación del Test de Eficiencia en empleados bancarios y relacionarlo con su ejecución: válido sólo para ellos. Generalización: aplicación en maestros, vendedores, contadores, etc. Métodos para evaluar la validez convergente y discriminante Ejemplo: En 25 estudios de generalización de la validez del Test de Eficiencia se obtuvo: 1) Correlación promedio de todos los estudios: .30. 2) Variabilidad entre los estudios: Alta: de .40 a .50. Baja: de .20 a .40. 3) Fuente de la variabilidad: en algunos estudios los gerentes evaluaron la ejecución y en otros se evaluó con la cantidad de artículos vendidos. Métodos para evaluar la validez convergente y discriminante MÉTODOS 1. 2. 3. Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo 2. Método de Grupos de Correlaciones Métodos para evaluar la validez convergente y discriminante El constructo principal tiene diferentes niveles de asociación con una amplia variedad de constructos. Se obtiene una gran cantidad de medidas relacionados con la prueba de interés, se examina el patrón de correlaciones entre ellas y se juzga el grado en el que tal patrón “tiene sentido”, a la luz del significado conceptual del constructo que está siendo evaluado por la prueba. Métodos para evaluar la validez convergente y discriminante PASOS: a) Aplicar la prueba. b) Medir las numerosas variables criterio. c) Calcular las correlaciones entre la prueba de interés y las medidas de muchas variables criterio. d) Analizar las correlaciones y hacer un juicio subjetivo acerca del grado en el que las correlaciones corresponden a lo que se esperaba con base en la red nomológica del constructo de interés. Métodos para evaluar la validez convergente y discriminante Ejemplo: Test de Perfeccionismo Dimensiones: Otras medidas (23 variables criterio): 1. Interés en los errores Estándares altos para los demás 3. Necesidad de aprobación 4. Organización 5. Presión paterna percibida 6. Planeación absoluta 7. Cavilación 8. Esfuerzos por la excelencia 9. Perfeccionismo consciente 10. Auto-evaluación de perfeccionismo 2. Escala de Perfeccionismo Multidimensional de Frost EP-MF Escala de Perfeccionismo Multidimensional de Hewitt y Flett EPM-HF Índice Breve de Síntomas IBS Inventario Obsesivo Compulsivo IOC Escala de Deseabilidad Social de Marlowe–Crowne EDS-MC Métodos para evaluar la validez convergente y discriminante 1 2 3 4 5 6 7 8 9 10 Total EP-MF EPM-HF IBS IOC EDS-MC Hill et al., 2004 Métodos para evaluar la validez convergente y discriminante Asociaciones fuertes: Dimensiones del Test de Perfeccionismo 8. Esfuerzos por la excelencia 1. Interés en los errores 3. Necesidad de aprobación 7. Cavilación Dimensiones de otros instrumentos Escala de estándares personales (altas expectativas para la ejecución propia y una inclinación para basar el autoaprecio en la ejecución) Escala de perfeccionismo auto-orientada ( estándares no realistas para la ejecución y la tendencia a fijarse en imperfecciones en la ejecución propia) Temor a la evaluación negativa Frecuencia y severidad de los síntomas del desorden obsesivo compulsivo Métodos para evaluar la validez convergente y discriminante MÉTODOS 1. 2. 3. Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo 3. Método de Matrices Multi-Rasgo Multi-Método MMRMM Métodos para evaluar la validez convergente y discriminante Cronbach y Meehl (1955) establecieron un significado conceptual de la validez de constructo con base en la noción de la red nomológica. Campbell y Fiske (1959) desarrollaron la lógica de una matriz multirrasgomultimétodo (MMRMM) como una expansión estadística y metodológica del trabajo conceptual de Cronbach y Meehl. [Uno de los artículos más influyentes en la historia de la medición en psicología] Métodos para evaluar la validez convergente y discriminante Lee J. Cronbach (1916-2001) Métodos para evaluar la validez convergente y discriminante Matrices multirrasgo-multimétodo (MMRMM) Se obtienen medidas de varios rasgos y cada uno a través de varios métodos. Propósito: establecer una guía clara para evaluar la evidencia de validez convergente y discriminante. Evalúa dos diferentes fuentes de varianza que podrían afectar las correlaciones entre dos mediciones (varianza de rasgo y varianza de método). Métodos para evaluar la validez convergente y discriminante Ejemplo: Para evaluar una escala de habilidad social: 1) Medir habilidad social. 2) Medir otros rasgos: estabilidad emocional, impulsividad y conciencia. Red nomológica Habilidad social Estabilidad emocional Conciencia Impulsividad Métodos para evaluar la validez convergente y discriminante 3) Utilizar diferentes métodos para medir los rasgos: a) Escalas de auto-reporte. b) Evaluación de conocidos: Pedir a conocidos cercanos de los participantes que evalúen su habilidad social, impulsividad, conciencia y estabilidad emocional. c) Evaluación de entrevistadores: Pedir a estudiantes de psicología que entrevisten a los participantes para evaluar su habilidad social, impulsividad, conciencia y estabilidad emocional. Métodos de medición Rasgos Evaluación de entrevistadores Autorreporte Evaluación de conocidos Métodos para evaluar la validez convergente y discriminante Varios rasgos con varios métodos Habilidad social Estabilidad emocional Impulsividad Conciencia con: con: con: con: . : Escalas de auto- Escalas de autoreporte reporte Escalas de autoreporte Escalas de autoreporte Evaluación de conocidos Evaluación de . conocidos Evaluación de conocidos Evaluación de conocidos Evaluación de entrevistadores Evaluación de entrevistadores Evaluación de entrevistadores Evaluación de entrevistadores Métodos para evaluar la validez convergente y discriminante r entre Autoreporte de habilidad social y Autoreporte de estabilidad emocional A Dos posibles explicaciones: a) Comparten varianza de rasgo Psicológicamente, tienen algo en común. b) Comparten varianza de método No es cuestión de interpretaciones psicológicas sino de metodología. B Métodos para evaluar la validez convergente y discriminante a) Comparten varianza de rasgo Probables razones: Su habilidad social les permite crear relaciones sociales que les traen beneficios sociales, como la estabilidad emocional. A B Quienes son estables emocionalmente podrían tender a ser más hábiles socialmente. B A Ambas pueden ser causadas por una tercera variable: quizá hay base genéticas que influyen en ambos. C A y B Métodos para evaluar la validez convergente y discriminante b) Comparten varianza de método La r es + porque se basa en dos medidas derivadas de la misma fuente (por ejemplo, auto-reportes de los respondientes). Comparten propiedades adicionales a los constructos principales que se están midiendo. Quienes se perciben altos en las dos medidas pueden tender a percibirse positivamente en todo, y viceversa. Por tanto, la r puede ser simplemente un sesgo inherente en el método de medición de auto-reporte (artefacto debido a que las dos medidas comparten el mismo método). Métodos para evaluar la validez convergente y discriminante Las influencias de: la varianza de rasgo y de la varianza de método complican la interpretación de las correlaciones en términos de la evidencia de validez convergente y discriminante. Es muy complejo. Hay que examinar las correlaciones cuidadosamente. La aproximación MMRMM fue diseñada: para organizar la información relevante y para guiar las interpretaciones. Métodos para evaluar la validez convergente y discriminante Ejemplo: Dos correlaciones: r entre Autoreporte de habilidad social r entre Autoreporte de habilidad social ¿Cuál de las dos debe ser más fuerte para que la nueva medida se interprete como válida? y y Reporte del conocido sobre la habilidad social del participante Auto-reporte de estabilidad emocional Métodos para evaluar la validez convergente y discriminante r entre Autoreporte de habilidad social r entre Autoreporte de habilidad social y y Reporte del conocido sobre la habilidad social del participante Auto-reporte de estabilidad emocional Se esperaría que fuera alta porque son dos medidas del mismo constructo. Se esperaría que fuera baja porque son medidas de dos constructos diferentes. Métodos para evaluar la validez convergente y discriminante Sin embargo, considerando la varianza de método: r entre Autoreporte de habilidad social r entre Autoreporte de habilidad social y y Reporte del conocido de la habilidad social del participante Autoreporte de estabilidad emocional Esta correlación sería más débil que la otra. Métodos para evaluar la validez convergente y discriminante Por tanto, hay diferentes tipos de correlaciones, dependiendo de la varianza de rasgo y de la de método. Campbell y Fiske (1959) señalaron cuatro tipos de correlaciones derivadas de un MMRMM. Asociación entre los dos constructos Constructos diferentes (no asociados) Constructos iguales (o similares) (asociados) Método utilizado para medir los dos constructos Métodos diferentes Métodos iguales Denominación rs heterorrasgo-heterométodo rs heterorrasgo-monométodo Fuentes de varianza Varianza de rasgo no compartida y varianza de método no compartida Varianza de rasgo no compartida y varianza de método compartida Ejemplo Auto-reporte de habilidad social con reporte de un conocido sobre la estabilidad emocional Auto-reporte de habilidad social con auto-reporte de estabilidad emocional Correlación esperada Débil Moderada Denominación rs monorrasgo-heterométodo rs monorrasgo-monométodo Fuentes de varianza Varianza de rasgo compartida y varianza de método no compartida Varianza de rasgo compartida y varianza de método compartida Ejemplo Auto-reporte de habilidad social con reporte de un conocido de habilidad social Auto-reporte de habilidad social con auto-reporte de habilidad social (confiabilidad) Correlación esperada Fuerte Más fuerte Métodos para evaluar la validez convergente y discriminante La evaluación de la validez de constructo, con la varianza de rasgo y la varianza de método, procede de enfocarse en los diversos tipos de correlaciones organizados en la MMRMM. Matriz Multi-Rasgo / Multi-Método MMRMM Métodos Rasgos Autorreporte Habilidades sociales Autoreporte Impulsividad Evaluación de conocidos Estabilidad emocional Habilidades sociales Impulsividad Estabilidad emocional Evaluación de entrevistadores Habilidades sociales Impulsividad Habilidades sociales (.85) Impulsividad .14 (.81) .35 .24 (.82) .40 .14 .22 (.76) .13 .32 .19 .18 (.80) .20 .23 .41 .30 .28 (.78) .34 .11 .20 .23 .01 .19 (.81) .08 .25 .19 .06 .24 .14 .22 (.77) .14 .16 .33 .13 .12 .19 .44 .38 Estabilidad emocional Habilidades sociales Evaluación Impulsividad de conocidos Estabilidad emocional Habilidades sociales Evaluación de Impulsividad entrevista dores Estabilidad emocional Estabilidad emocional (.78) 1º. Evidencia de validez convergente Mono-rasgo / hetero-método Métodos diferentes Constructos iguales (o similares) (asociados) Denominación rs monorrasgo-heterométodo Fuentes de varianza Varianza de rasgo compartida y varianza de método no compartida Ejemplo Auto-reporte de Reporte de un conocido con habilidad social de habilidad social Correlación esperada Fuerte Maneras diferentes de medir el mismo rasgo. Correlaciones fuertes Las correlaciones mono-rasgo / hetero-método son fuertes Métodos Rasgos Autorreporte Habilidades sociales Autoreporte Impulsividad Evaluación de conocidos Estabilidad emocional Habilidades sociales Impulsividad Estabilidad emocional Evaluación de entrevistadores Habilidades sociales Impulsividad Habilidades sociales (.85) Impulsividad .14 (.81) .35 .24 (.82) .40 .14 .22 (.76) .13 .32 .19 .18 (.80) .20 .23 .41 .30 .28 (.78) .34 .11 .20 .23 .01 .19 (.81) .08 .25 .19 .06 .24 .14 .22 (.77) .14 .16 .33 .13 .12 .19 .44 .38 Estabilidad emocional Habilidades sociales Evaluación Impulsividad de conocidos Estabilidad emocional Habilidades sociales Evaluación de Impulsividad entrevista dores Estabilidad emocional Estabilidad emocional Ej., la correlación del auto-reporte de habilidad social con otras medidas de habilidad social es fuerte . (.78) 2º. Más evidencia de validez convergente y discriminante Hetero-rasgo / hetero-método Métodos diferentes Constructos diferentes Denominación rs heterorrasgo-heterométodo Fuentes de varianza Varianza de rasgo no compartida y varianza de método no compartida Ejemplo Correlación esperada Auto-reporte de Reporte de un conocido con habilidad social sobre la estabilidad emocional Más débil Asociaciones entre medidas de diferentes constructos evaluados con diferentes métodos. Correlaciones débiles Correlaciones hetero-rasgo / hetero-método débiles Métodos Rasgos Autorreporte Habilidades sociales Autoreporte Impulsividad Evaluación de conocidos Estabilidad emocional Habilidades sociales Impulsividad Estabilidad emocional Evaluación de entrevistadores Habilidades sociales Impulsividad Habilidades sociales (.85) Impulsividad .14 (.81) .35 .24 (.82) .40 .14 .22 (.76) .13 .32 .19 .18 (.80) .20 .23 .41 .30 .28 (.78) .34 .11 .20 .23 .01 .19 (.81) .08 .25 .19 .06 .24 .14 .22 (.77) .14 .16 .33 .13 .12 .19 .44 .38 Estabilidad emocional Habilidades sociales Evaluación Impulsividad de conocidos Estabilidad emocional Habilidades sociales Evaluación de Impulsividad entrevista dores Estabilidad emocional Ej., la correlación del auto-reporte de habilidad social es más fuerte con otras medidas de habilidad social que con cualquier otra. Estabilidad emocional (.78) 3º. Evidencia aún más rigurosa de validez convergente y discriminante Hetero-rasgo / mono-método Métodos iguales Constructos diferentes (no asociados) Denominación rs heterorrasgo-monométodo Fuentes de varianza Varianza de rasgo no compartida y varianza de método compartida Ejemplo Correlación esperada Auto-reporte de Auto-reporte de con habilidad social estabilidad emocional Moderada Asociaciones entre medidas de diferentes constructos evaluados con el mismo método. Correlaciones moderadas Las correlaciones mono-rasgo / hetero-método más fuertes que las hetero-rasgo / mono-método MMRMM Métodos Rasgos Autorreporte Habilidades sociales Autoreporte Impulsividad Evaluación de conocidos Estabilidad emocional Habilidades sociales Impulsividad Estabilidad emocional Evaluación de entrevistadores Habilidades sociales Impulsividad Habilidades sociales (.85) Impulsividad .14 (.81) .35 .24 (.82) .40 .14 .22 (.76) .13 .32 .19 .18 (.80) .20 .23 .41 .30 .28 (.78) .34 .11 .20 .23 .01 .19 (.81) .08 .25 .19 .06 .24 .14 .22 (.77) .14 .16 .33 .13 .12 .19 .44 .38 Estabilidad emocional Habilidades sociales Evaluación Impulsividad de conocidos Estabilidad emocional Habilidades sociales Evaluación de Impulsividad entrevista dores Estabilidad emocional Estabilidad emocional Hetero-rasgo / mono-método: Asociaciones entre medidas de diferentes constructos evaluados con el mismo método. (.78) Ej., la correlación del auto-reporte de habilidad social es más fuerte con otras medidas de habilidad social que con medidas de auto-reporte de otros rasgos. Métodos para evaluar la validez convergente y discriminante El MMRMM se utiliza poco, pero es un importante desarrollo para entender y analizar la evidencia de validez convergente y discriminante. Otros temas de Psicometría Coeficiente de validez Amenazas a la calidad psicométrica: Factores que afectan el coeficiente de validez Interpretación del coeficiente de validez Sesgos en la respuesta Sesgos en el instrumento Aproximaciones psicométricas avanzadas Teoría de la Generalizabilidad Teoría de la Respuesta al Item (TRI) y Modelos Rasch