Download Diapositiva 1 - nazira calleja

09. Validez
Estimación y evaluación de la evidencia de
validez convergente y discriminante
Tipos de validez
1. Validez de contenido
Validez de contenido: Por expertos.
El contenido
real del
instrumento
y
Validez de facie: Por no expertos.
2. Validez de constructo
Constructo único.
Constructo multidimensional.
La estructura
interna real
del
instrumento
y
Lo que
debería
incluirse en
el
instrumento,
según la
teoría
La estructura
que el
instrumento
debería
poseer, según
la teoría
Tipos de validez
3. Validez convergente
Validez convergente: Concurrente
Predictiva
Validez discriminante
Las
asociaciones
reales de un
instrumento
y
Las
asociaciones
que el
instrumento
debería (o
no) tener con
otras medidas,
según la teoría
Red nomológica
Guía para evaluar la calidad
convergente y divergente
de un instrumento
Red nomológica

Constructos psicológicos en un contexto teórico
RED NOMOLÓGICA
Constructo
Constructo
Reac
Reac
Reac
Constructo
Constructo
Constructo
Reac
Reac
Reac
Reac
Reac
Reac
Reac
Red de “significados” alrededor de un constructo.
Red nomológica

Lee Cronbach y Paul Meehl en 1955.

Nomológica: Del griego que significa legítimo.

Dicta un patrón particular
de asociaciones entre
constructos y sus medidas.
Red nomológica
Sugiere que la medida de un
constructo debería estar:

fuertemente asociada con
medidas de algunos constructos,
pero

débilmente correlacionada con
medidas de otros constructos.
Red nomológica
Ejemplo: Escala de Necesidad de Pertenencia
Necesidad de
pertenencia
Pulsión para formar y mantener
al menos una cantidad mínima
de relaciones interpersonales
duraderas, positivas y
significativas.
Menos
Más
Red nomológica
Correlaciones de débiles a moderadas con:
Necesidad de
pertenencia
Necesidad de
afiliación
Extroversión
Sociabilidad
Red nomológica
No correlación con:
Necesidad de
pertenencia
Autoestima
Red nomológica
Correlaciones negativas con:
Necesidad de
pertenencia
Introversión
Apertura a la
experiencia
Aislamiento
social
Red nomológica
Síntesis
Red nomológica de
NECESIDAD DE PERTENENCIA
Correlaciones
positivas con:
No correlación
con:
Correlaciones
negativas con:
Necesidad de
afiliación
Autoestima
Apertura a la
experiencia
Sociabilidad
Aislamiento
social
Extroversión
Introversión
Red nomológica

Predicciones con base en la red:
Guía para evaluar la calidad
convergente y divergente
de la Escala de Necesidad de Pertenencia.
MÉTODOS PARA EVALUAR LA
VALIDEZ CONVERGENTE
Y DISCRIMINANTE
Métodos para evaluar
la validez convergente y discriminante
MÉTODOS
1.
2.
3.
Asociaciones focalizadas
Grupos de correlaciones
Matrices multirrasgo-multimétodo
1.
Método de
Asociaciones Focalizadas
Métodos para evaluar
la validez convergente y discriminante
Enfocarse en las asociaciones entre
los puntajes de la prueba y
una o algunas variables específicas
(variables criterio).
Son asociaciones predichas cruciales.
Proporcionan:
Fuerte
evidencia de
validez
o
Serias dudas sobre
la validez de la
prueba
Métodos para evaluar
la validez convergente y discriminante
Asociaciones focalizadas
Ejemplo: El Test de Evaluación Escolar (SAT)
debe estar asociado con medidas de ejecución
académica (variable criterio).
1.
Un estudio con más de 110,000 estudiantes de 25 universidades en
EU reveló una correlación promedio de .55 entre sus puntajes en el
SAT y sus calificaciones.
Métodos para evaluar
la validez convergente y discriminante
Estas correlaciones, llamadas coeficientes de
validez, son fundamentales para establecer
la validez.
Dan confianza a psicómetras, usuarios y
evaluadores respecto de la calidad del
instrumento
(que mide el constructo que pretende medir).
Métodos para evaluar
la validez convergente y discriminante
Generalización
de la validez
Métodos para evaluar
la validez convergente y discriminante
Generalización de la validez
Proceso de evaluación de los coeficientes de
validez de una prueba a través de un gran
grupo de estudios.
Comúnmente, se realizan estudios con
muestras de 50 a 400 participantes, por
limitaciones de tiempo y recursos.
Métodos para evaluar
la validez convergente y discriminante
PASOS:
a)
Aplicar la prueba.
b)
Evaluar la(s) variable(s) criterio relevante(s).
c)
Obtener la(s) correlación(es) entre a y b.
Los estudios con muestras pequeñas,
con un tipo específico de población,
podrían proporcionar evidencia de
validez convergente y discriminante,
pero no se pueden generalizar a otras.
Métodos para evaluar
la validez convergente y discriminante
Estudios de generalización de la validez:
Evalúan la utilidad predictiva de los puntajes de
una prueba en diferentes ambientes, ocasiones,
situaciones, etc.
Combina los resultados de varios estudios
individuales más pequeños en un gran análisis.
Métodos para evaluar
la validez convergente y discriminante
Los estudios de generalización de la validez pueden
revelar:
1)
El nivel general de la validez predictiva a través
de todos los estudios individuales pequeños .
2)
El grado de variabilidad entre los estudios (si es
alto, la validez no se puede generalizar).
3)
La fuente de la variabilidad entre los estudios:
diferentes metodologías o criterios de medición.
Métodos para evaluar
la validez convergente y discriminante
Ejemplo:
Aplicación del Test de Eficiencia en
empleados bancarios y relacionarlo con
su ejecución: válido sólo para ellos.
Generalización: aplicación en maestros,
vendedores, contadores, etc.
Métodos para evaluar
la validez convergente y discriminante
Ejemplo: En 25 estudios de generalización de la validez
del Test de Eficiencia se obtuvo:
1)
Correlación promedio de todos los estudios: .30.
2)
Variabilidad entre los estudios:
Alta: de .40 a .50.
Baja: de .20 a .40.
3)
Fuente de la variabilidad: en algunos estudios los
gerentes evaluaron la ejecución y en otros se evaluó
con la cantidad de artículos vendidos.
Métodos para evaluar
la validez convergente y discriminante
MÉTODOS
1.
2.
3.
Asociaciones focalizadas
Grupos de correlaciones
Matrices multirrasgo-multimétodo
2. Método de
Grupos de Correlaciones
Métodos para evaluar
la validez convergente y discriminante
El constructo principal tiene
diferentes niveles de asociación
con una amplia variedad de constructos.
 Se
obtiene una gran cantidad de medidas
relacionados con la prueba de interés,
 se examina el patrón de correlaciones entre ellas y
 se juzga el grado en el que tal patrón “tiene
sentido”, a la luz del significado conceptual del
constructo que está siendo evaluado por la prueba.
Métodos para evaluar
la validez convergente y discriminante
PASOS:
a)
Aplicar la prueba.
b)
Medir las numerosas variables criterio.
c)
Calcular las correlaciones entre la prueba de interés y las
medidas de muchas variables criterio.
d)
Analizar las correlaciones y hacer un juicio subjetivo
acerca del grado en el que las correlaciones
corresponden a lo que se esperaba con base en la red
nomológica del constructo de interés.
Métodos para evaluar
la validez convergente y discriminante
Ejemplo: Test de Perfeccionismo
Dimensiones:
Otras medidas
(23 variables criterio):
1. Interés en los errores
Estándares altos para los demás
3. Necesidad de aprobación
4. Organización
5. Presión paterna percibida
6. Planeación absoluta
7. Cavilación
8. Esfuerzos por la excelencia
9. Perfeccionismo consciente
10. Auto-evaluación de
perfeccionismo
2.
Escala de Perfeccionismo
Multidimensional de
Frost EP-MF
Escala de Perfeccionismo
Multidimensional de
Hewitt y Flett EPM-HF
Índice Breve de Síntomas IBS
Inventario Obsesivo
Compulsivo IOC
Escala de Deseabilidad Social
de Marlowe–Crowne
EDS-MC
Métodos para evaluar
la validez convergente y discriminante
1
2
3
4
5
6
7
8
9
10
Total
EP-MF
EPM-HF
IBS
IOC
EDS-MC
Hill et al., 2004
Métodos para evaluar
la validez convergente y discriminante
Asociaciones fuertes:
Dimensiones del
Test de
Perfeccionismo
8. Esfuerzos por la excelencia
1. Interés en los errores
3. Necesidad de aprobación
7. Cavilación
Dimensiones de otros instrumentos
Escala de estándares personales (altas
expectativas para la ejecución propia y
una inclinación para basar el autoaprecio
en la ejecución)
Escala de perfeccionismo auto-orientada
( estándares no realistas para la
ejecución y la tendencia a fijarse en
imperfecciones en la ejecución propia)
Temor a la evaluación negativa
Frecuencia y severidad de los síntomas
del desorden obsesivo compulsivo
Métodos para evaluar
la validez convergente y discriminante
MÉTODOS
1.
2.
3.
Asociaciones focalizadas
Grupos de correlaciones
Matrices multirrasgo-multimétodo
3. Método de
Matrices Multi-Rasgo Multi-Método
MMRMM
Métodos para evaluar
la validez convergente y discriminante
Cronbach y Meehl (1955) establecieron un
significado conceptual de la validez de
constructo con base en la noción de la red
nomológica.
Campbell y Fiske (1959) desarrollaron la
lógica de una matriz multirrasgomultimétodo (MMRMM) como una
expansión estadística y metodológica del
trabajo conceptual de Cronbach y Meehl.
[Uno de los artículos más influyentes en la historia de la
medición en psicología]
Métodos para evaluar
la validez convergente y discriminante
Lee J. Cronbach (1916-2001)
Métodos para evaluar
la validez convergente y discriminante
Matrices multirrasgo-multimétodo
(MMRMM)
Se obtienen medidas de varios rasgos y cada uno a
través de varios métodos.
Propósito: establecer una guía clara para evaluar la
evidencia de validez convergente y discriminante.
Evalúa dos diferentes fuentes de varianza que podrían
afectar las correlaciones entre dos mediciones (varianza
de rasgo y varianza de método).
Métodos para evaluar
la validez convergente y discriminante
Ejemplo:
Para evaluar una escala de habilidad social:
1) Medir habilidad social.
2) Medir otros rasgos:
estabilidad emocional, impulsividad y conciencia.
Red nomológica
Habilidad
social
Estabilidad
emocional
Conciencia
Impulsividad
Métodos para evaluar
la validez convergente y discriminante
3) Utilizar diferentes métodos para medir los rasgos:
a) Escalas de auto-reporte.
b) Evaluación de conocidos: Pedir a
conocidos cercanos de los participantes
que evalúen su habilidad social,
impulsividad, conciencia y estabilidad
emocional.
c) Evaluación de entrevistadores:
Pedir a estudiantes de psicología
que entrevisten a los
participantes para evaluar su
habilidad social, impulsividad,
conciencia y estabilidad
emocional.
Métodos de medición
Rasgos
Evaluación de
entrevistadores
Autorreporte
Evaluación de
conocidos
Métodos para evaluar
la validez convergente y discriminante
Varios rasgos con varios métodos
Habilidad
social
Estabilidad
emocional
Impulsividad
Conciencia
con:
con:
con:
con:
.
:
Escalas
de auto- Escalas de autoreporte
reporte
Escalas de autoreporte
Escalas de autoreporte
Evaluación de
conocidos
Evaluación de
.
conocidos
Evaluación de
conocidos
Evaluación de
conocidos
Evaluación de
entrevistadores
Evaluación de
entrevistadores
Evaluación de
entrevistadores
Evaluación de
entrevistadores
Métodos para evaluar
la validez convergente y discriminante
 r entre
Autoreporte de
habilidad
social
y
Autoreporte de
estabilidad
emocional
A
Dos posibles explicaciones:
a) Comparten varianza de rasgo
Psicológicamente, tienen algo en común.
b) Comparten varianza de método
No es cuestión de interpretaciones
psicológicas sino de metodología.
B
Métodos para evaluar
la validez convergente y discriminante
a) Comparten varianza de rasgo
Probables razones:
 Su
habilidad social les permite crear relaciones sociales
que les traen beneficios sociales, como la estabilidad
emocional.
A B
 Quienes
son estables emocionalmente podrían tender a
ser más hábiles socialmente.
B A
 Ambas
pueden ser causadas por una tercera variable:
quizá hay base genéticas que influyen en ambos.
C A y B
Métodos para evaluar
la validez convergente y discriminante
b) Comparten varianza de método
La r es + porque se basa en dos medidas derivadas de la
misma fuente (por ejemplo, auto-reportes de los
respondientes).
Comparten propiedades adicionales a los constructos
principales que se están midiendo.
Quienes se perciben altos en las dos medidas pueden
tender a percibirse positivamente en todo, y viceversa.
Por tanto, la  r puede ser simplemente un sesgo
inherente en el método de medición de auto-reporte
(artefacto debido a que las dos medidas comparten el
mismo método).
Métodos para evaluar
la validez convergente y discriminante
Las influencias de:
la varianza de rasgo y de la varianza de método
complican la interpretación de las correlaciones en
términos de la evidencia de
validez convergente y discriminante.
Es muy complejo.
Hay que examinar las correlaciones cuidadosamente.
La aproximación MMRMM fue diseñada:
 para organizar la información relevante y
 para guiar las interpretaciones.
Métodos para evaluar
la validez convergente y discriminante
Ejemplo:
Dos
correlaciones:
r entre
Autoreporte de
habilidad
social
r entre
Autoreporte de
habilidad
social
¿Cuál de las
dos debe ser
más fuerte
para que la
nueva
medida se
interprete
como válida?
y
y
Reporte del
conocido sobre
la habilidad social
del participante
Auto-reporte
de
estabilidad
emocional
Métodos para evaluar
la validez convergente y discriminante
r entre
Autoreporte de
habilidad
social
r entre
Autoreporte de
habilidad
social
y
y
Reporte del
conocido sobre
la habilidad
social del
participante
Auto-reporte
de
estabilidad
emocional
Se esperaría que
fuera alta porque
son dos medidas
del mismo
constructo.
Se esperaría que
fuera baja porque
son medidas de
dos constructos
diferentes.
Métodos para evaluar
la validez convergente y discriminante
Sin embargo, considerando
la varianza de método:
r entre
Autoreporte de
habilidad
social
r entre
Autoreporte de
habilidad
social
y
y
Reporte del
conocido de
la habilidad
social del
participante
Autoreporte de
estabilidad
emocional
Esta correlación
sería más débil
que la otra.
Métodos para evaluar
la validez convergente y discriminante
Por tanto, hay diferentes tipos de correlaciones,
dependiendo de la varianza de rasgo y de la de
método.
Campbell y Fiske (1959) señalaron cuatro tipos
de correlaciones derivadas de un MMRMM.
Asociación
entre los dos
constructos
Constructos
diferentes
(no asociados)
Constructos
iguales
(o similares)
(asociados)
Método utilizado para medir
los dos constructos
Métodos diferentes
Métodos iguales
Denominación
rs heterorrasgo-heterométodo
rs heterorrasgo-monométodo
Fuentes de varianza
Varianza de rasgo no
compartida y varianza de
método no compartida
Varianza de rasgo no
compartida y varianza de
método compartida
Ejemplo
Auto-reporte de habilidad
social con reporte de un
conocido sobre la estabilidad
emocional
Auto-reporte de habilidad
social con auto-reporte de
estabilidad emocional
Correlación
esperada
Débil
Moderada
Denominación
rs monorrasgo-heterométodo
rs monorrasgo-monométodo
Fuentes de varianza
Varianza de rasgo compartida
y varianza de método no
compartida
Varianza de rasgo compartida
y varianza de método
compartida
Ejemplo
Auto-reporte de habilidad
social con reporte de un
conocido de habilidad social
Auto-reporte de habilidad
social con auto-reporte de
habilidad social (confiabilidad)
Correlación esperada
Fuerte
Más fuerte
Métodos para evaluar
la validez convergente y discriminante
La evaluación de la
validez de constructo,
con la varianza de rasgo y la varianza
de método, procede de enfocarse en
los diversos tipos de correlaciones
organizados en la MMRMM.
Matriz Multi-Rasgo / Multi-Método
MMRMM
Métodos
Rasgos
Autorreporte
Habilidades
sociales
Autoreporte
Impulsividad
Evaluación de conocidos
Estabilidad
emocional
Habilidades
sociales
Impulsividad
Estabilidad
emocional
Evaluación de
entrevistadores
Habilidades
sociales
Impulsividad
Habilidades
sociales
(.85)
Impulsividad
.14
(.81)
.35
.24
(.82)
.40
.14
.22
(.76)
.13
.32
.19
.18
(.80)
.20
.23
.41
.30
.28
(.78)
.34
.11
.20
.23
.01
.19
(.81)
.08
.25
.19
.06
.24
.14
.22
(.77)
.14
.16
.33
.13
.12
.19
.44
.38
Estabilidad
emocional
Habilidades
sociales
Evaluación
Impulsividad
de
conocidos
Estabilidad
emocional
Habilidades
sociales
Evaluación
de
Impulsividad
entrevista
dores
Estabilidad
emocional
Estabilidad
emocional
(.78)
1º. Evidencia de validez convergente
Mono-rasgo / hetero-método
Métodos diferentes
Constructos
iguales
(o similares)
(asociados)
Denominación
rs monorrasgo-heterométodo
Fuentes de varianza
Varianza de rasgo compartida y
varianza de método no compartida
Ejemplo
Auto-reporte de
Reporte de un conocido
con
habilidad social
de habilidad social
Correlación
esperada
Fuerte
Maneras diferentes
de medir
el mismo rasgo.
Correlaciones fuertes
Las correlaciones mono-rasgo / hetero-método son fuertes
Métodos
Rasgos
Autorreporte
Habilidades
sociales
Autoreporte
Impulsividad
Evaluación de conocidos
Estabilidad
emocional
Habilidades
sociales
Impulsividad
Estabilidad
emocional
Evaluación de
entrevistadores
Habilidades
sociales
Impulsividad
Habilidades
sociales
(.85)
Impulsividad
.14
(.81)
.35
.24
(.82)
.40
.14
.22
(.76)
.13
.32
.19
.18
(.80)
.20
.23
.41
.30
.28
(.78)
.34
.11
.20
.23
.01
.19
(.81)
.08
.25
.19
.06
.24
.14
.22
(.77)
.14
.16
.33
.13
.12
.19
.44
.38
Estabilidad
emocional
Habilidades
sociales
Evaluación
Impulsividad
de
conocidos
Estabilidad
emocional
Habilidades
sociales
Evaluación
de
Impulsividad
entrevista
dores
Estabilidad
emocional
Estabilidad
emocional
Ej., la correlación del auto-reporte de habilidad social con otras medidas de
habilidad social es fuerte .
(.78)
2º. Más evidencia de validez convergente y discriminante
Hetero-rasgo / hetero-método
Métodos diferentes
Constructos
diferentes
Denominación
rs heterorrasgo-heterométodo
Fuentes de
varianza
Varianza de rasgo no compartida y
varianza de método no compartida
Ejemplo
Correlación
esperada
Auto-reporte de
Reporte de un conocido
con
habilidad social
sobre la estabilidad emocional
Más débil
Asociaciones entre medidas de
diferentes constructos
evaluados con
diferentes métodos.
Correlaciones débiles
Correlaciones hetero-rasgo / hetero-método débiles
Métodos
Rasgos
Autorreporte
Habilidades
sociales
Autoreporte
Impulsividad
Evaluación de conocidos
Estabilidad
emocional
Habilidades
sociales
Impulsividad
Estabilidad
emocional
Evaluación de
entrevistadores
Habilidades
sociales
Impulsividad
Habilidades
sociales
(.85)
Impulsividad
.14
(.81)
.35
.24
(.82)
.40
.14
.22
(.76)
.13
.32
.19
.18
(.80)
.20
.23
.41
.30
.28
(.78)
.34
.11
.20
.23
.01
.19
(.81)
.08
.25
.19
.06
.24
.14
.22
(.77)
.14
.16
.33
.13
.12
.19
.44
.38
Estabilidad
emocional
Habilidades
sociales
Evaluación
Impulsividad
de
conocidos
Estabilidad
emocional
Habilidades
sociales
Evaluación
de
Impulsividad
entrevista
dores
Estabilidad
emocional
Ej., la correlación del auto-reporte de habilidad social es más fuerte con
otras medidas de habilidad social que con cualquier otra.
Estabilidad
emocional
(.78)
3º. Evidencia aún más rigurosa de validez convergente y discriminante
Hetero-rasgo / mono-método
Métodos iguales
Constructos
diferentes
(no asociados)
Denominación
rs heterorrasgo-monométodo
Fuentes de varianza
Varianza de rasgo no compartida y
varianza de método compartida
Ejemplo
Correlación
esperada
Auto-reporte de
Auto-reporte de
con
habilidad social
estabilidad emocional
Moderada
Asociaciones entre medidas de
diferentes constructos
evaluados con
el mismo método.
Correlaciones moderadas
Las correlaciones mono-rasgo / hetero-método más fuertes que las
hetero-rasgo / mono-método
MMRMM
Métodos
Rasgos
Autorreporte
Habilidades
sociales
Autoreporte
Impulsividad
Evaluación de conocidos
Estabilidad
emocional
Habilidades
sociales
Impulsividad
Estabilidad
emocional
Evaluación de
entrevistadores
Habilidades
sociales
Impulsividad
Habilidades
sociales
(.85)
Impulsividad
.14
(.81)
.35
.24
(.82)
.40
.14
.22
(.76)
.13
.32
.19
.18
(.80)
.20
.23
.41
.30
.28
(.78)
.34
.11
.20
.23
.01
.19
(.81)
.08
.25
.19
.06
.24
.14
.22
(.77)
.14
.16
.33
.13
.12
.19
.44
.38
Estabilidad
emocional
Habilidades
sociales
Evaluación
Impulsividad
de
conocidos
Estabilidad
emocional
Habilidades
sociales
Evaluación
de
Impulsividad
entrevista
dores
Estabilidad
emocional
Estabilidad
emocional
Hetero-rasgo / mono-método:
Asociaciones entre medidas de
diferentes constructos
evaluados con el mismo
método.
(.78)
Ej., la correlación del auto-reporte de habilidad social es más fuerte con otras medidas
de habilidad social que con medidas de auto-reporte de otros rasgos.
Métodos para evaluar
la validez convergente y discriminante
El MMRMM se utiliza poco,
pero es un importante desarrollo
para entender y analizar
la evidencia de validez convergente y
discriminante.
Otros temas de Psicometría

Coeficiente de validez



Amenazas a la calidad psicométrica:



Factores que afectan el coeficiente de validez
Interpretación del coeficiente de validez
Sesgos en la respuesta
Sesgos en el instrumento
Aproximaciones psicométricas avanzadas


Teoría de la Generalizabilidad
Teoría de la Respuesta al Item (TRI) y Modelos Rasch