Download 03_metaanblisis3_sevilla_2015 - Innoevalua

Universidad de Sevilla
Facultad de Psicología
Máster Universitario en Estudios Avanzados en Cerebro y Conducta
Asignatura: Diseño y Medición en Programas de Intervención Neuropsicológica
Meta-análisis (III)
Ponente:
Prof. Julio Sánchez Meca
[email protected]
Facultad de Psicología
Unidad de Meta-análisis
Universidad de Murcia
www.um.es/metaanalysis
2-3 de Diciembre, 2015
1
Índice de los puntos 4-6
4. Interpretación de resultados en meta-análisis
4.1 Modelos estadísticos en meta-análisis
4.2 Resultados de un meta-análisis
4.2.1 El efecto medio y el forest plot
4.2.2 Análisis de la homogeneidad
4.2.3 Análisis de variables moderadoras
5. El programa RevMan 5.3
6. Meta-análisis: Ventajas y limitaciones
2
4. Interpretación de resultados en MA
4.1 Modelos estadísticos en MA
El análisis estadístico en un meta-análisis requiere
formular previamente un modelo estadístico de la
variabilidad de los tamaños del efecto de los estudios.
Los dos modelos estadísticos más frecuentes son:
(a) El modelo de efecto fijo (fixed-effect model)
(b) El modelo de efectos aleatorios (random-effects
model)
3
4. Interpretación de resultados en MA
4.1 Modelos estadísticos en MA
Modelo de efecto fijo
4
4. Interpretación de resultados en MA
4.1 Modelos estadísticos en MA
Modelo de efectos aleatorios
5
4. Interpretación de resultados en MA
4.1 Modelos estadísticos en MA
Modelo de efecto fijo versus modelo de
efectos aleatorios
Modelo de Efecto Fijo
(Fixed-effect model)
Estamos estimando un tamaño del efecto
poblacional único, . Es decir, estamos
asumiendo que los estudios metaanalizados comparten un mismo tamaño del
efecto paramétrico.
Modelo de Efectos Aleatorios
(Random-effects model)
Estamos asumiendo que cada estudio está
estimando un tamaño del efecto paramétrico
diferente, de forma que asumimos que
existe una distribución de TEs paramétricos:
i  N(, 2)
6
4. Interpretación de resultados en MA
4.1 Modelos estadísticos en MA
Modelo de efecto fijo versus modelo de
efectos aleatorios
Modelo de Efecto Fijo
(Fixed-effect model)
La única fuente de variabilidad entre los
tamaños del efecto es la varianza intraestudio, vi, es decir, la variabilidad o el error
de muestreo que se produce por el hecho
de estar trabajando con muestras de
participantes y no con toda la población.
Modelo de Efectos Aleatorios
(Random-effects model)
Se asume que los tamaños del efecto varían
entre si debido a dos fuentes de variabilidad,
o de error: la varianza intra-estudio, vi,
provocada por el error de muestreo, y la
varianza inter-estudios, 2, provocada por el
hecho de que cada estudio está estimando
un TE paramétrico diferente.
7
4. Interpretación de resultados en MA
4.1 Modelos estadísticos en MA
Modelo de efecto fijo versus modelo de
efectos aleatorios
Modelo de Efecto Fijo
(Fixed-effect model)
Modelo matemático:
Ti =  + i
Factor de ponderación:
Modelo de Efectos Aleatorios
(Random-effects model)
Modelo matemático:
Ti = i + i =  + i + i
Factor de ponderación:
wi  1 / vi
wi*  1 /( vi   2 )
Los intervalos de confianza y las pruebas de Los intervalos de confianza y las pruebas de
significación estadística sobre el TE medio significación estadística sobre el TE medio
son más liberales, es decir, al tener menor son más conservadoras, es decir, al
varianza permiten encontrar resultados
reconocer mayor varianza es más difícil
estadísticamente significativos con mayor
alcanzar resultados estadísticamente
facilidad que en los modelos de efectos
significativos que en los modelos de efecto
aleatorios. Así, la anchura de los intervalos fijo. Así, la anchura de los intervalos de
de confianza es más estrecha que en los
confianza es más ancha que en los modelos
modelos de efectos aleatorios.
de efecto fijo.
8
4. Interpretación de resultados en MA
4.1 Modelos estadísticos en MA
 Efecto fijo versus efectos aleatorios: ¿Qué modelo elegir?
 Sobre una base conceptual. El meta-analista elige el
modelo que considera más apropiado a la naturaleza de los
estudios incluidos en el meta-análisis
 En función del resultado de la prueba de
heterogeneidad:
 Si resulta significativa  Modelo de efectos aleatorios
 Si no resulta significativa  Modelo de efecto fijo
Es preferible la primera estrategia
9
4. Interpretación de resultados en MA
4.2 Resultados de un MA
¿A qué preguntas puede responder un meta-análisis?
 ¿Cuál es la magnitud media del efecto encontrado en
los estudios meta-analizados?
 ¿Es significativa (estadística y prácticamente) dicha
magnitud del efecto medio?
 ¿Son homogéneos los efectos encontrados en los
estudios en torno al efecto medio?
 En caso contrario, ¿qué características de los
estudios pueden estar provocando la heterogeneidad
encontrada entre los estudios?
 ¿Es posible formular un modelo explicativo que
contemple aquellos factores de los estudios que mejor den
10
cuenta de la heterogeneidad exhibida entre ellos?
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.1 El efecto medio y el forest plot
 El “forest plot” es un gráfico que representa los
efectos individuales de cada estudio con su intervalo
de confianza, así como el efecto medio
 El efecto medio global del meta-análisis, T+, se
obtiene mediante una media ponderada de los efectos
individuales, Ti. El factor de ponderación, wi, de cada
estudio está en función del tamaño muestral
wT

w
i i
T
i
i
i
11
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.1 El efecto medio y el forest plot
 El Intervalo de Confianza al 95% en torno al efecto
medio, T+, se obtiene mediante:
 L  T  1.96S T 
T  1.96S T    s
 Li T  1.96S T 
Error típico del
efecto medio
ST  
1
w
i
i
 Dependiendo de qué índice del efecto se haya
utilizado (dr, rr, or, d), se observa si el efecto medio
es significativamente no nulo comprobando si el valor
0 o el valor 1 (dependiendo del índice del efecto) se
encuentra dentro del intervalo de confianza
12
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.2 Análisis de la homogeneidad
La prueba de homogeneidad de los efectos individuales en
torno al efecto medio se obtiene mediante:
Q   wi Ti  T    k21
2
i
 Si la prueba Q no es estadísticamente significativa (p >
0.05), existe homogeneidad entre los efectos individuales y,
en consecuencia, el efecto medio es una buena estimación
del efecto poblacional
 Si la prueba Q es significativa (p < 0.05), no existe
homogeneidad entre los efectos individuales, por lo que el
efecto medio no representa bien al conjunto de estudios y se
hace preciso realizar análisis por subgrupos en función de
13
ciertas características de los estudios previamente
determinadas
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.2 Análisis de la homogeneidad
La prueba de homogeneidad se complementa con el
cálculo del índice I2, que refleja en porcentaje el grado
de heterogeneidad en los tamaños del efecto debida al
influjo de las características de los estudios:
I2 
Q  ( k 1 )
100%
Q
 Los valores negativos se igualan a 0
 Orientativamente, podemos interpretar valores de I2
en torno al 25%, 50% y 75% como reflejando
heterogeneidad baja, media y alta, respectivamente
14
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.2 Análisis de la homogeneidad
EJEMPLO:
Rosa-Alcázar, A.I., Sánchez-Meca, J., Gómez-Conesa, A. y
Marín-Martínez, F. (2008). Psychological treatment of
obsessive-compulsive disorder: A meta-analysis. Clinical
Psychology Review, 28, 1310-1325
Objetivo: Meta-analizar los estudios evaluativos sobre la
eficacia de los tratamientos psicológicos del trastorno
obsesivo-compulsivo adulto
Medida de resultado: Escalas continuas de síntomas de
obsesiones y compulsiones
Índice del tamaño del efecto: La diferencia de medias
estandarizada, d. Valores d positivos indican una mayor
reducción de los síntomas en los pacientes que reciben el
tratamiento en comparación con los del grupo de control
15
Ejemplo de forest plot
Model
Study name
Hedges's g and 95% CI
Hedges's Standard
g
error
Black et al. (1998)
Cordioli et al. (2003)
Fals-Stewart et al. (1993a)
Fals-Stewart et al. (1993b)
Fineberg et al. (2005)
Foa et al. (2005)
Freeston et al. (1997)
Greist et al. (2002a)
Greist et al. (2002b)
Jones & Menzies (1998)
Kozak et al. (2000)
Lindsay et al. (1997)
Lovell et al. (1994)
Marks et al. (1980)
McLean et al. (2001a)
McLean et al. (2001b)
Nakatani et al. (2005)
O'Connor et al. (1999)
O´Connor et al. (2006)
Taylor et al. (2003)
Van Balkom et al. (1998a)
Van Balkom et al. (1998b)
Vogel et al. (2004a)
Vogel et al. (2004b)
Fixed
Random
1,425
1,068
0,924
0,909
0,281
1,646
1,007
0,996
0,731
1,882
1,082
2,326
-0,229
0,191
0,980
1,620
2,997
0,860
1,494
0,597
0,674
0,490
3,780
1,590
0,993
1,075
0,530
0,319
0,270
0,269
0,368
0,362
0,394
0,193
0,188
0,525
0,399
0,610
0,579
0,448
0,309
0,346
0,689
0,603
0,506
0,405
0,349
0,344
0,868
0,527
0,072
0,118
-2,00
-1,00
A favor Control
0,00
1,00
2,00
A favor Tratam.
16
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.2 Análisis de la homogeneidad
Interpretación de los resultados según el modelo de efectos
aleatorios:
 Tamaño del efecto medio e intervalo de confianza al 95%:
d+ = 1.075. I.C. al 95%: [0.843; 1.306]
Globalmente, los tratamientos psicológicos logran reducir
significativamente los síntomas de obsesiones y
compulsiones de los pacientes con TOC
 Según el criterio de Cohen (1988), el tamaño del efecto
medio es de magnitud muy alta (por encima de 0.80)
 Prueba de homogeneidad: Q(23) = 53.452, p < .01. I2 =
57%. Los tamaños del efecto de los estudios no son
homogéneos en torno a su media. Por tanto, debe
examinarse el influjo de variables moderadoras
17
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
¿Influyen las características de los estudios en los TEs?
Cuando la hipótesis de homogeneidad se rechaza, se pasa
a analizar el influjo de variables moderadoras sobre los
tamaños del efecto:
 Si la variable moderadora es cualitativa (por ejemplo, el
tipo de tratamiento, el tipo de diseño, etc.), se aplican
técnicas de análisis de varianza ponderada, mediante
las cuales se comparan los efectos medios de cada
categoría
 Si la variable moderadora es continua (por ejemplo, la
duración del tratamiento, la edad media de los sujetos,
etc.), se aplican técnicas de análisis de regresión
ponderada denominadas meta-regresión
18
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
¿Influyen las características de los estudios en los TEs?
 ¿Qué aspectos del tratamiento pueden variar a lo largo de
los estudios?: La dosis, la intensidad, el tipo de técnica, la
duración del tratamiento, etc.
 ¿Qué características de los sujetos pueden afectar a los
resultados?: el género, la edad, la gravedad de la
enfermedad, su carácter crónico versus agudo, etc.
 ¿Qué características del contexto de aplicación pueden
afectar?: el lugar de aplicación de la terapia, el país, la zona
geográfica, etc.
19
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
¿Influyen las características de los estudios en los TEs?
 Qué características metodológicas pueden afectar a los
resultados?: el tipo de diseño, el tipo de grupo de control, la
mortalidad experimental, la calidad del diseño, etc.
 ¿Existen características extrínsecas que pueden afectar a
la variabilidad de los TEs?:fuente de publicación, formación
del investigador, fuente de financiación, conflicto de
intereses, etc.
20
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
¿Influyen las características de los estudios en los TEs?
Para responder a esta pregunta el modelo estadístico más
apropiado es el modelo de efectos mixtos, según el cual la
variable moderadora actúa como factor de efectos fijos y
los estudios como factor de efectos aleatorios
Este modelo implica ponderar cada tamaño del efecto por
la inversa de su varianza, siendo ésta la suma de la
varianza intra-estudio (debida a error de muestreo
aleatorio de los participantes dentro de cada estudio) y la
varianza inter-estudios residual (es decir, la que queda una
vez detraído el efecto de la variable moderadora)
21
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de varianza para variables moderadoras cualitativas
La prueba QB permite comprobar si los tamaños del efecto
medios de cada categoría de la variable moderadora son
iguales o no (siendo c el número de categorías):

QB   w j T j  T

2
  c21
i
 La hipótesis de igualdad de efectos medios se rechaza si
el valor de probabilidad asociado a la prueba QB es igual o
inferior a 0.05.
22
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de varianza para variables moderadoras cualitativas
 Si el valor de probabilidad, p, asociado al resultado de la
prueba QB es menor que 0.05, podemos concluir que existe
una relación estadísticamente significativa entre el tamaño
del efecto y la variable moderadora, por lo que los efectos
medios de las categorías son diferentes
 La significación práctica de este resultado debe
comprobarse interpretando el valor de la proporción de
varianza explicada, R2, que debería valer al menos 0.10
(10% de varianza explicada), para poder considerarla
clínicamente significativa. Valores en torno a 0.25 (25%)
implicarían una significación práctica alta
2

R 2  1  Re2 sid
 Total
23
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de varianza para variables moderadoras cualitativas
 El examen de los TEs medios para cada categoría de la
variable moderadora, junto con su intervalo de confianza,
permite explicar el efecto de dicha variable moderadora
sobre los resultados. Por ejemplo, la comprobación de si en
una categoría concreta el efecto nulo está o no contenido
en el intervalo de confianza de su TE medio, permite
comprobar si se ha obtenido un resultado estadísticamente
significativo en dicha categoría. Es, pues, posible que para
unas categorías el TE medio alcance la significación
estadística, mientras que para otras no la alcance
24
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de varianza para variables moderadoras cualitativas
 Además, con la prueba QW es posible comprobar si el
modelo está bien especificado, es decir, si pueden existir
otras variables moderadoras que estén afectando a la
heterogeneidad de los tamaños del efecto:

QW   wi Ti  T j
i

2
  k2c
j
 Podremos concluir que el modelo está bien especificado
si el valor asociado a la prueba QW es superior a 0.05
25
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de varianza para variables moderadoras cualitativas
La prueba QW, a su vez, se descompone en tantas
pruebas Qwj como categorías tenga la variable moderadora.
De esta forma, es posible valorar si los tamaños del efecto
de cada categoría son homogéneos en torno a su efecto
medio
 Si la prueba QB no resulta significativa, entonces ya no
tiene sentido interpretar el resultado de la prueba QW
26
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
EJEMPLO:
Meta-análisis de Sánchez-Meca et al. (2014) sobre la
eficacia de los tratamientos psicológicos y/o farmacológicos
en el trastorno obsesivo-compulsivo en niños y adolescentes
[Véase Doc nº 10]
¿Presentan similar eficacia los tratamientos cognitivoconductuales (TCC), los tratamientos farmacológicos y los
tratamientos mixtos del TOC en niños y adolescentes?
 11 estudios que aplicaron TCC
 10 estudios que aplicaron tratamiento farmacológico
 3 estudios que aplicaron tratamientos mixtos (TCC +
Farmacológico)
Fuente: Sánchez-Meca, J., Rosa-Alcázar, A.I., Iniesta-Sepúlveda, M. y Rosa-Alcázar, A. (2014).
Differential efficacy of cognitive-behavioral therapy and pharmacological treatments for pediatric
obsessive-compulsive disorder: A meta-analysis. Journal of Anxiety Disorders, 28, 31-44.
27
Std. Mean Difference
Study or Subgroup
Std. Mean Difference
SE Weight
Std. Mean Difference
IV, Random, 95% CI
IV, Random, 95% CI
1.3.1 Terapia Cognitivo-Conductual
Estudio 01
3.233 0.4518
8.9%
3.23 [2.35, 4.12]
Estudio 02
3.076 0.4174
9.2%
3.08 [2.26, 3.89]
Estudio 03
1.306 0.5108
8.4%
1.31 [0.30, 2.31]
Estudio 04
1.88 0.3191
10.0%
1.88 [1.25, 2.51]
Estudio 05
1.075 0.2837
10.3%
1.07 [0.52, 1.63]
Estudio 06
0.916 0.3285
10.0%
0.92 [0.27, 1.56]
Estudio 07
1.27 0.7593
6.4%
1.27 [-0.22, 2.76]
Estudio 08
0.687 0.2644
10.4%
0.69 [0.17, 1.21]
Estudio 09
2.044 0.3356
9.9%
2.04 [1.39, 2.70]
Estudio 10
3.482 0.5992
7.7%
3.48 [2.31, 4.66]
Estudio 11
Subtotal (95% CI)
0.942 0.4725
8.8%
100.0%
0.94 [0.02, 1.87]
1.78 [1.21, 2.34]
Heterogeneity: Tau² = 0.73; Chi² = 60.04, df = 10 (P < 0.00001); I² = 83%
Test for overall effect: Z = 6.17 (P < 0.00001)
1.3.2 Tratam. Farmacológico
Estudio 12
1.619 0.3015
8.5%
1.62 [1.03, 2.21]
Estudio 13
0.618 0.4809
4.4%
0.62 [-0.32, 1.56]
Estudio 14
0.226 0.2458
10.6%
0.23 [-0.26, 0.71]
Estudio 15
1.04 0.2258
11.5%
1.04 [0.60, 1.48]
Estudio 16
0.677 0.1446
15.7%
0.68 [0.39, 0.96]
Estudio 17
1.009 0.3279
7.7%
1.01 [0.37, 1.65]
Estudio 18
0.477 0.1487
15.5%
0.48 [0.19, 0.77]
Estudio 19
0.801 0.2798
9.3%
0.80 [0.25, 1.35]
Estudio 20
0.327 0.5775
3.3%
0.33 [-0.80, 1.46]
Estudio 21
Subtotal (95% CI)
0.589 0.1873
13.4%
100.0%
0.59 [0.22, 0.96]
0.73 [0.51, 0.95]
Heterogeneity: Tau² = 0.06; Chi² = 19.33, df = 9 (P = 0.02); I² = 53%
Test for overall effect: Z = 6.41 (P < 0.00001)
1.3.3 Tratam. Mixto
Estudio 22
0.855 0.2587
34.6%
0.85 [0.35, 1.36]
Estudio 23
1.642 0.2837
34.0%
1.64 [1.09, 2.20]
Estudio 24
Subtotal (95% CI)
2.842 0.3877
31.4%
100.0%
2.84 [2.08, 3.60]
1.75 [0.70, 2.79]
Heterogeneity: Tau² = 0.76; Chi² = 18.42, df = 2 (P = 0.0001); I² = 89%
Test for overall effect: Z = 3.27 (P = 0.001)
-4
Test for subgroup differences: Chi² = 13.96, df = 2 (P = 0.0009), I² = 85.7%
-2
0
2
Favours control Favours experimental
4
28
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
EJEMPLO:
¿Diferentes tratamientos producen efectos diferentes?
Tratamiento k
d+
11 1,78
TCC
10 0,73
Farmacol.
3 1,75
Mixto
Resultados
del ANOVA
I. C. al 95%
di
ds
Qwj
GL
p
1,21 2,34
60,04
10 < .0001
0,51 0,95
19,33
9
.02
0,70 2,79
18,42
2
.0001
QB(2) = 13,96, p < .0009; R2 = 0,34
QW(21) = 97,79, p < .0001
k: nº de estudios. d+: tamaño del efecto medio. di y ds: límites confidenciales inferior y superior del
intervalo de confianza al 95% en torno al TE medio. QB: estadístico de homogeneidad inter-categorías.
QW: estadístico de homogeneidad intra-categoría global. Qwj: estadístico de homogeneidad intracategoría individual. GL: prados de libertad del estadístico Qwj. R2: proporción de varianza explicada por
la variable moderadora.
29
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
EJEMPLO:
Interpretación de los resultados del ejemplo
 Los tres tipos de tratamiento presentan efectos medios de
magnitud alta según el criterio de Cohen (en torno a 0,8 o
superior) y los tres son estadísticamente significativos (al no
contener el 0 sus intervalos de confianza)
 Se observan diferencias estadísticamente significativas entre
los tres efectos medios [QB(2) = 13,96, p < .0009], siendo
TCC (d+ = 1,78) y el tratamiento mixto (d+ = 1,75) los más
efectivos, frente al farmacológico (d+ = 0,73). El 34% de la
varianza de los TEs se explica por el efecto del tipo de
tratamiento
30
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
EJEMPLO:
Interpretación de los resultados del ejemplo
 La prueba de homogeneidad global intra-categoría resultó
estadísticamente significativa [QW(21) = 97,79, p < .0001], lo
que indica que el modelo está mal especificado. Es decir,
aparte del tipo de tratamiento deben existir otras variables
moderadoras relevantes para explicar la variabilidad de los
TEs. Así mismo, las tres pruebas de homogeneidad intracategoría individuales también resultaron ser estadísticamente
significativas (TCC: p < .00001; Farmacológico: p = .02;
Mixto: p = .0001). Por tanto, ninguno de los tres tipos de
tratamiento presentó TEs homogéneos en torno a su efecto
medio
31
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de regresión para variables moderadoras
continuas: Meta-regresión
Si la variable moderadora es continua (por ejemplo, la
duración del tratamiento, la edad media de la muestra,
etc.), se aplican técnicas de análisis de regresión
ponderada, mediante las cuales se comprueba si dicha
variable moderadora afecta a los tamaños del efecto
La prueba QR permite contrastar esta hipótesis:
QR  B' S B  
1
B
2
1
B es el vector de coeficientes de regresión. SB es la matriz
de covarianzas de los coeficientes de regresión
32
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de regresión para variables moderadoras
continuas: Meta-regresión
Si el valor de probabilidad asociado a la prueba QR es
igual o inferior a 0.05, podemos concluir que la variable
moderadora en cuestión afecta a la magnitud del efecto. En
caso contrario, tendremos que concluir que dicha variable
moderadora realmente no modera los efectos
 La significación práctica de este resultado debe
comprobarse interpretando el valor de la proporción de
varianza explicada, R2, que debería valer al menos 0.10
(10% de varianza explicada), para poder considerarla
clínicamente significativa. Valores en torno a 0.25 (25%)
implicarían una significación práctica alta
2

R 2  1  Re2 sid
 Total
33
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de regresión para variables moderadoras
continuas: Meta-regresión
 Además, con la prueba QE es posible comprobar si el
modelo está bien especificado, es decir, si pueden existir
otras variables moderadoras que estén afectando a la
heterogeneidad de los tamaños del efecto:
QE  T 'WT   k2 2
Donde T es el vector de tamaños del efecto y W la matriz
de ponderaciones
 Podremos concluir que el modelo está bien especificado
si el valor asociado a la prueba QE es superior a 0.05
 El signo de la pendiente de la meta-regresión informa del
sentido, positivo o negativo, de la relación entre la variable34
moderadora y el TE
4. Interpretación de resultados en MA
4.2 Resultados de un MA
4.2.3 Análisis de variables moderadoras
Análisis de regresión para variables moderadoras
continuas: Meta-regresión
 Por último, al igual que ocurría en los modelos de ANOVA,
cuando el resultado de la prueba QR no ha sido significativo,
entonces no tiene sentido interpretar el resultado de la
prueba QE, porque ya podemos concluir que el modelo está
mal especificado, independientemente de que la prueba QE dé
significativa o no (aunque lo normal es que, en estas
circunstancias, sí dé significativa)
35
4. Interpretación de resultados en MA
EJEMPLO:
Sánchez-Meca, J., Rosa-Alcázar, A.I., Iniesta-Sepúlveda, M.
y Rosa-Alcázar, A. (2014). Differential efficacy of cognitivebehavioral therapy and pharmacological treatment of
pediatric obsessive-compulsive disorder: A meta-analysis.
Journal of Anxiety Disorders, 28, 31-44
[Véase Doc nº 08]
Centrando nuestra atención en los estudios que aplicaron
tratamiento psicológico (CBT), ¿existe una relación
estadísticamente significativa entre los tamaños del efecto y
la magnitud del tratamiento?
Definimos la magnitud del tratamiento como el número
total de horas de CBT que recibieron los pacientes
36
36
4. Interpretación de resultados en MA
7,00
6,00
5,00
Tamaño del efecto (d)
4,00
3,00
2,00
1,00
0,00
-1,00
-2,00
Y = 0,0065 + 0,1299 * Magnitud
-3,00
-4,00
2,0
4,0
6,0
8,0
10,0
12,0
14,0
16,0
18,0
Magnitud (Nº total de horas de tratamiento psicológico)
20,0
22,0
24,0
37
37
4. Interpretación de resultados en MA
EJEMPLO
Resultados del análisis de meta-regresión
Intercepción
Magnitud
bj
ET
Z
p
0.0065 0.8450
0.01
.0039
0.1299 0.0573
2.27
.0234
QR(1) = 5.13, p = .0234; R2 = 0.13
QE(8) = 45.72, p < .0001
bj: coeficiente de regresión. ET: error típico
 Se obtuvo una relación estadísticamente significativa entre la
magnitud del tratamiento y el TE: QR(1) = 5.13, p = .0234
 La magnitud explicó el 13% de la varianza de los TEs,
reflejando una significación práctica baja pero clínicamente
relevante: R2 = 0.13
 El signo positivo de la pendiente de la meta-regresión (bj =
0.1299) indica que la relación entre la magnitud y el TE es
positiva: a mayor nº de horas de tratamiento con CBT mayor TE
 No obstante, el modelo está mal especificado: QE(8) = 45.72,
38
p < .0001
5. El programa RevMan 5.3
Consúltese el documento pdf adjunto “Manual
del Programa RevMan 5.3”
[Véase Doc nº 04]
39
6. Meta-análisis: Ventajas y limitaciones
Ventajas:
 Eficiencia: Mayor capacidad para tratar grandes
cantidades de información
 Rigor científico: Cumple con las normas de
replicabilidad de la
investigación
 Detección de efectos pequeños: Mayor capacidad para
detectar efectos que, aun siendo pequeños, pueden
tener gran relevancia práctica
 Potencia estadística: Al aumentar el tamaño muestral,
se incrementa la probabilidad de detectar efectos
6. Meta-análisis: Ventajas y limitaciones
Ventajas:
 Estimación del tamaño del efecto: Gran énfasis en la
importancia que tiene considerar la magnitud del efecto,
en detrimento de las pruebas de significación
 Aprovechamiento de resultados contradictorios:
Capacidad para encontrar factores y características que
den cuenta de la heterogeneidad de los efectos
encontrados
 Seguridad: Interpretaciones más fiables al basarse en
una metodología cuantitativa y objetiva
6. Meta-análisis: Ventajas y limitaciones
Limitaciones:
 Heterogeneidad (el ‘problema de las manzanas y las
naranjas’): Estudios diferentes no deberían ser
combinados
 Pobre calidad (el ‘problema de la basura dentro –
basura fuera’ o ‘garbage in – garbage out’): Si la
calidad metodológica de los estudios empíricos es
deficiente, entonces la validez de los resultados del
meta-análisis se verá comprometida
 Sesgo de publicación (publication bias): Si los ensayos
con resultados estadísticamente significativos tienen
mayor probabilidad de ser publicados (y con menor
demora) que los que presentan resultados nulos,
entonces las conclusiones del meta-análisis estarán
sesgadas
6. Meta-análisis: Ventajas y limitaciones
Limitaciones:
 Sesgo de selección: Los criterios de inclusión de los
estudios pueden verse influidos por el conocimiento
previo que los meta-analistas puedan tener de los
resultados del conjunto de estudios potenciales
 Sesgo de reporte: Si los estudios tienden a reportar
sistemáticamente aquella variable de respuesta que
alcanza los resultados más favorables, entonces el
meta-análisis puede alcanzar resultados sesgados
6. Meta-análisis: Ventajas y limitaciones
En conclusión:
 El meta-análisis constituye un tipo de revisión
sistemática idóneo para desvelar el estado del arte sobre
un determinado problema (médico, físico, psicológico,
práctico, etc.)
 No obstante, es preciso analizar críticamente los metaanálisis, ya que pueden estar sujetos a diversos sesgos
 Una correcta definición de los criterios de selección de
los estudios, una búsqueda comprehensiva de los estudios
y una valoración de la calidad metodológica de los mismos,
son aspectos centrales para obtener conclusiones
razonadas de los meta-análisis. Así desarrollados, los
meta-análisis, y las revisiones sistemáticas en general,
ofrecen evidencias y pruebas menos sesgadas que las
revisiones narrativas tradicionales