Download INFORME CIENTÍFICO Cómo realizar comparaciones indirectas de

VALUE IN HEALTH 14(2011)417–428
Disponible en www.sciencedirect.com
Página web de la publicación: www.elsevier.com/locate/jval
_____________________________________________
INFORME CIENTÍFICO
Cómo realizar comparaciones indirectas de tratamientos y meta-análisis en red en la toma de
decisiones para el cuidado de la salud: Informe del Grupo de Trabajo de ISPOR sobre Buenas
Prácticas para la Comparación Indirecta de Tratamientos: Parte 1
Jeroen P. Jansen, PhD1,*, Rachael Fleurence, PhD2, Beth Devine, PharmD, MBA, PhD3, Robbin Itzler, PhD4, Annabel Barrett, BSc5, Neil Hawkins,
PhD6, Karen Lee, MA7, Cornelis Boersma, PhD, MSc8, Lieven Annemans, PhD9, Joseph C. Cappelleri, PhD, MPH10
1Mapi
Values, Boston, MA, USA; 2Oxford Outcomes, Bethesda, MD, USA; 3Pharmaceutical Outcomes Research and Policy Program, School of Pharmacy, School of Medicine,
University of Washington, Seattle, WA, USA; 4Merck Research Laboratories, North Wales, PA, USA; 5Eli Lilly and Company Ltd., Windlesham, Surrey, UK; 6Oxford Outcomes Ltd.,
Oxford, UK; 7Canadian Agency for Drugs and Technologies in Health (CADTH), Ottawa, ON, Canada; University of Groningen / HECTA, Groningen, The Netherlands; 9University of
Ghent, Ghent, Belgium; 10Pfizer Inc., New London, CT, USA
Traducción validada por: Javier Eslava-Scmalbach, PhD, MD, MSc, Director, Instituto de Investigaciones Clínicas, Profesor Titular, Departamento de Cirugía, Facultad de Medicina,
Universidad Nacional de Colombia y Editor, Revista Colombiana de Anestesiología, Bogotá, Colombia
Joaquin F. Mould, PhD, Economía de la Salud Mundial y Investigación de Resultados, Jefe de Proyecto – Atención Especializada,Eequipo de Acceso de Mercado Global, Bayer
Healthcare, Berlin, Alemania
Jefferson Buendia, MD Pediatra MSc, Fellow en Neumologia Pediatrica HIBA-UBA y Profesor. Departamento de Farmacología y Toxicología, Facultad de Medicina, Universidad de
Antioquia, Medellin – Colombia
La citación para este informe es: Jansen JP, Fleurence R, Devine B, et al. Interpreting Indirect Treatment Comparisons and Network Meta-Analysis for Health-Care Decision Making:
Report of the ISPOR Task Force on Indirect Treatment Comparisons Good Research Practices: Part 1. Value Health 2011;14:417-28.
RESUMEN
La toma de decisiones para el cuidado de la salud - basada en la
evidencia, requiere de la comparación de todas las intervenciones
competitivas. En la ausencia de estudios clinicos aleatorizados y
controlados que impliquen una comparación directa de todos los
tratamientos de interés, las comparaciones indirectas y los metaanálisis en red brindan evidencia útil para seleccionar con criterio la o
las mejores opciones de tratamiento.
Las comparaciones mixtas de tratamientos, un caso especial de metaanálisis en red, combinan la evidencia directa e indirecta para la
realización de comparaciones por pares, sintetizando así una mayor
parte de la evidencia disponible respecto a un meta-análisis
tradicional. Este informe realizado por el Grupo de Trabajo de
Buenas Prácticas en la Comparación Indirecta de Tratamientos de
ISPOR brinda orientación acerca de la interpretación indirecta de
tratamientos y el meta-análisis en red para ayudar a los encargados de
la elaboración de políticas y los profesionales de la salud a usar sus
hallazgos para tomar decisiones. Comenzaremos viendo una
descripción general acerca de
Antecedentes del Grupo de Trabajo
La Junta Directiva de ISPOR aprobó la formación de un Grupo de
Trabajo sobre Buenas Prácticas en la Comparación Indirecta de
Tratamientos para desarrollar documentos de buenas prácticas para las
comparaciones indirectas de tratamientos en enero de 2009. Se invitó
a los investigadores con experiencia en revisiones sistemáticas, metaanálisis en red, síntesis de evidencia y métodos estadísticos
relacionados, quienes trabajan en entornos académicos, organizaciones
de investigación, la industria farmacéutica o los gobiernos de Estados
Unidos, Canadá y Europa, a participar como líderes en el Grupo de
Trabajo. También se invitó a diversos encargados de la toma de
decisiones que utilizan evidencia de comparación directa/indirecta de
tratamientos en la toma de decisiones para el cuidado de la salud. El
grupo de trabajo se reunió, en primer lugar por teleconferencia, con
una comunicación continua por correo electrónico, y personalmente en
abril de 2010 para desarrollar los temas a tratar, acordar una
planificación y bosquejar un informe. Determinó que, para tratar
correctamente las buenas prácticas de investigación para las
comparaciones indirectas de tratamientos y el uso de estas
comparaciones en la toma de decisiones para el cuidado de la salud, el
informe del Grupo de Trabajo debía tener dos documentos:
cómo las redes de estudios clinicos aleatorizados y controlados
permiten la comparación de tratamientos múltiples de intervenciones
competitivas. Luego, presentaremos la síntesis de la evidencia
disponible con un foco en la terminología, los supuestos, la validez y
los métodos estadísticos, seguida por los consejos acerca de cómo
revisar e interpretar críticamente una comparación indirecta de
tratamiento o un meta-análisis en red para brindar información en la
toma de decisiones. Finalizaremos con un debate acerca de qué hacer
cuando no hay comparaciones directas o indirectas de tratamientos de
estudios clinicos aleatorizados controlados y se debe tomar una
decisión sobre el cuidado de la salud.
Palabras clave: Bayesiano, toma de decisiones, efectividad
comparativa, comparación indirecta de tratamientos, comparación
mixta de tratamientos, meta-análisis en red.
Copyright © 2011, Sociedad Internacional de Farmacoeconomía e
Investigación de Resultados (ISPOR). Publicado por Elsevier Inc.
Uno sobre “Cómo interpretar comparaciones indirectas de
tratamientos y de meta-análisis en red en la toma de decisiones para
el cuidado de la salud: informe realizado por el Grupo de Trabajo de
ISPOR sobre Buenas Prácticas para las Comparaciones Indirectas de
Tratamientos: Parte 1” y otro sobre “Cómo realizar comparaciones
indirectas de tratamientos y Meta-análisis en Red: Informe del
Grupo de Trabajo de ISPOR sobre Buenas Prácticas en la
Comparaciones Indirectas de Tratamientos: Parte 2". Los resúmenes
de los documentos fueron presentados para recibir comentarios en la
15° Reunión Internacional Anual llevada a cabo en Atlanta, Georgia,
EE.UU, en mayo de 2010. Los borradores de los dos documentos
fueron enviados para recibir comentarios al Grupo de Trabajo de
revisión (103 personas invitadas y auto-seleccionadas interesadas en
este tema) en julio de 2010. Los autores de los documentos
consideraron los comentarios del Grupo de Trabajo, y los borradores
revisados de los dos documentos fueron enviados para recibir
comentarios a los miembros de ISPOR (5550 miembros) en
septiembre de 2010. En total, la Parte 1 recibió 23 comentarios y la
Parte 2 recibió 13 comentarios. Todos los comentarios escritos están
publicados en el sitio web de ISPOR. Los autores de cada
documento consideraron todos los comentarios (muchos de los
cuales fueron sustantivos y constructivos), revisaron los documentos
y los enviaron a Value in Health.
VALUE IN HEALTH 14(2011)417–428
Introducción
El Grupo de Trabajo sobre Buenas Prácticas en la Comparación
Indirecta de Tratamientos publica este informe como dos
documentos. Este documento depende de la Parte 2 del informe [1]
para las buenas prácticas en la realización de comparaciones
indirectas de tratamientos y estudios de meta-análisis en red.
Las revisiones sistemáticas de estudios clinicos aleatorizados
controlados (RCT por su sigla en inglés) se consideran un principio
estándar para toma de decisiones sobre salud basada en la
evidencia, en lo que respecta a pautas de tratamiento clínico y
políticas de reembolso. Muchas revisiones sistemáticas utilizan el
meta-análisis para combinar los resultados cuantitativos de muchos
estudios similares y comparables y resumir la evidencia disponible
[2]. Una buena toma de decisiones requiere de la comparación de
todas las intervenciones competitivas relevantes.
Idealmente, los RCT diseñados de manera robusta compararían
simultáneamente todas las intervenciones de interés.
Lamentablemente, dichos estudios casi nunca están disponibles,
complicando así la toma de decisiones [3–6]. A menudo, los
nuevos fármacos se comparan con placebo o con el estándar de
cuidado, pero no entre sí, en estudios clinicos cuyo objetivo es
contribuir (lo más rápidamente posible) a la obtención de la
aprobación para la licencia de fármacos; tal vez no haya ningún
incentivo comercial en la comparación del nuevo tratamiento con
el tratamiento de control activo [5,6]. Aunque hubiera un incentivo
para incorporar las intervenciones competitivas en un RCT, las
intervenciones de interés pueden variar por país o pueden haber
cambiado con el tiempo debido a nuevas perspectivas de evidencia
y tratamiento. Por lo tanto, para algunas indicaciones, la cantidad
de intervenciones competitivas hace que, al incorporarlas todas, el
ensayo se vuelva poco práctico.
En la ausencia de estudios clinicos que impliquen una comparación
directa de los tratamientos de interés, una comparación indirecta
puede brindar evidencia útil sobre la diferencia en los efectos de
tratamiento entre intervenciones competitivas (que de otro modo
faltarían) y para seleccionar con criterio la o las mejores opciones
de tratamiento. Por ejemplo, si dos tratamientos en particular nunca
han sido comparados entre sí, pero estos dos tratamientos han sido
comparados con un comparador común, entonces una comparación
indirecta de tratamiento (ITC por su sigla en inglés) puede usar los
efectos relativos de los dos tratamientos versus el comparador
común [7–10].
Si bien a menudo se argumenta que las comparaciones indirectas
se necesitan cuando no hay comparaciones directas disponibles, es
importante saber que, tanto la evidencia directa como la indirecta,
contribuyen a crear un cuerpo total de evidencia. Los resultados de
la evidencia indirecta combinados con la evidencia directa pueden
fortalecer la evaluación entre tratamientos probados directamente
[3]. Aun cuando los resultados de la evidencia directa sean
concluyentes, combinarlos con los resultados de los cálculos
indirectos en una comparación mixta de tratamientos (MTC por su
sigla en inglés) puede brindar un cálculo más refinado y preciso de
las intervenciones comparadas directamente y ampliar la inferencia
en la población muestreada, porque conecta y maximiza la
información existente dentro de la red de comparaciones de
tratamientos [9].
Si la evidencia disponible está compuesta por una red de RCT
múltiples que implican tratamientos comparados directamente o
indirectamente o de ambas maneras, puede sintetizarse a través del
denominado meta-análisis en red [11]. En un meta-análisis
tradicional, todos los estudios incluidos comparan la misma
intervención con el mismo comparador. El meta-análisis en red
amplía este concepto incluyendo múltiples combinaciones de pares
en un rango de intervenciones, y brinda cálculos del efecto relativo
del tratamiento sobre comparaciones de tratamientos múltiples, a
los fines de efectividad comparativa (En este informe, el término
efectividad comparativa hace referencia a todas las comparaciones
de resultados entre intervenciones, denominada efectividad relativa
en la jerga europea) [12]. Hemos utilizado la efectividad
comparativa y el efecto relativo del tratamiento sin hacer una
distinción acerca de si la base de la evidencia está compuesta por
RCT diseñados para la licencia de fármacos (eficacia) o por
estudios aleatorizados pragmáticos reales (efectividad).
El meta-análisis en red apunta a estimar los efectos relativos del
tratamiento entre intervenciones competitivas.
Dadoel gran valor de la ITC y del meta-análisis en red y su
aceptación cada vez mayor en la toma de decisiones para el
cuidado de la salud (ej: el Comité Asesor de Beneficios
Farmacéuticos de Australia, la Agencia Canadiense de Fármacos y
Tecnologías Sanitarias, el Instituto Nacional de Salud y Excelencia
Clínica [NICE] en el Reino Unido), este informe brinda
orientación práctica para los encargados de la elaboración de
políticas y otros profesionales de la salud, ya que enriquece su
conocimiento de estos métodos de síntesis de la evidencia [6,13].
Comenzamos con una descripción general acerca de cómo los RTC
de intervenciones competitivas forman redes de evidencia que
permiten realizar comparaciones de tratamientos múltiples. Wethen
habla acerca de la síntesis de la evidencia disponible enfocándose
en la terminología, los supuestos, la validez, los métodos
estadísticos, seguido por consejos acerca de cómo revisar e
interpretar críticamente una ITC o un meta-análisis en red. La
última sección habla acerca de qué hacer si no hay comparaciones
indirectas ni directas de RTC posibles, y se debe tomar una
decisión sobre salud.
Comparaciones de tratamientos múltiples y redes
de evidencia
La Figura 1 muestra redes de complejidad cada vez mayor en las
que se han comparado tratamientos múltiples. Cada nodo refleja
una intervención, y la línea que conecta a dos nodos refleja uno o
más RCT. Por cada intervención en una red conectada, se puede
estimar un efecto relativo del tratamiento en comparación con otra
intervención. Supongamos que la comparación principal de interés
es entre la intervención C y la intervención B, pero no hay ninguna
evaluación directa que las haya comparado. En la primera red a la
izquierda de la Figura 1, la intervención B ha sido comparada con
la intervención A en un ensayo AB, y C ha sido comparado con A
en un ensayo AC, por lo cual una comparación indirecta puede
calcular el efecto relativo del tratamiento de C versus B. La ITC de
C versus B está "anclada" a A (preferimos este término más
descriptivo en vez de “ajustado”, el cual también aparece en la
bibliografía). A puede representar un comparador de tratamiento
activo o placebo. En una ITC es fundamental no “romper la
aleatorización” [5,10,14]. Por ejemplo, si A, B y C son
intervenciones para la artritis reumatoidea, es incorrecto comparar
simplemente la fracción observada de encuestados sobre el
fármaco B en estudios clinicos AB con la fracción observada de
encuestados sobre el fármaco C en estudios clinicos AC. Usar los
datos de esta manera no separa la eficacia de los fármacos de los
posibles efectos del placebo (los RCT están diseñados para separar
los efectos de los fármacos de otros efectos). Otro motivo para
evitar romper la aleatorización es que las diferencias en las
respuestas pueden reflejar distintos riesgos iniciales, incluso
cuando el riesgo relativo es consistente entre estudios clinicos [5,
15]. Usar datos sólo de los grupos de tratamiento de interés para
extraer comparaciones, omitiendo los datos de los grupos de
control o placebo, se denomina “comparación indirecta simplista”,
genera sesgo y debería evitarse [8]. Para conservar la
aleatorización dentro de cada ensayo, se deben comparar los
efectos relativos del tratamiento (ej.: comparar la razón de
probabilidades de B versus A de los estudios clinicos AB, con la
razón de probabilidades de C versus A de los estudios clinicos
AC).
La segunda red de la Figura 1 permitiría una ITC de intervenciones
B, C, D y E, ancladas al comparador común A. Como estas
intervenciones están todas conectadas en la red (es decir, cada par
tiene un camino que va de uno al otro), se pueden realizar
comparaciones indirectas para C versus B, D versus B, E versus B,
D versus C, E versus C y E versus D. Un ejemplo de esta red "en
forma de estrella” es una comparación reciente de los tratamientos
de biofosfonato para la osteoporosis, en el cual se estudiaron cuatro
intervenciones competitivas en estudios clinicos controlados por
placebo [16]. Para algunas de las intervenciones había múltiples
Redes de evidencia
VALUE IN HEALTH 14(2011)417–428
Bucles cerrados en la red: combinación de
evidencia directa e indirecta
Métodos de análisis y síntesis
Definiciones
Comparación indirecta anclada de tratamiento
Comparación mixta de tratamientos
(o ITC ‘ajustado’)
Meta-análisis en red
(>2 estudios en la red)
Enfoque por pasos (múltiples meta-análisis secuenciales,
seguidos por la comparación indirecta de resultados en pares
agrupados)
Síntesis de evidencia simultánea de todas las comparaciones en pares en todo el rango de intervenciones
Modelos sin covariables
Interacciones de las covariables de tratamiento* en modelos de meta-regresión para mejorar las suposiciones de
similitud/consistencia y explicar la heterogeneidad de todas las comparaciones en pares en todo el rango de intervenciones
Encuadre frecuentista
Encuadre Bayesiano
(interpretación probabilística de incertidumbre y calificación de intervenciones)
Fig. 1 – Meta-análisis en red de los RCT para realizar comparaciones de tratamientos múltiples
estudios clinicos controlados por placebo, y el análisis se puede
denominar un meta-análisis en red. Otro ejemplo es la ITC de
stents intracoronarios liberadores de fármacos, de Biondi-Zoccai et
al. [17].
En la tercera red, no todos los estudios clinicos tienen un
comparador común, pero todas las intervenciones están conectadas.
Las intervenciones adicionales F y G están conectadas con A, B, C,
D y E por los estudios clinicos EF y FG, y es posible realizar una
comparación indirecta de cada intervención con cualquier otra
(aunque las comparaciones con caminos más largos tendrán menos
precisión) [9]. Un ejemplo es el meta-análisis en red del
tratamiento antifúngico para las infecciones fúngicas sistémicas
confirmadas [18].
La estructura de la cuarta red está compuesta por las intervenciones
A, B y C (como en la primera red), pero ahora los datos de los
RCT simultáneos están disponibles para cada comparación; La red
de evidencia está compuesta por los estudios clinicos AB, los
estudios clinicos AC y los estudios clinicos BC. Una característica
importante de esta red es el "bucle cerrado": cada comparación
tiene evidencia directa e indirecta. Por ejemplo, la comparación BC
tiene evidencia directa de los estudios clinicos BC y evidencia
indirecta de los estudios clinicos AB y AC (y de modo similar para
las comparaciones AB y AC). Una red en la que algunas de las
comparaciones por pares tienen evidencia directa e indirecta se
denomina una MTC [3,9]. Un ejemplo reciente de una MTC que
compara tres intervenciones, es el estudio de Stettler et al. [19]
acerca de los stents liberadores de fármacos y de metal sin recubrir.
La quinta red también implica una MTC para las intervenciones A,
B y C, pero las intervenciones A, C, E y F forman otro bucle más
largo.
Para las redes que contienen bucles, es importante que las
comparaciones indirectas sean consistentes con las comparaciones
directas, tal como se debatirá en la siguiente sección [9,20,21]. Los
ejemplos recientes de meta-análisis en red con bucles incluyen al
meta-análisis en red de tratamientos anti-hipertensivos de primera
línea, de Psaty et al. [22], el estudio de la prevención de accidentes
cerebro-vasculares en pacientes con fibrilación auricular, de
Cooper et al. [23], un meta-análisis en red de opiáceos para el
dolor en casos de recaída de cáncer, de Vissers et al. [24], y el
meta-análisis en red de nuevos antidepresivos para la depresión
general, de Cipriani et al. [25]. Salanti et al. [26] brindan un nuevo
panorama de las diferentes estructuras en red de algunos de los
estudios publicados recientemente.
Independientemente de cuál sea la estructura de la red, las
comparaciones por pares, ya sean directas, indirectas o ambas, se
pueden hacer entre intervenciones que están conectadas. Los
términos ITC, MTC y meta-análisis en red a veces se utilizan
indistintamente. Proponemos utilizar el meta-análisis en red
cuando la base de la evidencia está compuesta por más de dos RCT
que conectan dos o a más intervenciones. Si la red está compuesta
por al menos un bucle cerrado, es correcto etiquetar al análisis
como una MTC. Cualquier análisis de una red de bucle abierto se
puede denominar ITC. En el resto de este documento, utilizamos el
término meta-análisis en red para referirnos a la síntesis de una red
de estudios clinicos y utilizamos sólo explícitamente ITC o MTC
cuando esto facilita la explicación y debate de conceptos y
supuestos.
VALUE IN HEALTH 14(2011)417–428
Síntesis de la evidencia
Supuestos
Dada una red de intervenciones y RCT que las comparan, el
objetivo del análisis es sintetizar los resultados de los RCT
individuales, obteniendo así cálculos agrupados de los efectos
relativos del tratamiento para comparaciones por pares. Si bien los
comparadores compartidos por los RCT forman la base de la red,
la pregunta clave es si los estudios clinicos en la red son lo
suficientemente similares como para arrojar resultados
significativos para la ITC y la MTC.
Un meta-análisis tradicional combina los resultados de varios RCT
que compararon las mismas intervenciones, como por ejemplo A y
B, para obtener un cálculo general del efecto relativo (ej.: razón de
probabilidades, riesgo relativo o diferencia en los cambios respecto
del inicial) y un cálculo correspondiente de incertidumbre. Es
importante darse cuenta de que la aleatorización se sostiene dentro
de cada RCT de A y B, pero no entre los RCT. Por lo que, los
estudios clinicos pueden diferir en las características del estudio y
los pacientes. Si estas características son modificadoras del efecto
relativo del tratamiento de B versus A, entonces se dice que los
estudios son heterogéneos.
De modo similar, en un meta-análisis en red de RCT que implican
comparaciones de tratamientos múltiples, la aleatorización se
sostiene sólo dentro de los estudios clinicos individuales. Los
efectos relativos del tratamiento para una comparación por pares
puede exhibir heterogeneidad. Además, si los estudios clinicos
difieren entre las comparaciones directas (ej.: los estudios clinicos
AB difieren de los estudios clinicos AC) y estas diferencias son
modificadoras de los efectos relativos del tratamiento, entonces la
estimación de la comparación indirecta está sesgada [8,15,21,27].
Algunos ejemplos de modificadores de efecto son las
características de los pacientes, el modo en el que se definen y/o
miden los resultados, los requisitos del protocolo como el cotratamiento permitido, y la duración del seguimiento. En otras
palabras, si la distribución de interacciones entre efectos relativos
del tratamiento y covariables no es equilibrada entre los estudios
clinicos que comparan distintos grupos de intervenciones, se viola
el supuesto de similitud de una ITC y los factores de confusión
sesgan el análisis [15,21]. La figura 2 ilustra las comparaciones
implicadas en el supuesto de similitud de un ITC. Si los estudios
clinicos AB y los estudios clinicos AC son comparables respecto
de sus modificadores de efectos, entonces se puede obtener una
estimación indirecta para el efecto relativo de C versus B (dBC, que
puede ser una diferencia en los datos distribuidos normalmente, o
un logaritmo de la razón de probabilidades [OR], o un logaritmo de
la razón de riesgos o riesgo relativo, etc.) a partir de las
estimaciones del efecto de B versus A (dAB) y el efecto de C versus
A (dAC): dBC=dAC_dAB. En resumen, esto implica que se obtiene el
mismo dBC que el que se hubiera estimado en un ensayo ABC de
tres brazos [9].
Cuando la evidencia directa e indirecta se combina para realizar
una estimacion particular por pares, es importante que dicha
estimación indirecta no esté sesgada y que no haya discrepancia
entre las comparaciones directa e indirecta [21,26,28,29]. Por lo
tanto, la consistencia entre estas comparaciones directa e indirecta
debería tenerse en cuenta. La Figura 3 ilustra los componentes
implicados en un supuesto de consistencias. La red tiene evidencia
directa e indirecta para cada comparación por pares de las
intervenciones A, B y C. (Por ejemplo, se puede obtener dBC de los
estudios clinicos BC, pero también indirectamente de los estudios
clinicos AC y AB). Para obtener consistencia, es necesario cumplir
con la siguiente ecuación: dBC= dAC - dAB [21,28]. Si hay un
desequilibrio en los modificadores de los efectos relativos de
tratamiento entre los estudios para una o más comparaciones, la
suposición de consistencia puede no ser justificable. La
consistencia sólo es válida a los bucles de evidencia. No se puede
decir, por ejemplo, que la comparación AB es consistente con la
comparación AC. Sólo podemos decir que las comparaciones AB,
AC y BC son consistentes. Como un ejemplo simple de
inconsistencia en una red ABC con un ensayo AB, un ensayo AC y
un ensayo BC, vamos a suponer que el OR de la población
(ignorando el error de muestreo) de respuesta con el tratamiento B
relativo a A es 0.4 (ORAB = 0.4) y el OR con C versus A es 0.5
(ORAC = 0.5), entonces esperaríamos que el OR de C versus B
Fig. 2 – Supuesto de similitud en una comparación
indirecta de tratamiento. Los ensayos AB y los ensayos
AC son comparables en lo que respecta a
modificadores de efecto, y se puede obtener una
estimación indirecta no sesgada para el efecto relativo
de C versus B a partir de las estimaciones de efecto de
B versus A y el efecto de C versus A.
Fig. 3 – Supuesto de consistencia en una comparación
mixta de tratamientos. Los ensayos AB, AC y BC son
comparables en lo que respecta a modificadores de
efecto, y para cada comparación en pares, las
estimaciones directas e indirectas son comparables.
_______________________________________________________
fuera ORBC=ORAC/ORAB=0.5/0.4=1.25. Hay una inconsistencia si
el ensayo BC muestra ORBC ≠ 1.25 (por supuesto, en un análisis
MTC real, siempre hay un error de muestreo y este tipo de
evaluación estricta de consistencia en base a las estimaciones
puntuales no es adecuado. Aquí se apunta a ilustrar el concepto de
inconsistencia). En resumen, la heterogeneidad pertenece a la
variación en el mismo efecto de tratamiento entre estudios,
mientras que la inconsistencia de la evidencia es la discrepancia
entre las comparaciones directas e indirectas.
Análisis
Para sintetizar los resultados de los diferentes RCT en la red y
obtener las estimaciones relativas de efectos de todas las
comparaciones posibles por pares, es necesario usar un método de
análisis que conserve la aleatorización en los estudios clinicos y
minimice el sesgo debido a la falta de aleatorización entre los
estudios clinicos.
En la Figura 1 se presenta una descripción general de los métodos
de análisis y la misma se discute después con mayor detalle .
Independientemente del método de análisis, la acumulación de
resultados individuales de estudios y las comparaciones indirectas
deben basarse en mediciones relativas de efectos (ej.: OR,
diferencia en el cambio respecto del valor inicial, riesgos relativos)
para conservar la aleatorización.
Si la red no está compuesta por bucles, los resultados de los RTC
disponibles para cada una de las comparaciones directas se pueden
combinar utilizando meta-análisis múltiples tradicionales (ej.: un
meta-análisis de los estudios clinicos AB y un meta-análisis de los
estudios clinicos AC) seguido por una comparación indirecta de los
resultados agrupados de cada uno de estos meta-análisis [7,11].
Si la red de intervenciones está compuesta por un bucle, entonces
el método de análisis necesita combinar estimaciones de las
VALUE IN HEALTH 14(2011)417–428
comparaciones directas con estimaciones de las comparaciones
indirectas. En la red ABC en la cual, para cada una de las
comparaciones por pares tenemos diversos RCT (red 4 en la Figura
1), el efecto relativo del tratamiento agrupado de la comparación
CB a partir de los estudios clinicos BC debe combinarse con la
estimación indirecta basada en los estudios clinicos AB y los
estudios clinicos AC. Lo mismo se aplica a las comparaciones AB
y AC. Es claro que cuanto más compleja sea la red, más oneroso y
potencialmente más confuso será un enfoque de estas
características.
Como alternativa a un meta-análisis secuencial múltiple y las
comparaciones indirectas, se puede definir un modelo estadístico
que refleje las relaciones matemáticas entre las estimaciones
relativas de efecto de las comparaciones directas e indirectas en la
red completa [9]. Dada una red de comparaciones A, B y C, las
estimaciones relativas de efecto se pueden expresar de las
siguientes maneras: dBC = dAC - dAB (suponiendo que se sostienen
supuestos de similitud/consistencia). Cuando esta expresión se
generaliza a cualquier red con distintas intervenciones múltiples, se
obtiene lo siguiente: dbk = dAk - dAb, siendo la k la intervención y la b
el comparador. Dependiendo de la red, k puede ser la intervención
B, C, D, E, etc. El comparador b puede ser A, B, C, D, etc, siempre
y cuando k esté alfabéticamente luego de b. Esta expresión implica
que cualquier estimación de una comparación particular por pares
puede expresarse a través de las estimaciones relativas de efectos
de la intervención y el comparador relativo a un tratamiento
general de referencia A, siempre y cuando todas las intervenciones
estén conectadas en una red. dAB,dAC, dAD, . . . ,dAk, se denominan
parámetros básicos del modelo, que se estiman en base a los
estudios disponibles. dBC, dBD,dCD,, y las sucesivas, son parámetros
funcionales y se pueden calcular en base a las estimaciones
(agrupadas) para los parámetros básicos [28]. Para una red que
implique tratamientos K y tipos de comparaciones T, hay
parámetros básicos K-1 y parámetros funcionales T - K + 1. Para
resumir, un modelo de meta-análisis en red es una extensión de un
modelo de meta-análisis tradicional que consiste de en varios
parámetros K-1 que necesitan estimarse para permitir
comparaciones mútliples por pares a través de un rango de
intervenciones K. Este modelo de meta-análisis en red se aplica a
redes con y sin bucles, es decir tanto ITC como MTC.
El meta-análisis en red se puede realizar con modelos de efectos
fijos y aleatorios. Con un modelo de efectos fijos, se supone que no
hay variación en los efectos relativos del tratamiento entre estudios
para una comparación particular por pares [15,30]. Las diferencias
observadas para una comparación particular entre los resultados
del estudio se deben pura y exclusivamente al azar. Para cualquier
comparación de tratamiento en un modelo de efectos fijos, surge la
siguiente pregunta: “¿Cuál es el verdadero efecto del tratamiento?”
[2]. No obstante, si hay heterogeneidad (variación en los efectos
verdaderos o subyacentesdel tratamiento para una comparación
particular por pares) es necesario utilizar un modelo de efectos
aleatorios. Un enfoque de efectos aleatorios generalmente supone
que los verdaderos efectos relativos entre estudios se consideran
intercambiables es decir, la posición anterior de los efectos
subyacentes esperados es similar pero no idéntica y puede
describirse como una muestra de una distribución normal cuyo
media es el efecto relativo agrupado y cuya desviación estandar
refleja la heterogeneidad [2,30–33]. Se podría argumentar que con
un modelo de efectos aleatorios, la pregunta a hacer es “¿Cuál es el
promedio de los verdaderos efectos del tratamiento y qué tanto
varían estos efectos entre estudios clinicos?” [2].
Con un modelo de efectos aleatorios para un meta-análisis en red, a
menudo se supone que la varianza que refleja la heterogeneidad es
constante para todas las comparaciones por pares [9].
Si bien un modelo de efectos aleatorios modela explícitamente la
heterogeneidad, no explica la heterogeneidad. Extender los metaanálisis en red con interacciones de tratamiento por covariables
apunta a explicar la heterogeneidad en los efectos relativos del
tratamiento y estima los efectos relativos del tratamiento para los
distintos niveles de la covariable.
Tal como se indicó anteriomente, el meta-análisis en red será
sesgado si hay diferencias en las covariables entre esos estudios
que se comparan indirectamente y que actúan como modificadores
del efecto relativo del tratamiento [15,21,27]. Esto implica que, al
tomar en cuenta estas covariables con las interacciones de
covariable por tratamiento en un modelo de meta-regresión (es
decir, un modelo que incluye covariables al nivel del estudio), el
impacto del sesgo debido a las violaciones de similitud y/o
consistencia se pueden reducir [21]. Las covariables que varían
entre los estudios pero que no son modificadores de efectos no
necesitan tomarse en cuenta en un modelo de meta-regresión.
Lamentablemente, la cantidad de estudios en una red a menudo es
limitada y, en estos casos, el ajuste realizado a través de la
incorporación de covariables al nivel del estudio con modelos de
meta-regresión a veces puede ser cuestionable [15,34]. Además, el
ajuste de covariables al nivel general puede producir un sesgo
ecológico, limitando la interpretación de resultados estimados para
subgrupos [34–36]. En contraste, los meta-análisis en red al nivel
del paciente, generalmente tienen el poder suficiente como para
estimar modelos de meta-regresión., reduciendo así la
inconsistencia y brindando la oportunidad de explorar diferencias
en efectos entre subgrupos. No obstante, se puede considerar irreal
obtener datos al nivel del paciente para todos los RCT en la red.
Como alternativa, se podrían usar datos al nivel del paciente
cuando no hay disponibles datos al nivel general para los estudios
en la red, mejorando así la estimación de parámetros por sobre los
modelos que usan sólo datos generales.
Dado que con con un modelo de efectos aleatorios, los efectos del
tratamiento específicos del estudio se modelan explícitamente, un
modelo de efectos aleatorios “ajusta” mejor los datos que un
modelo de efectos fijos. De modo similar, al extender un modelo
de efectos fijos o uno de efectos aleatorios a través de la
incorporación de términos de interacción del tratamiento por
covariable, también se puede mejorar el ajuste del modelo. No
obstante, dado un cierto conjunto de datos, cuantos más parámetros
necesiten estimarse, más inciertas serán las estimaciones de estos
parámetros. Por ende, el objetivo es usar un modelo que ajuste los
datos suficientemente y que reduzca el sesgo de confusión; pero
que a la vez brinde estimaciones estables de los parámetros. La
elección de un modelo de meta-análisis de efectos fijos (o
aleatorios) con o sin interacciones de covariables, se puede
efectuar comparando distintos modelos competitivos y evaluando
la bondad del ajuste de los datos. La bondad del ajuste se puede
estimar calculando la diferencia entre el alejamiento del modelo
ajustado y el alejamiento del modelo saturado (que ajusta los datos
a la perfección). Por ejemplo, el criterio de información Akaike,
que utiliza la función de verosimilitud, el criterio de información
Bayesiano, o el criterio de información de alejamiento pueden
utilizarse para la selección de un modelo [37–39].
El meta-análisis en red se puede realizar con un enfoque
frecuentista o Bayesiano. Con una aproximación frecuentista, el
resultado del análisis es una estimación puntual con un intervalo de
confianza (IC) del 95%. El IC del 95%, sometido a muestreo
repetido, contendría el verdadero parámetro de la población el 95%
de las veces. Cabe destacar que los IC obtenidos con un enfoque
frecuentista no se pueden interpretar en términos de
probabilidades; el IC del 95% no significa que existe un 95% de
probabilidad que el valor “verdadero” o de la población esté entre
los límites del intervalo [40].
Los métodos Bayesianos implican una combinación formal de una
distribución de probabilidad previa, que refleja una creencia previa
de los valores posibles del parámetro del modelo de interés, con
una distribución de verosimilitud de estos parámetros basada en los
datos observados, para obtener una distribución de verosimilitud
posterior correspondiente [41]. La verosimilitud nos informa
acerca del punto hasta el cual los distintos valores para el
parámetro de interés son apoyados por los datos [42]. La
distribución posterior, tal como se obtiene con un enfoque
Bayesiano, se puede interpretar en términos de probabilidades (ej.:
“Hay un x% de probabilidad de que el tratamiento A dé como
resultado una mejor respuesta que el tratamiento B”). Esto difiere
de la interpretación de los hallazgos dentro de un enfoque
frecuentista convencional. Para no influenciar los resultados
observados con una distribución previa, una crítica que a menudo
recibe el enfoque Bayesiano, es que se puede utilizar una
distribución previa no informativa para el/los parámetro/s de
efectos del tratamiento. Con una distribución previa “plana” como
ésta, se supone que, antes de ver los datos, cualquier valor del
VALUE IN HEALTH 14(2011)417–428
parámetro es “igualmente” probable. Como consecuencia de esto,
los resultados posteriores no son influenciados por la distribución
previa, sino que son guiados por los datos, como en un metaanálisis frecuentista convencional.
Una gran ventaja del enfoque Bayesiano es que el método lleva
naturalmente a un marco de decisión que apoya la toma de
decisiones [41–43]. En el caso de un meta-análisis en red, una
ventaja específica es que la distribución posterior de probabilidad
permite calcular la probabilidad de cuál de las intervenciones
competitivas es la mejor y otros enunciados de probabilidad [40].
Este aspecto de un análisis Bayesiano brinda información que es
directamente relevante para los encargados de la toma de
decisiones, encargados de elaboración de políticas y los
profesionales de la salud/clínicos. No obstante, y tal como se
tratará más adelante, existe un riesgo de sobre-interpretar esta
probabilidad. Otras ventajas de un meta-análisis Bayesiano
incluyen la forma directa de realizar predicciones y la posibilidad
de incorporar distintas fuentes de incertidumbre [41,42].
Cómo revisar e interpretar críticamente un metaanálisis en red
Para ayudar a los encargados de la toma de decisiones a utilizar los
descubrimientos de los meta-análisis en red, en esta sección
describimos cómo revisar e interpretar críticamente dichos
estudios. La importancia de evaluar correctamente los resultados
de los meta-análisis en red no puede sobrevalorarse porque estos
restultados tienen la intención de informar las opciones de
efectividad comparativa y es probable que tengan implicanciones
para la cobertura. Por lo tanto, es fundamental comprender la
validez de estos estudios. En la sección siguiente, revisamos
someramente los problemas relacionados con la validez interna y
externa de los meta-análisis en red. Suministramos una lista de
ítems que recomendamos informar para que un meta-análisis en
red permita la evaluación e interpretación correcta de los hallazgos
a informar para la toma de decisiones.
Validez interna y externa
Los encargados de la toma de decisiones que utilizan los resultados
de los meta-análisis en red necesitarán evaluar si las diferencias
entre los tratamientos son probablemente ciertas o si pueden
explicarse a causa del sesgo en el análisis. La validez interna de los
análisis depende de tres factores: 1) la identificación correcta de
los estudios que conforman la red de evidencia, 2) la calidad de los
RCT individuales, y 3) el grado de sesgo debido a los factores de
confusión a causa de las violaciones de similaridad y consistencia.
Deben utilizarse métodos adecuados de búsqueda y selección de
RCT relevantes, aunque la delimitación de lo que constituye una
red de evidencia es un tema de investigación actual [44,45]. No
obstante, aun con métodos rigurosos y amplios de búsqueda
bibliográfica, es preciso evaluar el nivel de sesgo de las
publicaciones. Ya se sabe ampliamente que los estudios clinicos
negativos o pequeños tienen menos probabilidades de ser
publicados, por lo cual la red de evidencia puede limitarse
consecuentemente [46]. Además, en una red de RCT, las
comparaciones específicas pueden superar considerablemente a las
intervenciones menos comparadas, lo cual genera redes asimétricas
[26]. La validez de un meta-análisis en red también dependerá de
la validez interna de los RCT individuales incluidos en la red de
evidencia. La inclusión de estudios clinicos de mala calidad puede
resultar un problema. La aleatorización no garantiza que un RCT
no sea sesgado [8,47,48].
Puede haber ausencia de
enmascaramiento adecuado de la asignación de un tratamiento; los
pacientes pueden ser excluidos luego de la aleatorización, lo cual
genera un desequilibrio entre los grupos; o una falta en el
cegamiento del resultado que puede sobreestimar el efecto del
tratamiento [49]. Por lo tanto, es necesario evaluar el sesgo de cada
RCT incluido en un meta-análisis en red.
Luego de solucionar los problemas que amenazan a la validez
interna asociada con el desarrollo de la red de evidencia, la
similitud entre los estudios clinicos incluidos también será
determinante para la validez interna de los análisis. Los estudios
pueden diferir en lo que respecta a las características de los
pacientes, el modo en el cual se miden o definen los resultados, los
requisitos del protocolo, incluyendo las intervenciones
concomitantes permitidas, la duración del seguimiento y también la
pérdida diferencial del seguimiento, y el período de tiempo durante
el cual se realizan los estudios [14].
Tal como se describió anteriormente, un meta-análisis en red
resulta afectado por el sesgo de confusión si hay diferencias entre
los estudios clinicos que son comparados indirectamente respecto
de los modificadores de efecto relativo del tratamiento. Este sesgo
puede ser reducido ajustando por estas diferencias a través de la
incorporación de interacciones entre las covariables y el
tratamiento en los modelos estadísticos utilizados. Sin embargo,
sólo se puede juzgar la similitud de los estudios clinicos y
potencialmente adaptarse al sesgo respecto de las covariables al
nivel del estudio que se miden. Por lo que es preciso evaluar las
diferencias en los riesgos iniciales y las respuestas al placebo entre
estudios clinicos, ya que éstas pueden reflejar diferencias
importantes adicionales en las características del estudio o los
pacientes entre estudios.
La validez externa de los meta-análisis en red naturalmente estará
limitada por la validez externa de los RCT incluidos en la red de
evidencia, y los encargados de la toma de decisiones para el
cuidado de la salud deberán analizar si los resultados pueden
extrapolarse a la población de interés. Es importante recordar que
el registro de los ensayos clinicos con fines regulatorios tienen más
probabilidades de incluir a poblaciones selectivas homogéneas, lo
cual compromete la validez externa [50,51]. Desde una perspectiva
de la toma de decisiones, un cierto grado de variación en las
poblaciones de pacientes puede ser algo beneficioso para las
evaluaciones comparativas y de costo-efectividad, si esto refleja la
práctica real. Por ende, cierta heterogeneidad entre estudios
clinicos en la red de evidencia posiblemente podría aumentar la
validez externa, siempre y cuando la heterogeneidad dentro de las
comparaciones directas sea mayor que la variación de los
modificadores de efecto entre estudios que son comparados
indirectamente, para evitar violaciones a la similaridad tanto como
sea posible. Si bien no conocemos ningún meta-análisis en red que
evalúe esto explícitamente, un enfoque posible es a través de un
análisis de varianza interno entre comparaciones directas de
efectos relativos del tratamiento
Informe
En la Tabla 1, presentamos una lista de verificación simplificada
de los temas que deben incluirse en un informe de un meta-análisis
en red, para permitir que los encargados de la toma de decisiones
en materia de salud interpreten los hallazgos sobre los resultados
en salud comparativos. La lista de verificación no es exhaustiva
sino que su objetivo es servir como guía general. Debe tenerse
precaución cuando se utiliza esta lista para juzgar la calidad de las
publicaciones de meta-análisis en red, porque esta lista se enfoca
en informar sobre la calidad de los reportes y no captura los ítems
explícitos para juzgar o calificar la validez interna y externa de un
meta-análisis en red.
En la sección de introducción, una declaración clara de los
objetivos debe describir cuál es el problema de decisión, con un
enfoque específico sobre la población de pacientes y las
intervenciones competitivas de interés. Los tratamientos que serán
comparados en el meta-análisis en red pueden limitarse a todos los
fármacos de un cierto tipo, pero también pueden incluir fármacos
competitivas de distintos tipos y, en algunos casos, otras
intervenciones médicas. Independientemente de cuál sea el alcance
de las intervenciones, se debe incluir una justificación clara de la
elección.
En la sección de métodos, se debe describir el desarrollo de la red
de evidencia y debe seguir los procedimientos de revisión
sistemática, que incluyan una estrategia explícita de búsqueda en
una diversidad de bases de datos y los criteriors previamente
especificados de inclusión y exclusión para el proceso de selección
del estudio. Se recomienda tener un protocolo para describir estos
elementos, y también para pre-especificar los desenlaces a analizar,
evitando así el sesgo en la selección del desenlace [53]. Se deben
utilizar métodos rigurosos de extracción de datos, y los autores
deben indicar si se realizó una extracción doble de datos, de qué
VALUE IN HEALTH 14(2011)417–428
Tabla 1 – lista de verificación simplificada para ayudar a los encargados de la toma de decisiones a evaluar un meta-análisis en red informado
Sección del informe
Introducción
Ítem de la lista de verificación
Qué buscar en el documento
La justificación del estudio y los objetivos del estudio,
¿están enunciados claramente?
Una justificación clara de la revisión
Un objetivo claro o pregunta de investigación que pertenezca al metaanálisis en red
¿La sección de métodos incluye lo siguiente?
Descripción de criterios de elegibilidad
Fuentes de información
Estrategia de búsqueda
Proceso de selección del estudio
Extracción de datos (validez/ evaluación de calidad de
los estudios individuales)
¿Se describen las medidas de resultados?
¿Hay una descripción de los métodos de análisis/
síntesis de la evidencia? Los métodos descriptos,
¿incluyen lo siguiente?
Descripción de métodos/modelos de análisis
Manipulación del potencial sesgo/inconsistencia
Encuadre de análisis
Una revisión sistemática de la bibliografía conforme a las pautas del
Centro de Revisiones y Diseminación (CRD) y a PRISMA [52, 54,
55]
Métodos
¿Se presentan análisis de sensibilidad?
Resultados
Los resultados, ¿incluyen un resumen de los estudios
incluidos en la red de evidencia?
¿Datos individuales del estudio?
¿Red de estudios?
El estudio, ¿describe una evaluación del ajuste del
modelo? ¿Se comparan modelos competitivos?
Los resultados de la síntesis de la evidencia
(ITC/MTC), ¿se presentan con claridad?
Análisis de sensibilidad/escenario
Debate
El debate, ¿incluye lo siguiente?
Descripción/resumen de los descubrimientos
principales
Validez interna del análisis
Validez externa
Implicancias de los resultados para la audiencia
objetivo
forma se resolvieron los desacuerdos y cómo se manipularon los
datos faltantes. Estos métodos han sido descritos detalladamente en
otro lugar (Manual del Centro de Revisiones y Diseminación) y
deben informarse siguiendo la declaración PRISMA [54,55].
La sección de análisis de datos debe brindar una descripción
amplia de los métodos estadísticos usados, incluyendo la
justificación de la elección de desenlaces y puntos finales de
valoración, estimadores de efectos relativos, y la elección de
modelos de efectos fijos o aleatorios. Los autores también deben
especificar si los modelos fueron ampliados con covariables al
nivel del estudio para mejorar la similaridad y reducir la
inconsistencia.
Justificación de las medidas de resultados elegidas para el análisis
Descripción y justificación de los modelos estadísticos usados: metaanálisis múltiple de comparaciones en pares versus modelos de metaanálisis en red: modelos de efectos fijos versus aleatorios; modelos sin
o con convariables (interacciones)
Descripción de si los análisis se realizaron con un enfoque frecuentista
o Bayesiano
Descripción acerca de cómo el potencial sesgo/inconsistencia fue
evaluado (ya sea de manera cualitativa o cuantitativa, es decir,
comparación de evidencia directa con la evidencia indirecta). Si se
usan modelos de meta-regresión, justificación de la selección de
covariables en los modelos
Descripción de estimaciones de efectos relativos utilizadas para la
presentación de descubrimientos (ej: razón de posibilidades, riesgo
relativo, razón de peligros, diferencia en el cambio a partir del punto
de referencia inicial)
Descripción acerca de si las mediciones de efectos relativos fueron
transformadas en resultados esperados (absolutos) (ej.: proporción de
encuestados)
Justificación y descripción de los análisis de sensibilidad
Estudios incluidos
Distribuciones previas para los parámetros del modelo en el encuadre
Bayesiano
Descripción de resultados de la identificación del estudio y el proceso
de selección
Tabla/lista de estudios con información acerca del diseño del estudio y
las características de los pacientes (que podrían actuar como
modificadores de efectos); estos son importantes para juzgar los
problemas potenciales de similitud/consistencia
Figura de red de estudios
Tabla con datos brutos por estudio y tratamiento, según se utilizan para
el análisis/modelo. (Opcionalmente se pueden presentar los efectos
relativos de las comparaciones directas disponibles de cada estudio)
Justificación de los resultados del modelo
Tabla/figura con resultados de las comparaciones en pares según se
obtienen con los análisis; estimaciones puntuales y medición de la
incertidumbre (IC del 95%)
Si es un encuadre Bayesiano, probabilidad de reflejar la incertidumbre
de la decisión (es decir, la probabilidad de cuál tratamiento es mejor si
se comparan tratamientos múltiples y la probabilidad de que un
tratamiento sea mejor que el comparador)
Descripción de (distintos) descubrimientos con en análisis de
sensibilidad/escenario
Resumen de los descubrimientos
Validez interna (ensayos individuales, sesgo de las publicaciones,
diferencias entre ensayos que pudieran violar los supuestos de
similitud y consistencia)
Debate acerca de la capacidad de generalización de los
descubrimientos (dada una población de pacientes dentro y entre
ensayos de la red)
Interpretación de resultados desde una perspectiva biológica y clínica
Si los análisis fueron realizados dentro de un enfoque Bayesiano,
debe definirse la elección de distribuciones previas para los
parámetros del modelo. Debe informarse una descripción de los
distintos análisis de sensibilidad pertenecientes a los estudios
incluidos en las redes y distribuciones previas (si corresponde).
No es una exigencia del Grupo de Trabajo ser normativos en lo que
respecta a recomendar elementos a informar en la sección de
resultados. No obstante recomendamos que, como mínimo, se
informen los elementos en la siguiente sección para que los
usuarios de un meta-análisis en red puedan juzgar la validez
interna de los análisisinformadas de los mismos. Una
representación gráfica de la red de evidencia con etiquetas de los
VALUE IN HEALTH 14(2011)417–428
distintos RTC puede ser útil y a la vez mejorar la transparencia de
los análisis.
Se deben informar las estimaciones puntuales y las
correspondientes medidas de incertidumbre para cada grupo de
tratamiento / ensayo individual. Si bien el meta-análisis en red usa
las mediciones de efectos relativos de los distintos estudios
clinicos, los resultados por grupo de tratamiento para los estudios
individuales suministran información muy importante. Tal como se
ilustra en el ejemplo de la Tabla 2 (basada en Cipriani et al. [25]),
esto facilita la comprensión de la red y brinda una comparación de
los resultados comunes de referencia del tratamiento (o placebo) lo
cual a la vez ayuda a evaluar las diferencias clave entre los
estudios clinicos. Presentar los efectos relativos del tratamiento
para cada uno de los RCT en una tabla o figura, como un gráfico
de efectos, también es útil y permite comparar los resultados
agrupados del meta-análisis en red y los resultados individuales del
estudio.
En la sección del informe en la cual se presentan los resultados del
meta-análisis en red, se deben comparar los modelos competitivos
en términos de su bondad de ajuste a los datos, y se pueden
suministrar los cálculos de desviación residual para justificar la
opción del modelo de caso base del estudio. Como mínimo, se
deben informar las estimaciones de los efectos relativos del
tratamiento (ej.: OR, Hazard ratios, diferencias en las medias)
junto con un IC del 95% o intervalos creíbles (dependiendo del
marco del análisis) comparadas con un tratamiento común de
referencia o ancla (Tabla 3). Para apreciar el valor de un metaanálisis en red, se recomienda presentar también los resultados de
todas las comparaciones relevantes por pares,como reflejo de los
parámetros funcionales (Tabla 4). Los diagramas de efecto pueden
ser muy informativos para presentar las comparaciones por pares,
tal como lo ilustró Vissers et al. [24]. (Comentarios: si bien los
datos de Cipriani et al. [25] fueron utilizados para ilustrar de qué
manera se pueden presentar los datos fuente y los resultados de un
meta-análisis en red, queremos destacar que el uso de estos datos
no implica que el Grupo de Trabajo de ISPOR patrocine dichos
hallazgos).
A veces puede ser útil para los encargados de la toma de decisiones
informar las estimaciones del efecto relativo de un tratamiento en
una escala diferente de la utilizada para el análisis del modelo. Por
ejemplo, puede ser útil informar los resultados de un meta-análisis
en red realizado sobre un OR como riesgos relativos, diferencias
absolutas de riesgos, y números necesarios para tratar. Estas
estimaciones dependerán de la probabilidad estimada de respuesta
para el tratamiento de referencia. Los análisis que usan el paquete
de software estadístico (Bayesiano) WinBUGS facilitan la
derivación de estimaciones de efectos relativos del tratamiento en
distintas escalas [56].
Si los análisis se efectúan dentro de un enfoque Bayesiano, la
incertidumbre en las estimaciones de efectos relativos puede
traducirse a probabilidades de incertidumbre de la decisión. Por
ejemplo, el OR junto con intervalos creíbles del 95% para cada una
de las intervenciones relativas a un ancla común, permite calcular
la probabilidad de que cada tratamiento sea el más eficaz entre
todos los tratamientos comparados. Por ejemplo, en la Tabla 3 hay
un 39,2% de probabilidad de que el escitalopram muestre la mayor
aceptación,es decir, el menor índice de abandono entre 12
antidepresivos comparados (antes de considerar la evidencia
disponible, cada tratamiento debe tener un cambio a priori de
100%/12 = 8.3%). Si bien esto ilustra una ventaja importante del
uso del enfoque Bayesiano, debe tenerse cuidado cuando se
suministra sólo la probabilidad de que un tratamiento sea el mejor
o sea calificado como el primero. Esto porque la información de la
dispersión de rangos de calificación de un tratamiento también es
importante. Por ejemplo, un tratamiento para el cual hay pocos
datos de estudios clinicos y, consecuentemente, un IC amplio,
podría tener una probabilidad de aproximadamente el 50% de ser
el mejor tratamiento, pero también podría tener una probabilidad
del 50% de ser el peor tratamiento. Por lo que también es útil
calcular la calificación esperada de eficacia para todos los
tratamientos en base a las probabilidades de todas las calificaciones
de tratamientos, es decir, la probabilidad de ser el mejor, el
segundo mejor, y así sucesivamente, tal como se ilustra en la Tabla
3 [25].
Además de las estimaciones de efectos relativos de tratamientos,
puede ser útil informar las estimaciones de la probabilidad absoluta
de resultados para los resultados binarios. Esto requerirá de una
estimación de probabilidad de referencia para el tratamiento base
de comparación. Esto puede derivarse de los datos del ensayo u
otras fuentes y puede estar sujeta a análisis de sensibilidad. El
método utilizado para estimar la probabilidad de referencia debe
enunciarse claramente. En la Tabla 3, informamos el índice
esperado de abandono en base a los resultados del meta-análisis en
red a cargo de Cipriani et al. En combinación con el índice de
abandono de fluoxetina como referencia.
La sección de debate de un informe debe presentar una evaluación
crítica de los resultados con respecto a la validez interna y externa.
Los autores deben suministrar un debate razonado de los supuestos
de similaridad y consistencia, y si puede suponerse que estos se
mantienen en el análisis en cuestión. El debate también debe
indicar si los resultados del meta-análisis en red se alinean con las
expectativas en base a los meta-análisis previos y otra evidencia
observacional disponible [57]. Además, se recomienda brindar una
explicación de las diferencias entre las intervenciones comparadas,
desde la perspectiva biológica y también clínica. Además de la
adecuación de los resultados, debe tratarse el tema de la relevancia
de los descubrimientos para la toma de decisiones reales en los
ámbitos clínico y de reembolso.
Interpretación de los hallazgos
Luego de evaluar la validez y los resultados de un meta-análisis en
red, los encargados de la toma de decisiones deberán considerar
detalladamente si los hallazgos pueden aplicarse a sus problemas
de decisión. ¿Es acaso un tratamiento mejor que otro y estos
resultados se aplican a la población de interés para el encargado de
la toma de decisiones?
Frecuentemente, una pequeña cantidad de estudios en un metaanálisis en red limita la posibilidad de ajustarse al posible sesgo
debido a los problemas de similaridad, a través de técnicas
estadísticas. En vez de ignorar inmediatamente los resultados del
análisis argumentando que los estudios clinicos no son
comparables, el encargado de la toma de decisiones debe intentar
hipotetizar la dirección posible del sesgo en las estimaciones
indirectas.
Una pregunta importante para hacer es: ¿qué tan diferente sería una
comparación indirecta no sesgada? y ¿acaso esto conduciría a una
conclusión y una decisión diferentes?
Un problema a considerar es si un tratamiento puede considerarse
más efectivo que otro cuando sólo se ha analizado una pequeña
cantidad de resultados. La selección de los resultados analizados
debe justificarse claramente al inicio del análisis (por ejemplo,
¿reflejan los resultados principales usados en los estudios
clínicos?).
Se debe intentar sintetizar los resultados de múltiples meta-análisis
en red. ¿Cómo interpretamos situaciones en las que el fármaco A
es mejor en una cierta cantidad de resultados clínicos pero no en
todos estos resultados? ¿Cómo se toma una decisión en estos
casos? Un enfoque posible es ponderar los distintos criterios en
base a la importancia relativa conforme al encargado de la toma de
decisiones, y calcular las probabilidades de cuál tratamiento es
mejor, tomando en cuenta estas ponderaciones [58]. Estos no son
problemas específicos de un meta-análisis en red. De hecho, el
desarrollo de mediciones tales como el año de vida ajustado por
calidad (AVAC) han sido propiciadas por la necesidad de
comparar resultados de salud dispersos utilizando una métrica
común a través de los modelos de decisión. No obstante, es un
problema a tener en cuenta también cuando se interpretan metaanálisis en red.
Además, la identificación del “mejor” tratamiento o el más
adecuado no puede hacerse en base a los criterios de eficacia
únicamente. Para brindar información a la toma de decisiones en
materia de salud respecto de pautas de tratamiento clínico y
políticas de reembolso, los hallazgos de eficacia de un metaanálisis en red deben interpretarse a la luz de otra evidencia
disponible (observacional) y otras características de las
intervenciones competitivas, como seguridad y conveniencia.
VALUE IN HEALTH 14(2011)417–428
Tabla 2 – Tabla que muestra cómo se pueden presentar los datos fuente tal como se usan en un meta-análisis en red – Nueva generación de antidepresivos para depresión general, abandonos.
Estudio
Para ver el conjunto completo de datos, consulte Cipriani et al., 2009.
R, abandonos; n, número de pacientes. Reimpreso de The Lancet, 373 (9665), Cipriano A, Furukawa TA, Salanti G, Geddes JR, Higgins, JP, Churchill R, Watanabe N, Nakagawa A, Omori IM, McGuire
H, Tansella M, Barbui C, Eficacia y aceptabilidad comparativas de 12 antidepresivos de nueva generación: meta-análisis de tratamientos múltiples, 746-58, 2009, con el permiso de Elsevier.
VALUE IN HEALTH 14(2011)417–428
Tabla 3– Tabla que muestra cómo se pueden presentar los resultados de un meta-análisis en red.
Razón de
posibilidades de
aceptabilidad*
Intervalo creíble
del 95%
Abandono
estimado, %
Intervalo creíble
del 95%
Probabilidad de estar entre
los 4 mejores tratamientos,
%
Probabilidad ser el mejor
de todos los comparados,
%
Puesto
Efecto relativo de cada uno de los tratamientos en relación con el comparador de referencia expresado como razones de posibilidades (con
intervalos creíbles del 95%), resultado esperado (con intervalos creíbles del 95%) y la probabilidad como medida de incertidumbre de la
decisión; nueva generación de antidepresivos para la depresión general, aceptabilidad (abandonos).
Basado en Cipriani et al. [25]
Reimpreso de The Lancet, 373 (9665), Cipriano A, Furukawa TA, Salanti G, Geddes JR, Higgins, JP, Churchill R, Watanabe N, Nakagawa A,
Omori IM, McGuire H, Tansella M, Barbui C, Eficacia y aceptabilidad comparativas de 12 antidepresivos de nueva generación: meta-análisis de
tratamientos múltiples, 746-58, 2009, con el permiso de Elsevier.
* Razón de posibilidades < 1 favorece a fluoxetine; la razón de posibilidades refleja las razones de aceptabilidad (es decir, los que no abandonan)
 El abandono de referencia se bajó en meta-análisis de efectos fijos de grupos de fluoxetine de todos los ensayos.
 Informado por Cipriani et al. [25]
El desarrollo general de métodos de síntesis de la evidencia para
brindar evidencia sistemática exhaustiva sobre la cual basar las
decisiones, tiene un lugar natural en los modelos de decisión
integrales que incluyen costos y efectos, y que ciertos organismos
como el NICE [5,59– 61] usan para determinar el costo-efectividad
de las intervenciones. El meta-análisis en red representa un
conjunto valioso de herramientas analíticas que informan la
evidencia clínica en los análisis de costo-efectividad.
La toma de decisiones
comparaciones
directas
tratamientos de RCT
sin considerar
e
indirectas
las
de
Los estudios clinicos pragmáticos, aleatorizados, naturalistas y
simultáneos son, posiblemente, el estándar de referencia para
obtener estimaciones de efectividad comparativa, debido a su alta
validez interna y externa [62]. Sin embargo, estos estudios clinicos
tardan mucho en finalizarse y nunca pueden brindar información
de efectividad relativa para todas las intervenciones competitivas,
especialmente cuando se desarrollan nuevos tratamientos
continuamente. Por ende, debe considerarse a la ITC o metaanálisis en red como una alternativa útil y realista. Para minimizar
el sesgo, un meta-análisis en red requiere de evidencia de RCT. No
obstante, la evidencia de los RCT puede no estar disponible en una
proporción significativa de situaciones a las que se enfrentan los
encargados de la toma de decisiones. Por ejemplo, en oncología,
los estudios clinicos de Fase II a menudo tienen un único grupo.
Una revisión de las pautas de práctica descubrió que pocas
recomendaciones se basaban en evidencia de calidad y muchas se
basaban en la opinión de expertos, estudios de caso individuales y
estándares de cuidado [63]. A menudo hay buenas razones para la
ausencia de los RCT. Tal vez se disponga de poco tiempo para
realizar los RCT de tecnologías que surgen rápidamente [64]. Los
RCT pueden ser no éticos si los clínicos creen que hay una
asociación causal entre la intervención y el resultado, por ejemplo,
entre la posición para dormir y la muerte súbita en bebés. Los
factores limitados también pueden ser un factor para la falta de
evidencia de RCT. Independientemente de cuáles sean los motivos
para la ausencia de RCT y, por lo tanto, la ausencia de
comparaciones indirectas de tratamiento en base a la evidencia
aleatorizada, los pagadores en el ámbito del cuiado de la salud, los
profesionales de la salud y los pacientes tal vez deban tomar
decisiones. Es incorrecto suponer que estos interesados pueden
posponer la decisión y esperar a que llegue la evidencia “correcta”.
En particular, las decisiones deben poder basarse en el conjunto
disponible de opciones. En realidad, no cubrir o recetar una
intervención es una decisión tácita de quedarse con el status quo.
Esta decisión tiene implicancias para la sociedad. Puede maximizar
o no los beneficios para la salud de la población (si es hecho por el
tomador de decisiones) o los beneficios en salud para el paciente
(si está a cargo del proveedor de atención médica y el paciente)
[65].
Una cuestión fundamental para los encargados de la toma de
decisiones entonces, es si se deben usar estudios comparativos
observacionales cuando no hay RCT ni comparaciones indirectas
de RCT disponibles. Para responder a esta pregunta, es importante
recordar que, en un meta-análisis en red de RCT, el valor de la
aleatorización no se mantiene entre estudios clinicos. Si las
características del estudio o de los pacientes difieren entre los
estudios clinicos para las intervenciones comparadas
indirectamente y hay modificadores de los efectos relativos del
tratamiento, el análisis estará sesgado. Por lo que una ITC o metaanálisis en red de RCT es un tipo de evidencia observacional, pero
posiblemente menos propensa a sufrir el sesgo por factores de
confusión que un estudio de cohorte (o cualquier otro diseño de
estudio observacional). Un estudio de cohorte está sesgado si las
diferencias en las covariables no medidas afectan a la intervención
y al resultado, mientras que una ITC o meta-análisis en red de RCT
está sesgado sólo si las diferencias en las covariables no medidas
entre estudios clinicos son modificadores de efectos relativos del
tratamiento, lo cual posiblemente es más improbable. Por lo tanto,
preguntar si se deben usar estudios comparativos observacionales
en ausencia de un ITC o un meta-análisis en red de RCT es
sinónimo de preguntar qué nivel de evidencia observacional puede
considerarse con suficiente validez interna como para brindar
información a la toma de decisiones; o más específicamente, ¿con
qué nivel de evidencia observacional se sienten cómodos los
encargados de la toma de decisiones? ¿El nivel mínimo aceptable
de evidencia observacional es una ITC o meta-análisis en red de
RCT, o con un estudio de cohorte es suficiente? Para responder a
estas preguntas, los encargados de la toma de decisiones deben
reconocer que, cuanto menor sea la validez interna, mayor será el
riesgo de obtener resultados sesgados y, por ende, mayor será el
riesgo de tomar una decisión inferior. Si se elige el nuevo
tratamiento por sobre el tratamiento estándar debido a las
estimaciones sesgadas de efectividad comparativa y los resultados
verdaderos favorecen al tratamiento estándar, entonces los
beneficios para la salud se pierden.
Efectos relativos del tratamiento de comparaciones en pares expresadas como razones de posibilidades (con intervalos creíbles del 95%), nueva generación de antidepresivos para la depresión general, aceptabilidad (abandonos) . Basado en
Cipriani et al [25]. Reimpreso de The Lancet, 373 (9665), Cipriano A, Furukawa TA, Salanti G, Geddes JR, Higgins, JP, Churchill R, Watanabe N, Nakagawa A, Omori IM, McGuire H, Tansella M, Barbui C, Eficacia y aceptabilidad
comparativas de 12 antidepresivos de nueva generación: meta-análisis de tratamientos múltiples, 746-58, 2009, con el permiso de Elsevier.
Intervención
Tabla 4 – Tabla que muestra cómo se pueden presentar los datos de un meta-análisis en red.
Comparador
VALUE IN HEALTH 14(2011)417–428
Es muy probable que el debate acerca del uso correcto de evidencia
de RCT, la comparación indirecta de RCT y los estudios
observacionales
“tradicionales”
continúe.
Los
estudios
observacionales
pueden
considerarse
como
evidencia
complementaria para los RCT [66]. Afortunadamente, las
necesidades de investigaciones sobre efectividad comparativa están
generando desarrollo en la síntesis de evidencia y su comprensión.
En esta etapa, llegamos a la conclusión de que, en ausencia de
RCT simultáneos, los encargados de la toma de decisiones pueden
utilizar evidencia observacional, siempre y cuando estén al tanto de
los riesgos potenciales que conlleva usar evidencia de menor
calidad y estén cómodos con el hecho de asumir estos riesgos. Si
los encargados de la toma de decisiones prefieren esperar hasta
tener RCT simultáneos, o mejor aún, una ITC de RCT, deben saber
que están eligiendo el tratamiento “viejo” por sobre el tratamiento
“nuevo”, con las potenciales implicaciones para la sociedad.
Esencialmente, por cada valoración de una nueva intervención, un
encargado de la toma de decisiones debe realizar una
compensación entre, por un lado, el riesgo de tomar la decisión
incorrecta y por ello perder beneficios para la salud al confiar en
evidencia de menor calidad y, por otro lado, posponer la decisión y
posiblemente perder también beneficios para la salud. Esta
compensación resulta influenciada por consideraciones que
incluyen la carga de una enfermedad y la cantidad de tratamientos
disponibles actualmente.
Independientemente de cuál sea el resultado del debate, la calidad
de la toma de decisiones aumentará si es transparente y explícita
sobre el tipo de evidencia que está siendo usado y evaluando sus
limitaciones y consecuencias.
Conclusión
Este informe, la primera parte del informe realizado por el Grupo
de Trabajo, describe los conceptos clave de ITC y MTC y brinda
orientación para revisar e interpretar estos estudios, con el fin de
brindar información para la toma de decisiones.
El meta-análisis en red puede considerarse como una extensión del
meta-análisis tradicional al incluir múltiples comparaciones por
pares en un rango de distintas intervenciones, para permitir la
comparación de tratamientos múltiples, cuando no hay evidencia
simultánea. Además, la metodología puede combinar
comparaciones directas e indirectas de tratamiento, sintetizando así
una mayor utilización de la evidencia disponible que un metaanálisis tradicional.
Si bien las redes de evidencia que están tras los meta-análisis en
red generalmente incluyen RCT, la aleatorización no se mantiene
entre estudios clinicos y hay un riesgo de tener sesgo por factores
de confusión, comprometiendo así la validez interna.
Consecuentemente, un meta-análisis en red debe considerarse
como evidencia observacional, pero posiblemente es menos
propensa a sufrir sesgo por confusión que un estudio de cohorte
observacional comparativo prospectivo. Si bien se reconocen
problemas metodológicos acerca de las comparaciones indirectas y
los meta-análisis en red, se espera que la aplicación de este método
continúe y siga creciendo, simplemente porque el hecho de no ver
a la acumulación de información como un proceso en constante
evolución dañaría el rol que juega la evidencia científica en la
modelación de la toma de decisiones en materia de salud. Por ese
motivo, el objetivo del Grupo de Trabajo es ayudar a educar a los
encargados de la elaboración de políticas y los profesionales de la
salud acerca de estos estudios, e identificar áreas de investigación a
futuro.
REFERENCIAS
[1] Hoaglin DC, Hawkins N, Jansen JP, et al. Conducting indirect treatment
comparisons and network meta-analysis studies: report of the ISPOR Task force on
indirect treatment comparisons good research practices—Part 2. Value Health
2011;14:xx-xx.
[2] Higgins JPT, Green S, eds. Cochrane Handbook for Systematic Reviews of
Interventions Version 5.0.2 [updated September 2009]. The Cochrane Collaboration,
2009. Disponible en: http://www.cochranehandbook. org. [Accessed February 11,
2010].
[3] Caldwell DM, Ades AE, Higgins JPT. Simultaneous comparison of multiple
treatments: combining direct and indirect evidence. BMJ 2005;331:897–900.
[4] Ioannidis JPA. Indirect comparisons: the mesh and mess of clinical trials. Lancet
2006;368:1470–2.
[5] Sutton A, Ades AE, Cooper N, Abrams K. Use of indirect and mixed treatment
comparisons for technology assessment. Pharmacoecnomics 2008;26:753–67.
[6] Wells GA, Sultan SA, Chen L, et al. Indirect Evidence: Indirect Treatment
Comparisons in Met-Analysis. Ottawa: Canadian Agency for Drugs and Technologies
in Health; 2009.
[7] Bucher HC, Guyatt GH, Griffith LE, Walter SD. The results of direct and indirect
treatment comparisons in meta-analysis of randomized controlled trials. J Clin
Epidemiol 1997;50:683–91.
[8] Song F, Altman DG, Glenny A, Deeks JJ. Validity of indirect comparison for
estimating efficacy of competing interventions: empirical evidence from published
meta-analyses. BMJ 2003;326:472.
[9] Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment
comparisons. Stat Med 2004;23:3105–24.
[10] Song F, Loke YK, Walsh T, et al. Methodological problems in the use of indirect
comparisons for evaluating healthcare interventions: survey of published systematic
reviews. BMJ 2009;338:b1147.
VALUE IN HEALTH 14(2011)417–428
[11] Lumley T. Network meta-analysis for indirect treatment comparisons. Stat Med
2002;21:2313–24.
[12] Working Group on Relative Effectiveness The Pharmaceutical Forum.[online].
Disponible en: http://ec.europa.eu/pharmaforum/effectiveness_en.htm. [Accessed
December 6, 2010].
[13] Pharmaceutical Benefits Advisory Committee. Guidelines for preparing
submissions to the Pharmaceutical Benefits Advisory Committee. (Version 4.3).
Australian Government, Department of Health and Ageing, December 2008.
[14] Glenny AM. Statistical methods for indirect treatment comparisons. Health
Technol Assess 2005;9:17–49.
[15] Jansen JP, Crawford B, Bergman G, Stam W. Bayesian meta-analysis of multiple
treatment comparisons: an introduction to mixed treatment comparisons. Value Health
2008;11:956–64.
[16] Jansen JP, Bergman GJ, Huels J, Olson M. Prevention of vertebral fractures in
osteoporosis: mixed treatment comparison of bisphosphonate therapies. Curr Med Res
Opin 2009;25:1861–8.
[17] Biondi-Zoccai GG, Agostoni P, Abbate A, et al. Adjusted indirect comparison of
intracoronary drug-eluting stents: evidence from a metaanalysis of randomized baremetal-stent-controlled trials. Int J Cardiol 2005;100:119–23.
[18] Mills EJ, Perri D, Cooper C, et al. Antifungal treatment for invasive Candida
infections: a mixed treatment comparison meta-analysis. Ann Clin Microbiol
Antimicrob 2009;8:23.
[19] Stettler C, Wandel S, Alleman S, et al. Outcomes associated with drugeluting and
bare-metal stents: a collaborative network meta-analysis. Lancet 2007;370:937–48.
[20] Ades AE. A chain of evidence with mixed comparisons: models for multiparameter synthesis and consistency of evidence. Stat Med 2003;22:2995–3016.
[21] Cooper NJ, Sutton AJ, Morris D, et al. Addressing between-study heterogeneity
and inconsistency in mixed treatment comparisons: application to stroke prevention
treatments in individuals with nonrheumatic atrial fibrillation. Stat Med
2009;28:1861–81.
[22] Psaty BM, Lumley T, Furberg CD, et al. Outcomes associated with various
antihypertensive therapies used as first-line agents: a network meta-analysis.
JAMA;289:2534–44.
[23] Cooper NJ, Sutton AJ, Lu G. Mixed comparison of stroke prevention treatments
in individuals with nonrheumatic atrial fibrillation. Arch Intern Med 2006;166:1269–
75.
[24] Vissers D, Stam W, Nolte T, et al. Efficacy of intranasal fentanyl spray versus
other opioids for breakthrough pain in cancer. Curr Med Res Opin 2010;26:1037–45.
[25] Cipriani A, Furukawa TA, Salanti G, et al. Comparative efficacy and
acceptability of 12 new-generation antidepressants: a multipletreatments metaanalysis. Lancet 2009;373:746–58.
[26] Salanti G, Kavvoura FK, Ioannidis JPA. Exploring the geometry of treatment
networks. Ann Intern Med 2008;148:544–53.
[27] Coory M, Jordan S. Frequency of treatment-effect modification affecting indirect
comparisons: a systematic review.Pharmacoeconomics 2010;28:723–32.
[28] Lu G, Ades AE. Assessing evidence inconsistency in mixed treatment
comparisons. J Am Stat Assoc 2006;101:447–59.
[29] Dias S, Welton NJ, Caldwell DM, Ades AE. Checking consistency in mixed
treatment comparison meta-analysis. Stat Med 2010;29:932–44.
[30] Borenstein M, Hedges LV, Higgins JPT, Rothstein H. Introduction to MetaAnalysis. Chichester, England: John Wiley & Sons, Ltd., 2009.
[31] Skene AM, Wakefield JC. Hierarchical models for multicentre binary response
studies. Stat Med 1990;9:919–29.
[32] Gelman AB, Carlin JS, Stern HS, Rubin DB. Bayesian Data Analysis. Boca
Raton, FL: Chapman and Hall–CRC; 1995.
[33] Cappelleri JC, Ioannidis JPA, Lau, J. Meta-analysis of therapeutic trials. In:
Chow S-C, ed., Encyclopedia of Biopharmaceutical Statistics (3rd ed.), Revised and
Expanded. New York, NY: Informa Healthcare, 2010.
[34] Berlin JA, Santanna J. Schmid CH, et al. Individual patient-versus group-level
data meta-regression for the investigation of treatment effect modifiers: ecological
bias rears its ugly head. Stat Med 2002;21: 371–87.
[35] Greenland S, Morgenstern H. Ecological bias, confounding, and effect
modification. Int J Epidemiol 1989;18:269–74.
[36] Lambert PC, Sutton AJ, Jones DR. A comparison of summary patientlevel
covariates in metaregression with individual patient data metaanalysis. J Clin
Epidemiol 2002;55:86–94.
[37] McCullagh P, Nelder J. Generalized Linear Models, Second Edition. Chapman &
Hall/CRC, 1989.
[38] Dempster AP. The direct use of likelihood for significance testing. Stat Comput
1997;7:247–52.
[39] Spiegelhalter DJ, Best NG, Carlin BP, van der Linde A. Bayesian measures of
model complexity and fit. J R Stat Soc (Series B) 2002;64: 583–639.
[40] Goodman, SN. Towards evidence based medical statistics: 1. The P value fallacy.
Ann Intern Med 1999;120:995–1004.
[41] Sutton AJ, Abrams KR, Jones DR, et al. Methods for Meta-Analysis in Medical
Research. London, UK: Wiley, 2000.
[42] Spiegelhalter D, Abrams K, Myles J. Bayesian Approaches to Clinical Trials and
Health Care Evaluation. Chichester, UK: John Wiley & Sons,2004.
[43] Luce BR, Claxton K. Redefining the analytical approach to pharmacoeconomics.
Health Econ 1999;8:187–9.
[44] Hawkins N, Scott DA, Woods BS, Thather N. No study left behind: a network
meta-analysis in non-small-cell lung cancer demonstrating the importance of
considering all relevant data. Value Health 2009;12: 996–1003.
[45] Hawkins N, Scott DA, Wood BS. How far do you go? Efficient searching for
indirect evidence. Med Decis Making 2009;29:273–81.
[46] Salanti G, Higgins JPT, Ades AE, Ioannidis JPA. Evaluation of networks of
randomized trials. Stat Methods Med Res 2008;17:279–301.
[47] Cappelleri JC, Ioannidis JP, Schmid CH, et al. Large trials vs metaanalysis of
smaller trials: how do their results compare? JAMA 1996; 276:1332–8.
[48] Abel U, Koch A. The role of randomization in clinical studies: myths and beliefs.
J Clin Epidemiol 1999;52:487–97.
[49] Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias.
Dimensions of methodological quality associated with estimates of treatment effects
in controlled trials. JAMA 1995;273:408–12.
[50] Schwartz D, Lellouch J. Explanatory and pragmatic attitudes in therapeutical
trials. J Chronic Dis 1967;20:637–48.
[51] Rothwell PM. Factors that can affect the external validity of randomized
controlled trials. PLOS Clin Trials 2006;1:e9.
[52] Systematic Reviews: CRD’s guidance for undertaking reviews in health care
Centre for Reviews and Dissemination. Centre for Reviews and Dissemination,
University of York; January 2009.
[53] Williamson PR, Outcome selection bias in meta-analysis Stat Methods Med Res
2005;14:515–24.
[54] Liberati A, Altman DG. Tetzlaff J, et al. The PRISMA Statement for reporting
systematic reviews and meta-analyses of studies that evaluate health care
interventions: explanation and elaboration. Ann Intern Med 2009;151:W65–94.
[55] Moher D, Liberati A, Tetzlaff J, Altman DG, and the PRISMA Group. Preferred
reporting items for systematic reviews and meta-analyses: the PRISMA Statement.
Ann Intern Med 2009;151:264–9.
[56] Spiegelhalter D, Thomas A, Best N, Lunn D. WinBUGS User Manual: Version
1.4. MRC Biostatistics Unit: Cambridge, 2003.
[57] Atkins D, Best D, Briss PA, et al. Grading quality of evidence and strength of
recommendations. BMJ 2004;328:1490.
[58] Jansen JP. Bergman GJD, Huels J, Olson M. The efficacy of bisphosphonates in
the prevention of vertebral, hip, and nonvertebral-non-hip fractures in osteoporosis: a
network meta-analysis. Semin Arthritis Rheum 2011;40:275–84.
[59] Petitti DB. Meta-analysis, Decision Analysis, and Cost-effectiveness Analysis.
Methods for Quantitative Synthesis in Medicine (2nd ed.). New York, NY: Oxford
University Press, 2000.
[60] Cooper NJ, Sutton AJ, Abrams KR. Comprehensive decision analytic modelling
in economic evaluation: a bayesian approach. Health Econ 2004;13;203–26.
[61] Ades AE, Sculpher M, Sutton A, et al. Bayesian methods for evidence synthesis
in cost-effectiveness analysis. Pharmacoeconomics 2006;24: 1–19.
[62] Tunis SR, Stryer DB, Clancy CM. Practical clinical trials: increasing the value of
clinical research for decision making in clinical and health policy. JAMA
2003;290:1624–32.
[63] Tricoci P, Allen JM, Kramer JM, et al. Scientific evidence underlying the
ACC/AHA clinical practice guidelines. JAMA 2009;301:831–41.
[64] Chambers D, Rodgers M, Woolacott N. Not only randomized controlled trials,
but also case series should be considered in systematic reviews of rapidly developing
technologies. J Clin Epidemiol 2009;62:1253–60.
[65] Claxton K. The irrelevance of inference: a decision-making approach to the
stochastic evaluation of health care technologies. J Health Econ 1999;18:341–64.
[66] Fleurence RL, Naci H, Jansen JP. The critical role of observational evidence in
comparative effectiveness research. Health Aff (Millwood) 2010;29:1826–33.