Download INFORME CIENTÍFICO Cómo realizar comparaciones indirectas de
Document related concepts
Transcript
VALUE IN HEALTH 14(2011)417–428 Disponible en www.sciencedirect.com Página web de la publicación: www.elsevier.com/locate/jval _____________________________________________ INFORME CIENTÍFICO Cómo realizar comparaciones indirectas de tratamientos y meta-análisis en red en la toma de decisiones para el cuidado de la salud: Informe del Grupo de Trabajo de ISPOR sobre Buenas Prácticas para la Comparación Indirecta de Tratamientos: Parte 1 Jeroen P. Jansen, PhD1,*, Rachael Fleurence, PhD2, Beth Devine, PharmD, MBA, PhD3, Robbin Itzler, PhD4, Annabel Barrett, BSc5, Neil Hawkins, PhD6, Karen Lee, MA7, Cornelis Boersma, PhD, MSc8, Lieven Annemans, PhD9, Joseph C. Cappelleri, PhD, MPH10 1Mapi Values, Boston, MA, USA; 2Oxford Outcomes, Bethesda, MD, USA; 3Pharmaceutical Outcomes Research and Policy Program, School of Pharmacy, School of Medicine, University of Washington, Seattle, WA, USA; 4Merck Research Laboratories, North Wales, PA, USA; 5Eli Lilly and Company Ltd., Windlesham, Surrey, UK; 6Oxford Outcomes Ltd., Oxford, UK; 7Canadian Agency for Drugs and Technologies in Health (CADTH), Ottawa, ON, Canada; University of Groningen / HECTA, Groningen, The Netherlands; 9University of Ghent, Ghent, Belgium; 10Pfizer Inc., New London, CT, USA Traducción validada por: Javier Eslava-Scmalbach, PhD, MD, MSc, Director, Instituto de Investigaciones Clínicas, Profesor Titular, Departamento de Cirugía, Facultad de Medicina, Universidad Nacional de Colombia y Editor, Revista Colombiana de Anestesiología, Bogotá, Colombia Joaquin F. Mould, PhD, Economía de la Salud Mundial y Investigación de Resultados, Jefe de Proyecto – Atención Especializada,Eequipo de Acceso de Mercado Global, Bayer Healthcare, Berlin, Alemania Jefferson Buendia, MD Pediatra MSc, Fellow en Neumologia Pediatrica HIBA-UBA y Profesor. Departamento de Farmacología y Toxicología, Facultad de Medicina, Universidad de Antioquia, Medellin – Colombia La citación para este informe es: Jansen JP, Fleurence R, Devine B, et al. Interpreting Indirect Treatment Comparisons and Network Meta-Analysis for Health-Care Decision Making: Report of the ISPOR Task Force on Indirect Treatment Comparisons Good Research Practices: Part 1. Value Health 2011;14:417-28. RESUMEN La toma de decisiones para el cuidado de la salud - basada en la evidencia, requiere de la comparación de todas las intervenciones competitivas. En la ausencia de estudios clinicos aleatorizados y controlados que impliquen una comparación directa de todos los tratamientos de interés, las comparaciones indirectas y los metaanálisis en red brindan evidencia útil para seleccionar con criterio la o las mejores opciones de tratamiento. Las comparaciones mixtas de tratamientos, un caso especial de metaanálisis en red, combinan la evidencia directa e indirecta para la realización de comparaciones por pares, sintetizando así una mayor parte de la evidencia disponible respecto a un meta-análisis tradicional. Este informe realizado por el Grupo de Trabajo de Buenas Prácticas en la Comparación Indirecta de Tratamientos de ISPOR brinda orientación acerca de la interpretación indirecta de tratamientos y el meta-análisis en red para ayudar a los encargados de la elaboración de políticas y los profesionales de la salud a usar sus hallazgos para tomar decisiones. Comenzaremos viendo una descripción general acerca de Antecedentes del Grupo de Trabajo La Junta Directiva de ISPOR aprobó la formación de un Grupo de Trabajo sobre Buenas Prácticas en la Comparación Indirecta de Tratamientos para desarrollar documentos de buenas prácticas para las comparaciones indirectas de tratamientos en enero de 2009. Se invitó a los investigadores con experiencia en revisiones sistemáticas, metaanálisis en red, síntesis de evidencia y métodos estadísticos relacionados, quienes trabajan en entornos académicos, organizaciones de investigación, la industria farmacéutica o los gobiernos de Estados Unidos, Canadá y Europa, a participar como líderes en el Grupo de Trabajo. También se invitó a diversos encargados de la toma de decisiones que utilizan evidencia de comparación directa/indirecta de tratamientos en la toma de decisiones para el cuidado de la salud. El grupo de trabajo se reunió, en primer lugar por teleconferencia, con una comunicación continua por correo electrónico, y personalmente en abril de 2010 para desarrollar los temas a tratar, acordar una planificación y bosquejar un informe. Determinó que, para tratar correctamente las buenas prácticas de investigación para las comparaciones indirectas de tratamientos y el uso de estas comparaciones en la toma de decisiones para el cuidado de la salud, el informe del Grupo de Trabajo debía tener dos documentos: cómo las redes de estudios clinicos aleatorizados y controlados permiten la comparación de tratamientos múltiples de intervenciones competitivas. Luego, presentaremos la síntesis de la evidencia disponible con un foco en la terminología, los supuestos, la validez y los métodos estadísticos, seguida por los consejos acerca de cómo revisar e interpretar críticamente una comparación indirecta de tratamiento o un meta-análisis en red para brindar información en la toma de decisiones. Finalizaremos con un debate acerca de qué hacer cuando no hay comparaciones directas o indirectas de tratamientos de estudios clinicos aleatorizados controlados y se debe tomar una decisión sobre el cuidado de la salud. Palabras clave: Bayesiano, toma de decisiones, efectividad comparativa, comparación indirecta de tratamientos, comparación mixta de tratamientos, meta-análisis en red. Copyright © 2011, Sociedad Internacional de Farmacoeconomía e Investigación de Resultados (ISPOR). Publicado por Elsevier Inc. Uno sobre “Cómo interpretar comparaciones indirectas de tratamientos y de meta-análisis en red en la toma de decisiones para el cuidado de la salud: informe realizado por el Grupo de Trabajo de ISPOR sobre Buenas Prácticas para las Comparaciones Indirectas de Tratamientos: Parte 1” y otro sobre “Cómo realizar comparaciones indirectas de tratamientos y Meta-análisis en Red: Informe del Grupo de Trabajo de ISPOR sobre Buenas Prácticas en la Comparaciones Indirectas de Tratamientos: Parte 2". Los resúmenes de los documentos fueron presentados para recibir comentarios en la 15° Reunión Internacional Anual llevada a cabo en Atlanta, Georgia, EE.UU, en mayo de 2010. Los borradores de los dos documentos fueron enviados para recibir comentarios al Grupo de Trabajo de revisión (103 personas invitadas y auto-seleccionadas interesadas en este tema) en julio de 2010. Los autores de los documentos consideraron los comentarios del Grupo de Trabajo, y los borradores revisados de los dos documentos fueron enviados para recibir comentarios a los miembros de ISPOR (5550 miembros) en septiembre de 2010. En total, la Parte 1 recibió 23 comentarios y la Parte 2 recibió 13 comentarios. Todos los comentarios escritos están publicados en el sitio web de ISPOR. Los autores de cada documento consideraron todos los comentarios (muchos de los cuales fueron sustantivos y constructivos), revisaron los documentos y los enviaron a Value in Health. VALUE IN HEALTH 14(2011)417–428 Introducción El Grupo de Trabajo sobre Buenas Prácticas en la Comparación Indirecta de Tratamientos publica este informe como dos documentos. Este documento depende de la Parte 2 del informe [1] para las buenas prácticas en la realización de comparaciones indirectas de tratamientos y estudios de meta-análisis en red. Las revisiones sistemáticas de estudios clinicos aleatorizados controlados (RCT por su sigla en inglés) se consideran un principio estándar para toma de decisiones sobre salud basada en la evidencia, en lo que respecta a pautas de tratamiento clínico y políticas de reembolso. Muchas revisiones sistemáticas utilizan el meta-análisis para combinar los resultados cuantitativos de muchos estudios similares y comparables y resumir la evidencia disponible [2]. Una buena toma de decisiones requiere de la comparación de todas las intervenciones competitivas relevantes. Idealmente, los RCT diseñados de manera robusta compararían simultáneamente todas las intervenciones de interés. Lamentablemente, dichos estudios casi nunca están disponibles, complicando así la toma de decisiones [3–6]. A menudo, los nuevos fármacos se comparan con placebo o con el estándar de cuidado, pero no entre sí, en estudios clinicos cuyo objetivo es contribuir (lo más rápidamente posible) a la obtención de la aprobación para la licencia de fármacos; tal vez no haya ningún incentivo comercial en la comparación del nuevo tratamiento con el tratamiento de control activo [5,6]. Aunque hubiera un incentivo para incorporar las intervenciones competitivas en un RCT, las intervenciones de interés pueden variar por país o pueden haber cambiado con el tiempo debido a nuevas perspectivas de evidencia y tratamiento. Por lo tanto, para algunas indicaciones, la cantidad de intervenciones competitivas hace que, al incorporarlas todas, el ensayo se vuelva poco práctico. En la ausencia de estudios clinicos que impliquen una comparación directa de los tratamientos de interés, una comparación indirecta puede brindar evidencia útil sobre la diferencia en los efectos de tratamiento entre intervenciones competitivas (que de otro modo faltarían) y para seleccionar con criterio la o las mejores opciones de tratamiento. Por ejemplo, si dos tratamientos en particular nunca han sido comparados entre sí, pero estos dos tratamientos han sido comparados con un comparador común, entonces una comparación indirecta de tratamiento (ITC por su sigla en inglés) puede usar los efectos relativos de los dos tratamientos versus el comparador común [7–10]. Si bien a menudo se argumenta que las comparaciones indirectas se necesitan cuando no hay comparaciones directas disponibles, es importante saber que, tanto la evidencia directa como la indirecta, contribuyen a crear un cuerpo total de evidencia. Los resultados de la evidencia indirecta combinados con la evidencia directa pueden fortalecer la evaluación entre tratamientos probados directamente [3]. Aun cuando los resultados de la evidencia directa sean concluyentes, combinarlos con los resultados de los cálculos indirectos en una comparación mixta de tratamientos (MTC por su sigla en inglés) puede brindar un cálculo más refinado y preciso de las intervenciones comparadas directamente y ampliar la inferencia en la población muestreada, porque conecta y maximiza la información existente dentro de la red de comparaciones de tratamientos [9]. Si la evidencia disponible está compuesta por una red de RCT múltiples que implican tratamientos comparados directamente o indirectamente o de ambas maneras, puede sintetizarse a través del denominado meta-análisis en red [11]. En un meta-análisis tradicional, todos los estudios incluidos comparan la misma intervención con el mismo comparador. El meta-análisis en red amplía este concepto incluyendo múltiples combinaciones de pares en un rango de intervenciones, y brinda cálculos del efecto relativo del tratamiento sobre comparaciones de tratamientos múltiples, a los fines de efectividad comparativa (En este informe, el término efectividad comparativa hace referencia a todas las comparaciones de resultados entre intervenciones, denominada efectividad relativa en la jerga europea) [12]. Hemos utilizado la efectividad comparativa y el efecto relativo del tratamiento sin hacer una distinción acerca de si la base de la evidencia está compuesta por RCT diseñados para la licencia de fármacos (eficacia) o por estudios aleatorizados pragmáticos reales (efectividad). El meta-análisis en red apunta a estimar los efectos relativos del tratamiento entre intervenciones competitivas. Dadoel gran valor de la ITC y del meta-análisis en red y su aceptación cada vez mayor en la toma de decisiones para el cuidado de la salud (ej: el Comité Asesor de Beneficios Farmacéuticos de Australia, la Agencia Canadiense de Fármacos y Tecnologías Sanitarias, el Instituto Nacional de Salud y Excelencia Clínica [NICE] en el Reino Unido), este informe brinda orientación práctica para los encargados de la elaboración de políticas y otros profesionales de la salud, ya que enriquece su conocimiento de estos métodos de síntesis de la evidencia [6,13]. Comenzamos con una descripción general acerca de cómo los RTC de intervenciones competitivas forman redes de evidencia que permiten realizar comparaciones de tratamientos múltiples. Wethen habla acerca de la síntesis de la evidencia disponible enfocándose en la terminología, los supuestos, la validez, los métodos estadísticos, seguido por consejos acerca de cómo revisar e interpretar críticamente una ITC o un meta-análisis en red. La última sección habla acerca de qué hacer si no hay comparaciones indirectas ni directas de RTC posibles, y se debe tomar una decisión sobre salud. Comparaciones de tratamientos múltiples y redes de evidencia La Figura 1 muestra redes de complejidad cada vez mayor en las que se han comparado tratamientos múltiples. Cada nodo refleja una intervención, y la línea que conecta a dos nodos refleja uno o más RCT. Por cada intervención en una red conectada, se puede estimar un efecto relativo del tratamiento en comparación con otra intervención. Supongamos que la comparación principal de interés es entre la intervención C y la intervención B, pero no hay ninguna evaluación directa que las haya comparado. En la primera red a la izquierda de la Figura 1, la intervención B ha sido comparada con la intervención A en un ensayo AB, y C ha sido comparado con A en un ensayo AC, por lo cual una comparación indirecta puede calcular el efecto relativo del tratamiento de C versus B. La ITC de C versus B está "anclada" a A (preferimos este término más descriptivo en vez de “ajustado”, el cual también aparece en la bibliografía). A puede representar un comparador de tratamiento activo o placebo. En una ITC es fundamental no “romper la aleatorización” [5,10,14]. Por ejemplo, si A, B y C son intervenciones para la artritis reumatoidea, es incorrecto comparar simplemente la fracción observada de encuestados sobre el fármaco B en estudios clinicos AB con la fracción observada de encuestados sobre el fármaco C en estudios clinicos AC. Usar los datos de esta manera no separa la eficacia de los fármacos de los posibles efectos del placebo (los RCT están diseñados para separar los efectos de los fármacos de otros efectos). Otro motivo para evitar romper la aleatorización es que las diferencias en las respuestas pueden reflejar distintos riesgos iniciales, incluso cuando el riesgo relativo es consistente entre estudios clinicos [5, 15]. Usar datos sólo de los grupos de tratamiento de interés para extraer comparaciones, omitiendo los datos de los grupos de control o placebo, se denomina “comparación indirecta simplista”, genera sesgo y debería evitarse [8]. Para conservar la aleatorización dentro de cada ensayo, se deben comparar los efectos relativos del tratamiento (ej.: comparar la razón de probabilidades de B versus A de los estudios clinicos AB, con la razón de probabilidades de C versus A de los estudios clinicos AC). La segunda red de la Figura 1 permitiría una ITC de intervenciones B, C, D y E, ancladas al comparador común A. Como estas intervenciones están todas conectadas en la red (es decir, cada par tiene un camino que va de uno al otro), se pueden realizar comparaciones indirectas para C versus B, D versus B, E versus B, D versus C, E versus C y E versus D. Un ejemplo de esta red "en forma de estrella” es una comparación reciente de los tratamientos de biofosfonato para la osteoporosis, en el cual se estudiaron cuatro intervenciones competitivas en estudios clinicos controlados por placebo [16]. Para algunas de las intervenciones había múltiples Redes de evidencia VALUE IN HEALTH 14(2011)417–428 Bucles cerrados en la red: combinación de evidencia directa e indirecta Métodos de análisis y síntesis Definiciones Comparación indirecta anclada de tratamiento Comparación mixta de tratamientos (o ITC ‘ajustado’) Meta-análisis en red (>2 estudios en la red) Enfoque por pasos (múltiples meta-análisis secuenciales, seguidos por la comparación indirecta de resultados en pares agrupados) Síntesis de evidencia simultánea de todas las comparaciones en pares en todo el rango de intervenciones Modelos sin covariables Interacciones de las covariables de tratamiento* en modelos de meta-regresión para mejorar las suposiciones de similitud/consistencia y explicar la heterogeneidad de todas las comparaciones en pares en todo el rango de intervenciones Encuadre frecuentista Encuadre Bayesiano (interpretación probabilística de incertidumbre y calificación de intervenciones) Fig. 1 – Meta-análisis en red de los RCT para realizar comparaciones de tratamientos múltiples estudios clinicos controlados por placebo, y el análisis se puede denominar un meta-análisis en red. Otro ejemplo es la ITC de stents intracoronarios liberadores de fármacos, de Biondi-Zoccai et al. [17]. En la tercera red, no todos los estudios clinicos tienen un comparador común, pero todas las intervenciones están conectadas. Las intervenciones adicionales F y G están conectadas con A, B, C, D y E por los estudios clinicos EF y FG, y es posible realizar una comparación indirecta de cada intervención con cualquier otra (aunque las comparaciones con caminos más largos tendrán menos precisión) [9]. Un ejemplo es el meta-análisis en red del tratamiento antifúngico para las infecciones fúngicas sistémicas confirmadas [18]. La estructura de la cuarta red está compuesta por las intervenciones A, B y C (como en la primera red), pero ahora los datos de los RCT simultáneos están disponibles para cada comparación; La red de evidencia está compuesta por los estudios clinicos AB, los estudios clinicos AC y los estudios clinicos BC. Una característica importante de esta red es el "bucle cerrado": cada comparación tiene evidencia directa e indirecta. Por ejemplo, la comparación BC tiene evidencia directa de los estudios clinicos BC y evidencia indirecta de los estudios clinicos AB y AC (y de modo similar para las comparaciones AB y AC). Una red en la que algunas de las comparaciones por pares tienen evidencia directa e indirecta se denomina una MTC [3,9]. Un ejemplo reciente de una MTC que compara tres intervenciones, es el estudio de Stettler et al. [19] acerca de los stents liberadores de fármacos y de metal sin recubrir. La quinta red también implica una MTC para las intervenciones A, B y C, pero las intervenciones A, C, E y F forman otro bucle más largo. Para las redes que contienen bucles, es importante que las comparaciones indirectas sean consistentes con las comparaciones directas, tal como se debatirá en la siguiente sección [9,20,21]. Los ejemplos recientes de meta-análisis en red con bucles incluyen al meta-análisis en red de tratamientos anti-hipertensivos de primera línea, de Psaty et al. [22], el estudio de la prevención de accidentes cerebro-vasculares en pacientes con fibrilación auricular, de Cooper et al. [23], un meta-análisis en red de opiáceos para el dolor en casos de recaída de cáncer, de Vissers et al. [24], y el meta-análisis en red de nuevos antidepresivos para la depresión general, de Cipriani et al. [25]. Salanti et al. [26] brindan un nuevo panorama de las diferentes estructuras en red de algunos de los estudios publicados recientemente. Independientemente de cuál sea la estructura de la red, las comparaciones por pares, ya sean directas, indirectas o ambas, se pueden hacer entre intervenciones que están conectadas. Los términos ITC, MTC y meta-análisis en red a veces se utilizan indistintamente. Proponemos utilizar el meta-análisis en red cuando la base de la evidencia está compuesta por más de dos RCT que conectan dos o a más intervenciones. Si la red está compuesta por al menos un bucle cerrado, es correcto etiquetar al análisis como una MTC. Cualquier análisis de una red de bucle abierto se puede denominar ITC. En el resto de este documento, utilizamos el término meta-análisis en red para referirnos a la síntesis de una red de estudios clinicos y utilizamos sólo explícitamente ITC o MTC cuando esto facilita la explicación y debate de conceptos y supuestos. VALUE IN HEALTH 14(2011)417–428 Síntesis de la evidencia Supuestos Dada una red de intervenciones y RCT que las comparan, el objetivo del análisis es sintetizar los resultados de los RCT individuales, obteniendo así cálculos agrupados de los efectos relativos del tratamiento para comparaciones por pares. Si bien los comparadores compartidos por los RCT forman la base de la red, la pregunta clave es si los estudios clinicos en la red son lo suficientemente similares como para arrojar resultados significativos para la ITC y la MTC. Un meta-análisis tradicional combina los resultados de varios RCT que compararon las mismas intervenciones, como por ejemplo A y B, para obtener un cálculo general del efecto relativo (ej.: razón de probabilidades, riesgo relativo o diferencia en los cambios respecto del inicial) y un cálculo correspondiente de incertidumbre. Es importante darse cuenta de que la aleatorización se sostiene dentro de cada RCT de A y B, pero no entre los RCT. Por lo que, los estudios clinicos pueden diferir en las características del estudio y los pacientes. Si estas características son modificadoras del efecto relativo del tratamiento de B versus A, entonces se dice que los estudios son heterogéneos. De modo similar, en un meta-análisis en red de RCT que implican comparaciones de tratamientos múltiples, la aleatorización se sostiene sólo dentro de los estudios clinicos individuales. Los efectos relativos del tratamiento para una comparación por pares puede exhibir heterogeneidad. Además, si los estudios clinicos difieren entre las comparaciones directas (ej.: los estudios clinicos AB difieren de los estudios clinicos AC) y estas diferencias son modificadoras de los efectos relativos del tratamiento, entonces la estimación de la comparación indirecta está sesgada [8,15,21,27]. Algunos ejemplos de modificadores de efecto son las características de los pacientes, el modo en el que se definen y/o miden los resultados, los requisitos del protocolo como el cotratamiento permitido, y la duración del seguimiento. En otras palabras, si la distribución de interacciones entre efectos relativos del tratamiento y covariables no es equilibrada entre los estudios clinicos que comparan distintos grupos de intervenciones, se viola el supuesto de similitud de una ITC y los factores de confusión sesgan el análisis [15,21]. La figura 2 ilustra las comparaciones implicadas en el supuesto de similitud de un ITC. Si los estudios clinicos AB y los estudios clinicos AC son comparables respecto de sus modificadores de efectos, entonces se puede obtener una estimación indirecta para el efecto relativo de C versus B (dBC, que puede ser una diferencia en los datos distribuidos normalmente, o un logaritmo de la razón de probabilidades [OR], o un logaritmo de la razón de riesgos o riesgo relativo, etc.) a partir de las estimaciones del efecto de B versus A (dAB) y el efecto de C versus A (dAC): dBC=dAC_dAB. En resumen, esto implica que se obtiene el mismo dBC que el que se hubiera estimado en un ensayo ABC de tres brazos [9]. Cuando la evidencia directa e indirecta se combina para realizar una estimacion particular por pares, es importante que dicha estimación indirecta no esté sesgada y que no haya discrepancia entre las comparaciones directa e indirecta [21,26,28,29]. Por lo tanto, la consistencia entre estas comparaciones directa e indirecta debería tenerse en cuenta. La Figura 3 ilustra los componentes implicados en un supuesto de consistencias. La red tiene evidencia directa e indirecta para cada comparación por pares de las intervenciones A, B y C. (Por ejemplo, se puede obtener dBC de los estudios clinicos BC, pero también indirectamente de los estudios clinicos AC y AB). Para obtener consistencia, es necesario cumplir con la siguiente ecuación: dBC= dAC - dAB [21,28]. Si hay un desequilibrio en los modificadores de los efectos relativos de tratamiento entre los estudios para una o más comparaciones, la suposición de consistencia puede no ser justificable. La consistencia sólo es válida a los bucles de evidencia. No se puede decir, por ejemplo, que la comparación AB es consistente con la comparación AC. Sólo podemos decir que las comparaciones AB, AC y BC son consistentes. Como un ejemplo simple de inconsistencia en una red ABC con un ensayo AB, un ensayo AC y un ensayo BC, vamos a suponer que el OR de la población (ignorando el error de muestreo) de respuesta con el tratamiento B relativo a A es 0.4 (ORAB = 0.4) y el OR con C versus A es 0.5 (ORAC = 0.5), entonces esperaríamos que el OR de C versus B Fig. 2 – Supuesto de similitud en una comparación indirecta de tratamiento. Los ensayos AB y los ensayos AC son comparables en lo que respecta a modificadores de efecto, y se puede obtener una estimación indirecta no sesgada para el efecto relativo de C versus B a partir de las estimaciones de efecto de B versus A y el efecto de C versus A. Fig. 3 – Supuesto de consistencia en una comparación mixta de tratamientos. Los ensayos AB, AC y BC son comparables en lo que respecta a modificadores de efecto, y para cada comparación en pares, las estimaciones directas e indirectas son comparables. _______________________________________________________ fuera ORBC=ORAC/ORAB=0.5/0.4=1.25. Hay una inconsistencia si el ensayo BC muestra ORBC ≠ 1.25 (por supuesto, en un análisis MTC real, siempre hay un error de muestreo y este tipo de evaluación estricta de consistencia en base a las estimaciones puntuales no es adecuado. Aquí se apunta a ilustrar el concepto de inconsistencia). En resumen, la heterogeneidad pertenece a la variación en el mismo efecto de tratamiento entre estudios, mientras que la inconsistencia de la evidencia es la discrepancia entre las comparaciones directas e indirectas. Análisis Para sintetizar los resultados de los diferentes RCT en la red y obtener las estimaciones relativas de efectos de todas las comparaciones posibles por pares, es necesario usar un método de análisis que conserve la aleatorización en los estudios clinicos y minimice el sesgo debido a la falta de aleatorización entre los estudios clinicos. En la Figura 1 se presenta una descripción general de los métodos de análisis y la misma se discute después con mayor detalle . Independientemente del método de análisis, la acumulación de resultados individuales de estudios y las comparaciones indirectas deben basarse en mediciones relativas de efectos (ej.: OR, diferencia en el cambio respecto del valor inicial, riesgos relativos) para conservar la aleatorización. Si la red no está compuesta por bucles, los resultados de los RTC disponibles para cada una de las comparaciones directas se pueden combinar utilizando meta-análisis múltiples tradicionales (ej.: un meta-análisis de los estudios clinicos AB y un meta-análisis de los estudios clinicos AC) seguido por una comparación indirecta de los resultados agrupados de cada uno de estos meta-análisis [7,11]. Si la red de intervenciones está compuesta por un bucle, entonces el método de análisis necesita combinar estimaciones de las VALUE IN HEALTH 14(2011)417–428 comparaciones directas con estimaciones de las comparaciones indirectas. En la red ABC en la cual, para cada una de las comparaciones por pares tenemos diversos RCT (red 4 en la Figura 1), el efecto relativo del tratamiento agrupado de la comparación CB a partir de los estudios clinicos BC debe combinarse con la estimación indirecta basada en los estudios clinicos AB y los estudios clinicos AC. Lo mismo se aplica a las comparaciones AB y AC. Es claro que cuanto más compleja sea la red, más oneroso y potencialmente más confuso será un enfoque de estas características. Como alternativa a un meta-análisis secuencial múltiple y las comparaciones indirectas, se puede definir un modelo estadístico que refleje las relaciones matemáticas entre las estimaciones relativas de efecto de las comparaciones directas e indirectas en la red completa [9]. Dada una red de comparaciones A, B y C, las estimaciones relativas de efecto se pueden expresar de las siguientes maneras: dBC = dAC - dAB (suponiendo que se sostienen supuestos de similitud/consistencia). Cuando esta expresión se generaliza a cualquier red con distintas intervenciones múltiples, se obtiene lo siguiente: dbk = dAk - dAb, siendo la k la intervención y la b el comparador. Dependiendo de la red, k puede ser la intervención B, C, D, E, etc. El comparador b puede ser A, B, C, D, etc, siempre y cuando k esté alfabéticamente luego de b. Esta expresión implica que cualquier estimación de una comparación particular por pares puede expresarse a través de las estimaciones relativas de efectos de la intervención y el comparador relativo a un tratamiento general de referencia A, siempre y cuando todas las intervenciones estén conectadas en una red. dAB,dAC, dAD, . . . ,dAk, se denominan parámetros básicos del modelo, que se estiman en base a los estudios disponibles. dBC, dBD,dCD,, y las sucesivas, son parámetros funcionales y se pueden calcular en base a las estimaciones (agrupadas) para los parámetros básicos [28]. Para una red que implique tratamientos K y tipos de comparaciones T, hay parámetros básicos K-1 y parámetros funcionales T - K + 1. Para resumir, un modelo de meta-análisis en red es una extensión de un modelo de meta-análisis tradicional que consiste de en varios parámetros K-1 que necesitan estimarse para permitir comparaciones mútliples por pares a través de un rango de intervenciones K. Este modelo de meta-análisis en red se aplica a redes con y sin bucles, es decir tanto ITC como MTC. El meta-análisis en red se puede realizar con modelos de efectos fijos y aleatorios. Con un modelo de efectos fijos, se supone que no hay variación en los efectos relativos del tratamiento entre estudios para una comparación particular por pares [15,30]. Las diferencias observadas para una comparación particular entre los resultados del estudio se deben pura y exclusivamente al azar. Para cualquier comparación de tratamiento en un modelo de efectos fijos, surge la siguiente pregunta: “¿Cuál es el verdadero efecto del tratamiento?” [2]. No obstante, si hay heterogeneidad (variación en los efectos verdaderos o subyacentesdel tratamiento para una comparación particular por pares) es necesario utilizar un modelo de efectos aleatorios. Un enfoque de efectos aleatorios generalmente supone que los verdaderos efectos relativos entre estudios se consideran intercambiables es decir, la posición anterior de los efectos subyacentes esperados es similar pero no idéntica y puede describirse como una muestra de una distribución normal cuyo media es el efecto relativo agrupado y cuya desviación estandar refleja la heterogeneidad [2,30–33]. Se podría argumentar que con un modelo de efectos aleatorios, la pregunta a hacer es “¿Cuál es el promedio de los verdaderos efectos del tratamiento y qué tanto varían estos efectos entre estudios clinicos?” [2]. Con un modelo de efectos aleatorios para un meta-análisis en red, a menudo se supone que la varianza que refleja la heterogeneidad es constante para todas las comparaciones por pares [9]. Si bien un modelo de efectos aleatorios modela explícitamente la heterogeneidad, no explica la heterogeneidad. Extender los metaanálisis en red con interacciones de tratamiento por covariables apunta a explicar la heterogeneidad en los efectos relativos del tratamiento y estima los efectos relativos del tratamiento para los distintos niveles de la covariable. Tal como se indicó anteriomente, el meta-análisis en red será sesgado si hay diferencias en las covariables entre esos estudios que se comparan indirectamente y que actúan como modificadores del efecto relativo del tratamiento [15,21,27]. Esto implica que, al tomar en cuenta estas covariables con las interacciones de covariable por tratamiento en un modelo de meta-regresión (es decir, un modelo que incluye covariables al nivel del estudio), el impacto del sesgo debido a las violaciones de similitud y/o consistencia se pueden reducir [21]. Las covariables que varían entre los estudios pero que no son modificadores de efectos no necesitan tomarse en cuenta en un modelo de meta-regresión. Lamentablemente, la cantidad de estudios en una red a menudo es limitada y, en estos casos, el ajuste realizado a través de la incorporación de covariables al nivel del estudio con modelos de meta-regresión a veces puede ser cuestionable [15,34]. Además, el ajuste de covariables al nivel general puede producir un sesgo ecológico, limitando la interpretación de resultados estimados para subgrupos [34–36]. En contraste, los meta-análisis en red al nivel del paciente, generalmente tienen el poder suficiente como para estimar modelos de meta-regresión., reduciendo así la inconsistencia y brindando la oportunidad de explorar diferencias en efectos entre subgrupos. No obstante, se puede considerar irreal obtener datos al nivel del paciente para todos los RCT en la red. Como alternativa, se podrían usar datos al nivel del paciente cuando no hay disponibles datos al nivel general para los estudios en la red, mejorando así la estimación de parámetros por sobre los modelos que usan sólo datos generales. Dado que con con un modelo de efectos aleatorios, los efectos del tratamiento específicos del estudio se modelan explícitamente, un modelo de efectos aleatorios “ajusta” mejor los datos que un modelo de efectos fijos. De modo similar, al extender un modelo de efectos fijos o uno de efectos aleatorios a través de la incorporación de términos de interacción del tratamiento por covariable, también se puede mejorar el ajuste del modelo. No obstante, dado un cierto conjunto de datos, cuantos más parámetros necesiten estimarse, más inciertas serán las estimaciones de estos parámetros. Por ende, el objetivo es usar un modelo que ajuste los datos suficientemente y que reduzca el sesgo de confusión; pero que a la vez brinde estimaciones estables de los parámetros. La elección de un modelo de meta-análisis de efectos fijos (o aleatorios) con o sin interacciones de covariables, se puede efectuar comparando distintos modelos competitivos y evaluando la bondad del ajuste de los datos. La bondad del ajuste se puede estimar calculando la diferencia entre el alejamiento del modelo ajustado y el alejamiento del modelo saturado (que ajusta los datos a la perfección). Por ejemplo, el criterio de información Akaike, que utiliza la función de verosimilitud, el criterio de información Bayesiano, o el criterio de información de alejamiento pueden utilizarse para la selección de un modelo [37–39]. El meta-análisis en red se puede realizar con un enfoque frecuentista o Bayesiano. Con una aproximación frecuentista, el resultado del análisis es una estimación puntual con un intervalo de confianza (IC) del 95%. El IC del 95%, sometido a muestreo repetido, contendría el verdadero parámetro de la población el 95% de las veces. Cabe destacar que los IC obtenidos con un enfoque frecuentista no se pueden interpretar en términos de probabilidades; el IC del 95% no significa que existe un 95% de probabilidad que el valor “verdadero” o de la población esté entre los límites del intervalo [40]. Los métodos Bayesianos implican una combinación formal de una distribución de probabilidad previa, que refleja una creencia previa de los valores posibles del parámetro del modelo de interés, con una distribución de verosimilitud de estos parámetros basada en los datos observados, para obtener una distribución de verosimilitud posterior correspondiente [41]. La verosimilitud nos informa acerca del punto hasta el cual los distintos valores para el parámetro de interés son apoyados por los datos [42]. La distribución posterior, tal como se obtiene con un enfoque Bayesiano, se puede interpretar en términos de probabilidades (ej.: “Hay un x% de probabilidad de que el tratamiento A dé como resultado una mejor respuesta que el tratamiento B”). Esto difiere de la interpretación de los hallazgos dentro de un enfoque frecuentista convencional. Para no influenciar los resultados observados con una distribución previa, una crítica que a menudo recibe el enfoque Bayesiano, es que se puede utilizar una distribución previa no informativa para el/los parámetro/s de efectos del tratamiento. Con una distribución previa “plana” como ésta, se supone que, antes de ver los datos, cualquier valor del VALUE IN HEALTH 14(2011)417–428 parámetro es “igualmente” probable. Como consecuencia de esto, los resultados posteriores no son influenciados por la distribución previa, sino que son guiados por los datos, como en un metaanálisis frecuentista convencional. Una gran ventaja del enfoque Bayesiano es que el método lleva naturalmente a un marco de decisión que apoya la toma de decisiones [41–43]. En el caso de un meta-análisis en red, una ventaja específica es que la distribución posterior de probabilidad permite calcular la probabilidad de cuál de las intervenciones competitivas es la mejor y otros enunciados de probabilidad [40]. Este aspecto de un análisis Bayesiano brinda información que es directamente relevante para los encargados de la toma de decisiones, encargados de elaboración de políticas y los profesionales de la salud/clínicos. No obstante, y tal como se tratará más adelante, existe un riesgo de sobre-interpretar esta probabilidad. Otras ventajas de un meta-análisis Bayesiano incluyen la forma directa de realizar predicciones y la posibilidad de incorporar distintas fuentes de incertidumbre [41,42]. Cómo revisar e interpretar críticamente un metaanálisis en red Para ayudar a los encargados de la toma de decisiones a utilizar los descubrimientos de los meta-análisis en red, en esta sección describimos cómo revisar e interpretar críticamente dichos estudios. La importancia de evaluar correctamente los resultados de los meta-análisis en red no puede sobrevalorarse porque estos restultados tienen la intención de informar las opciones de efectividad comparativa y es probable que tengan implicanciones para la cobertura. Por lo tanto, es fundamental comprender la validez de estos estudios. En la sección siguiente, revisamos someramente los problemas relacionados con la validez interna y externa de los meta-análisis en red. Suministramos una lista de ítems que recomendamos informar para que un meta-análisis en red permita la evaluación e interpretación correcta de los hallazgos a informar para la toma de decisiones. Validez interna y externa Los encargados de la toma de decisiones que utilizan los resultados de los meta-análisis en red necesitarán evaluar si las diferencias entre los tratamientos son probablemente ciertas o si pueden explicarse a causa del sesgo en el análisis. La validez interna de los análisis depende de tres factores: 1) la identificación correcta de los estudios que conforman la red de evidencia, 2) la calidad de los RCT individuales, y 3) el grado de sesgo debido a los factores de confusión a causa de las violaciones de similaridad y consistencia. Deben utilizarse métodos adecuados de búsqueda y selección de RCT relevantes, aunque la delimitación de lo que constituye una red de evidencia es un tema de investigación actual [44,45]. No obstante, aun con métodos rigurosos y amplios de búsqueda bibliográfica, es preciso evaluar el nivel de sesgo de las publicaciones. Ya se sabe ampliamente que los estudios clinicos negativos o pequeños tienen menos probabilidades de ser publicados, por lo cual la red de evidencia puede limitarse consecuentemente [46]. Además, en una red de RCT, las comparaciones específicas pueden superar considerablemente a las intervenciones menos comparadas, lo cual genera redes asimétricas [26]. La validez de un meta-análisis en red también dependerá de la validez interna de los RCT individuales incluidos en la red de evidencia. La inclusión de estudios clinicos de mala calidad puede resultar un problema. La aleatorización no garantiza que un RCT no sea sesgado [8,47,48]. Puede haber ausencia de enmascaramiento adecuado de la asignación de un tratamiento; los pacientes pueden ser excluidos luego de la aleatorización, lo cual genera un desequilibrio entre los grupos; o una falta en el cegamiento del resultado que puede sobreestimar el efecto del tratamiento [49]. Por lo tanto, es necesario evaluar el sesgo de cada RCT incluido en un meta-análisis en red. Luego de solucionar los problemas que amenazan a la validez interna asociada con el desarrollo de la red de evidencia, la similitud entre los estudios clinicos incluidos también será determinante para la validez interna de los análisis. Los estudios pueden diferir en lo que respecta a las características de los pacientes, el modo en el cual se miden o definen los resultados, los requisitos del protocolo, incluyendo las intervenciones concomitantes permitidas, la duración del seguimiento y también la pérdida diferencial del seguimiento, y el período de tiempo durante el cual se realizan los estudios [14]. Tal como se describió anteriormente, un meta-análisis en red resulta afectado por el sesgo de confusión si hay diferencias entre los estudios clinicos que son comparados indirectamente respecto de los modificadores de efecto relativo del tratamiento. Este sesgo puede ser reducido ajustando por estas diferencias a través de la incorporación de interacciones entre las covariables y el tratamiento en los modelos estadísticos utilizados. Sin embargo, sólo se puede juzgar la similitud de los estudios clinicos y potencialmente adaptarse al sesgo respecto de las covariables al nivel del estudio que se miden. Por lo que es preciso evaluar las diferencias en los riesgos iniciales y las respuestas al placebo entre estudios clinicos, ya que éstas pueden reflejar diferencias importantes adicionales en las características del estudio o los pacientes entre estudios. La validez externa de los meta-análisis en red naturalmente estará limitada por la validez externa de los RCT incluidos en la red de evidencia, y los encargados de la toma de decisiones para el cuidado de la salud deberán analizar si los resultados pueden extrapolarse a la población de interés. Es importante recordar que el registro de los ensayos clinicos con fines regulatorios tienen más probabilidades de incluir a poblaciones selectivas homogéneas, lo cual compromete la validez externa [50,51]. Desde una perspectiva de la toma de decisiones, un cierto grado de variación en las poblaciones de pacientes puede ser algo beneficioso para las evaluaciones comparativas y de costo-efectividad, si esto refleja la práctica real. Por ende, cierta heterogeneidad entre estudios clinicos en la red de evidencia posiblemente podría aumentar la validez externa, siempre y cuando la heterogeneidad dentro de las comparaciones directas sea mayor que la variación de los modificadores de efecto entre estudios que son comparados indirectamente, para evitar violaciones a la similaridad tanto como sea posible. Si bien no conocemos ningún meta-análisis en red que evalúe esto explícitamente, un enfoque posible es a través de un análisis de varianza interno entre comparaciones directas de efectos relativos del tratamiento Informe En la Tabla 1, presentamos una lista de verificación simplificada de los temas que deben incluirse en un informe de un meta-análisis en red, para permitir que los encargados de la toma de decisiones en materia de salud interpreten los hallazgos sobre los resultados en salud comparativos. La lista de verificación no es exhaustiva sino que su objetivo es servir como guía general. Debe tenerse precaución cuando se utiliza esta lista para juzgar la calidad de las publicaciones de meta-análisis en red, porque esta lista se enfoca en informar sobre la calidad de los reportes y no captura los ítems explícitos para juzgar o calificar la validez interna y externa de un meta-análisis en red. En la sección de introducción, una declaración clara de los objetivos debe describir cuál es el problema de decisión, con un enfoque específico sobre la población de pacientes y las intervenciones competitivas de interés. Los tratamientos que serán comparados en el meta-análisis en red pueden limitarse a todos los fármacos de un cierto tipo, pero también pueden incluir fármacos competitivas de distintos tipos y, en algunos casos, otras intervenciones médicas. Independientemente de cuál sea el alcance de las intervenciones, se debe incluir una justificación clara de la elección. En la sección de métodos, se debe describir el desarrollo de la red de evidencia y debe seguir los procedimientos de revisión sistemática, que incluyan una estrategia explícita de búsqueda en una diversidad de bases de datos y los criteriors previamente especificados de inclusión y exclusión para el proceso de selección del estudio. Se recomienda tener un protocolo para describir estos elementos, y también para pre-especificar los desenlaces a analizar, evitando así el sesgo en la selección del desenlace [53]. Se deben utilizar métodos rigurosos de extracción de datos, y los autores deben indicar si se realizó una extracción doble de datos, de qué VALUE IN HEALTH 14(2011)417–428 Tabla 1 – lista de verificación simplificada para ayudar a los encargados de la toma de decisiones a evaluar un meta-análisis en red informado Sección del informe Introducción Ítem de la lista de verificación Qué buscar en el documento La justificación del estudio y los objetivos del estudio, ¿están enunciados claramente? Una justificación clara de la revisión Un objetivo claro o pregunta de investigación que pertenezca al metaanálisis en red ¿La sección de métodos incluye lo siguiente? Descripción de criterios de elegibilidad Fuentes de información Estrategia de búsqueda Proceso de selección del estudio Extracción de datos (validez/ evaluación de calidad de los estudios individuales) ¿Se describen las medidas de resultados? ¿Hay una descripción de los métodos de análisis/ síntesis de la evidencia? Los métodos descriptos, ¿incluyen lo siguiente? Descripción de métodos/modelos de análisis Manipulación del potencial sesgo/inconsistencia Encuadre de análisis Una revisión sistemática de la bibliografía conforme a las pautas del Centro de Revisiones y Diseminación (CRD) y a PRISMA [52, 54, 55] Métodos ¿Se presentan análisis de sensibilidad? Resultados Los resultados, ¿incluyen un resumen de los estudios incluidos en la red de evidencia? ¿Datos individuales del estudio? ¿Red de estudios? El estudio, ¿describe una evaluación del ajuste del modelo? ¿Se comparan modelos competitivos? Los resultados de la síntesis de la evidencia (ITC/MTC), ¿se presentan con claridad? Análisis de sensibilidad/escenario Debate El debate, ¿incluye lo siguiente? Descripción/resumen de los descubrimientos principales Validez interna del análisis Validez externa Implicancias de los resultados para la audiencia objetivo forma se resolvieron los desacuerdos y cómo se manipularon los datos faltantes. Estos métodos han sido descritos detalladamente en otro lugar (Manual del Centro de Revisiones y Diseminación) y deben informarse siguiendo la declaración PRISMA [54,55]. La sección de análisis de datos debe brindar una descripción amplia de los métodos estadísticos usados, incluyendo la justificación de la elección de desenlaces y puntos finales de valoración, estimadores de efectos relativos, y la elección de modelos de efectos fijos o aleatorios. Los autores también deben especificar si los modelos fueron ampliados con covariables al nivel del estudio para mejorar la similaridad y reducir la inconsistencia. Justificación de las medidas de resultados elegidas para el análisis Descripción y justificación de los modelos estadísticos usados: metaanálisis múltiple de comparaciones en pares versus modelos de metaanálisis en red: modelos de efectos fijos versus aleatorios; modelos sin o con convariables (interacciones) Descripción de si los análisis se realizaron con un enfoque frecuentista o Bayesiano Descripción acerca de cómo el potencial sesgo/inconsistencia fue evaluado (ya sea de manera cualitativa o cuantitativa, es decir, comparación de evidencia directa con la evidencia indirecta). Si se usan modelos de meta-regresión, justificación de la selección de covariables en los modelos Descripción de estimaciones de efectos relativos utilizadas para la presentación de descubrimientos (ej: razón de posibilidades, riesgo relativo, razón de peligros, diferencia en el cambio a partir del punto de referencia inicial) Descripción acerca de si las mediciones de efectos relativos fueron transformadas en resultados esperados (absolutos) (ej.: proporción de encuestados) Justificación y descripción de los análisis de sensibilidad Estudios incluidos Distribuciones previas para los parámetros del modelo en el encuadre Bayesiano Descripción de resultados de la identificación del estudio y el proceso de selección Tabla/lista de estudios con información acerca del diseño del estudio y las características de los pacientes (que podrían actuar como modificadores de efectos); estos son importantes para juzgar los problemas potenciales de similitud/consistencia Figura de red de estudios Tabla con datos brutos por estudio y tratamiento, según se utilizan para el análisis/modelo. (Opcionalmente se pueden presentar los efectos relativos de las comparaciones directas disponibles de cada estudio) Justificación de los resultados del modelo Tabla/figura con resultados de las comparaciones en pares según se obtienen con los análisis; estimaciones puntuales y medición de la incertidumbre (IC del 95%) Si es un encuadre Bayesiano, probabilidad de reflejar la incertidumbre de la decisión (es decir, la probabilidad de cuál tratamiento es mejor si se comparan tratamientos múltiples y la probabilidad de que un tratamiento sea mejor que el comparador) Descripción de (distintos) descubrimientos con en análisis de sensibilidad/escenario Resumen de los descubrimientos Validez interna (ensayos individuales, sesgo de las publicaciones, diferencias entre ensayos que pudieran violar los supuestos de similitud y consistencia) Debate acerca de la capacidad de generalización de los descubrimientos (dada una población de pacientes dentro y entre ensayos de la red) Interpretación de resultados desde una perspectiva biológica y clínica Si los análisis fueron realizados dentro de un enfoque Bayesiano, debe definirse la elección de distribuciones previas para los parámetros del modelo. Debe informarse una descripción de los distintos análisis de sensibilidad pertenecientes a los estudios incluidos en las redes y distribuciones previas (si corresponde). No es una exigencia del Grupo de Trabajo ser normativos en lo que respecta a recomendar elementos a informar en la sección de resultados. No obstante recomendamos que, como mínimo, se informen los elementos en la siguiente sección para que los usuarios de un meta-análisis en red puedan juzgar la validez interna de los análisisinformadas de los mismos. Una representación gráfica de la red de evidencia con etiquetas de los VALUE IN HEALTH 14(2011)417–428 distintos RTC puede ser útil y a la vez mejorar la transparencia de los análisis. Se deben informar las estimaciones puntuales y las correspondientes medidas de incertidumbre para cada grupo de tratamiento / ensayo individual. Si bien el meta-análisis en red usa las mediciones de efectos relativos de los distintos estudios clinicos, los resultados por grupo de tratamiento para los estudios individuales suministran información muy importante. Tal como se ilustra en el ejemplo de la Tabla 2 (basada en Cipriani et al. [25]), esto facilita la comprensión de la red y brinda una comparación de los resultados comunes de referencia del tratamiento (o placebo) lo cual a la vez ayuda a evaluar las diferencias clave entre los estudios clinicos. Presentar los efectos relativos del tratamiento para cada uno de los RCT en una tabla o figura, como un gráfico de efectos, también es útil y permite comparar los resultados agrupados del meta-análisis en red y los resultados individuales del estudio. En la sección del informe en la cual se presentan los resultados del meta-análisis en red, se deben comparar los modelos competitivos en términos de su bondad de ajuste a los datos, y se pueden suministrar los cálculos de desviación residual para justificar la opción del modelo de caso base del estudio. Como mínimo, se deben informar las estimaciones de los efectos relativos del tratamiento (ej.: OR, Hazard ratios, diferencias en las medias) junto con un IC del 95% o intervalos creíbles (dependiendo del marco del análisis) comparadas con un tratamiento común de referencia o ancla (Tabla 3). Para apreciar el valor de un metaanálisis en red, se recomienda presentar también los resultados de todas las comparaciones relevantes por pares,como reflejo de los parámetros funcionales (Tabla 4). Los diagramas de efecto pueden ser muy informativos para presentar las comparaciones por pares, tal como lo ilustró Vissers et al. [24]. (Comentarios: si bien los datos de Cipriani et al. [25] fueron utilizados para ilustrar de qué manera se pueden presentar los datos fuente y los resultados de un meta-análisis en red, queremos destacar que el uso de estos datos no implica que el Grupo de Trabajo de ISPOR patrocine dichos hallazgos). A veces puede ser útil para los encargados de la toma de decisiones informar las estimaciones del efecto relativo de un tratamiento en una escala diferente de la utilizada para el análisis del modelo. Por ejemplo, puede ser útil informar los resultados de un meta-análisis en red realizado sobre un OR como riesgos relativos, diferencias absolutas de riesgos, y números necesarios para tratar. Estas estimaciones dependerán de la probabilidad estimada de respuesta para el tratamiento de referencia. Los análisis que usan el paquete de software estadístico (Bayesiano) WinBUGS facilitan la derivación de estimaciones de efectos relativos del tratamiento en distintas escalas [56]. Si los análisis se efectúan dentro de un enfoque Bayesiano, la incertidumbre en las estimaciones de efectos relativos puede traducirse a probabilidades de incertidumbre de la decisión. Por ejemplo, el OR junto con intervalos creíbles del 95% para cada una de las intervenciones relativas a un ancla común, permite calcular la probabilidad de que cada tratamiento sea el más eficaz entre todos los tratamientos comparados. Por ejemplo, en la Tabla 3 hay un 39,2% de probabilidad de que el escitalopram muestre la mayor aceptación,es decir, el menor índice de abandono entre 12 antidepresivos comparados (antes de considerar la evidencia disponible, cada tratamiento debe tener un cambio a priori de 100%/12 = 8.3%). Si bien esto ilustra una ventaja importante del uso del enfoque Bayesiano, debe tenerse cuidado cuando se suministra sólo la probabilidad de que un tratamiento sea el mejor o sea calificado como el primero. Esto porque la información de la dispersión de rangos de calificación de un tratamiento también es importante. Por ejemplo, un tratamiento para el cual hay pocos datos de estudios clinicos y, consecuentemente, un IC amplio, podría tener una probabilidad de aproximadamente el 50% de ser el mejor tratamiento, pero también podría tener una probabilidad del 50% de ser el peor tratamiento. Por lo que también es útil calcular la calificación esperada de eficacia para todos los tratamientos en base a las probabilidades de todas las calificaciones de tratamientos, es decir, la probabilidad de ser el mejor, el segundo mejor, y así sucesivamente, tal como se ilustra en la Tabla 3 [25]. Además de las estimaciones de efectos relativos de tratamientos, puede ser útil informar las estimaciones de la probabilidad absoluta de resultados para los resultados binarios. Esto requerirá de una estimación de probabilidad de referencia para el tratamiento base de comparación. Esto puede derivarse de los datos del ensayo u otras fuentes y puede estar sujeta a análisis de sensibilidad. El método utilizado para estimar la probabilidad de referencia debe enunciarse claramente. En la Tabla 3, informamos el índice esperado de abandono en base a los resultados del meta-análisis en red a cargo de Cipriani et al. En combinación con el índice de abandono de fluoxetina como referencia. La sección de debate de un informe debe presentar una evaluación crítica de los resultados con respecto a la validez interna y externa. Los autores deben suministrar un debate razonado de los supuestos de similaridad y consistencia, y si puede suponerse que estos se mantienen en el análisis en cuestión. El debate también debe indicar si los resultados del meta-análisis en red se alinean con las expectativas en base a los meta-análisis previos y otra evidencia observacional disponible [57]. Además, se recomienda brindar una explicación de las diferencias entre las intervenciones comparadas, desde la perspectiva biológica y también clínica. Además de la adecuación de los resultados, debe tratarse el tema de la relevancia de los descubrimientos para la toma de decisiones reales en los ámbitos clínico y de reembolso. Interpretación de los hallazgos Luego de evaluar la validez y los resultados de un meta-análisis en red, los encargados de la toma de decisiones deberán considerar detalladamente si los hallazgos pueden aplicarse a sus problemas de decisión. ¿Es acaso un tratamiento mejor que otro y estos resultados se aplican a la población de interés para el encargado de la toma de decisiones? Frecuentemente, una pequeña cantidad de estudios en un metaanálisis en red limita la posibilidad de ajustarse al posible sesgo debido a los problemas de similaridad, a través de técnicas estadísticas. En vez de ignorar inmediatamente los resultados del análisis argumentando que los estudios clinicos no son comparables, el encargado de la toma de decisiones debe intentar hipotetizar la dirección posible del sesgo en las estimaciones indirectas. Una pregunta importante para hacer es: ¿qué tan diferente sería una comparación indirecta no sesgada? y ¿acaso esto conduciría a una conclusión y una decisión diferentes? Un problema a considerar es si un tratamiento puede considerarse más efectivo que otro cuando sólo se ha analizado una pequeña cantidad de resultados. La selección de los resultados analizados debe justificarse claramente al inicio del análisis (por ejemplo, ¿reflejan los resultados principales usados en los estudios clínicos?). Se debe intentar sintetizar los resultados de múltiples meta-análisis en red. ¿Cómo interpretamos situaciones en las que el fármaco A es mejor en una cierta cantidad de resultados clínicos pero no en todos estos resultados? ¿Cómo se toma una decisión en estos casos? Un enfoque posible es ponderar los distintos criterios en base a la importancia relativa conforme al encargado de la toma de decisiones, y calcular las probabilidades de cuál tratamiento es mejor, tomando en cuenta estas ponderaciones [58]. Estos no son problemas específicos de un meta-análisis en red. De hecho, el desarrollo de mediciones tales como el año de vida ajustado por calidad (AVAC) han sido propiciadas por la necesidad de comparar resultados de salud dispersos utilizando una métrica común a través de los modelos de decisión. No obstante, es un problema a tener en cuenta también cuando se interpretan metaanálisis en red. Además, la identificación del “mejor” tratamiento o el más adecuado no puede hacerse en base a los criterios de eficacia únicamente. Para brindar información a la toma de decisiones en materia de salud respecto de pautas de tratamiento clínico y políticas de reembolso, los hallazgos de eficacia de un metaanálisis en red deben interpretarse a la luz de otra evidencia disponible (observacional) y otras características de las intervenciones competitivas, como seguridad y conveniencia. VALUE IN HEALTH 14(2011)417–428 Tabla 2 – Tabla que muestra cómo se pueden presentar los datos fuente tal como se usan en un meta-análisis en red – Nueva generación de antidepresivos para depresión general, abandonos. Estudio Para ver el conjunto completo de datos, consulte Cipriani et al., 2009. R, abandonos; n, número de pacientes. Reimpreso de The Lancet, 373 (9665), Cipriano A, Furukawa TA, Salanti G, Geddes JR, Higgins, JP, Churchill R, Watanabe N, Nakagawa A, Omori IM, McGuire H, Tansella M, Barbui C, Eficacia y aceptabilidad comparativas de 12 antidepresivos de nueva generación: meta-análisis de tratamientos múltiples, 746-58, 2009, con el permiso de Elsevier. VALUE IN HEALTH 14(2011)417–428 Tabla 3– Tabla que muestra cómo se pueden presentar los resultados de un meta-análisis en red. Razón de posibilidades de aceptabilidad* Intervalo creíble del 95% Abandono estimado, % Intervalo creíble del 95% Probabilidad de estar entre los 4 mejores tratamientos, % Probabilidad ser el mejor de todos los comparados, % Puesto Efecto relativo de cada uno de los tratamientos en relación con el comparador de referencia expresado como razones de posibilidades (con intervalos creíbles del 95%), resultado esperado (con intervalos creíbles del 95%) y la probabilidad como medida de incertidumbre de la decisión; nueva generación de antidepresivos para la depresión general, aceptabilidad (abandonos). Basado en Cipriani et al. [25] Reimpreso de The Lancet, 373 (9665), Cipriano A, Furukawa TA, Salanti G, Geddes JR, Higgins, JP, Churchill R, Watanabe N, Nakagawa A, Omori IM, McGuire H, Tansella M, Barbui C, Eficacia y aceptabilidad comparativas de 12 antidepresivos de nueva generación: meta-análisis de tratamientos múltiples, 746-58, 2009, con el permiso de Elsevier. * Razón de posibilidades < 1 favorece a fluoxetine; la razón de posibilidades refleja las razones de aceptabilidad (es decir, los que no abandonan) El abandono de referencia se bajó en meta-análisis de efectos fijos de grupos de fluoxetine de todos los ensayos. Informado por Cipriani et al. [25] El desarrollo general de métodos de síntesis de la evidencia para brindar evidencia sistemática exhaustiva sobre la cual basar las decisiones, tiene un lugar natural en los modelos de decisión integrales que incluyen costos y efectos, y que ciertos organismos como el NICE [5,59– 61] usan para determinar el costo-efectividad de las intervenciones. El meta-análisis en red representa un conjunto valioso de herramientas analíticas que informan la evidencia clínica en los análisis de costo-efectividad. La toma de decisiones comparaciones directas tratamientos de RCT sin considerar e indirectas las de Los estudios clinicos pragmáticos, aleatorizados, naturalistas y simultáneos son, posiblemente, el estándar de referencia para obtener estimaciones de efectividad comparativa, debido a su alta validez interna y externa [62]. Sin embargo, estos estudios clinicos tardan mucho en finalizarse y nunca pueden brindar información de efectividad relativa para todas las intervenciones competitivas, especialmente cuando se desarrollan nuevos tratamientos continuamente. Por ende, debe considerarse a la ITC o metaanálisis en red como una alternativa útil y realista. Para minimizar el sesgo, un meta-análisis en red requiere de evidencia de RCT. No obstante, la evidencia de los RCT puede no estar disponible en una proporción significativa de situaciones a las que se enfrentan los encargados de la toma de decisiones. Por ejemplo, en oncología, los estudios clinicos de Fase II a menudo tienen un único grupo. Una revisión de las pautas de práctica descubrió que pocas recomendaciones se basaban en evidencia de calidad y muchas se basaban en la opinión de expertos, estudios de caso individuales y estándares de cuidado [63]. A menudo hay buenas razones para la ausencia de los RCT. Tal vez se disponga de poco tiempo para realizar los RCT de tecnologías que surgen rápidamente [64]. Los RCT pueden ser no éticos si los clínicos creen que hay una asociación causal entre la intervención y el resultado, por ejemplo, entre la posición para dormir y la muerte súbita en bebés. Los factores limitados también pueden ser un factor para la falta de evidencia de RCT. Independientemente de cuáles sean los motivos para la ausencia de RCT y, por lo tanto, la ausencia de comparaciones indirectas de tratamiento en base a la evidencia aleatorizada, los pagadores en el ámbito del cuiado de la salud, los profesionales de la salud y los pacientes tal vez deban tomar decisiones. Es incorrecto suponer que estos interesados pueden posponer la decisión y esperar a que llegue la evidencia “correcta”. En particular, las decisiones deben poder basarse en el conjunto disponible de opciones. En realidad, no cubrir o recetar una intervención es una decisión tácita de quedarse con el status quo. Esta decisión tiene implicancias para la sociedad. Puede maximizar o no los beneficios para la salud de la población (si es hecho por el tomador de decisiones) o los beneficios en salud para el paciente (si está a cargo del proveedor de atención médica y el paciente) [65]. Una cuestión fundamental para los encargados de la toma de decisiones entonces, es si se deben usar estudios comparativos observacionales cuando no hay RCT ni comparaciones indirectas de RCT disponibles. Para responder a esta pregunta, es importante recordar que, en un meta-análisis en red de RCT, el valor de la aleatorización no se mantiene entre estudios clinicos. Si las características del estudio o de los pacientes difieren entre los estudios clinicos para las intervenciones comparadas indirectamente y hay modificadores de los efectos relativos del tratamiento, el análisis estará sesgado. Por lo que una ITC o metaanálisis en red de RCT es un tipo de evidencia observacional, pero posiblemente menos propensa a sufrir el sesgo por factores de confusión que un estudio de cohorte (o cualquier otro diseño de estudio observacional). Un estudio de cohorte está sesgado si las diferencias en las covariables no medidas afectan a la intervención y al resultado, mientras que una ITC o meta-análisis en red de RCT está sesgado sólo si las diferencias en las covariables no medidas entre estudios clinicos son modificadores de efectos relativos del tratamiento, lo cual posiblemente es más improbable. Por lo tanto, preguntar si se deben usar estudios comparativos observacionales en ausencia de un ITC o un meta-análisis en red de RCT es sinónimo de preguntar qué nivel de evidencia observacional puede considerarse con suficiente validez interna como para brindar información a la toma de decisiones; o más específicamente, ¿con qué nivel de evidencia observacional se sienten cómodos los encargados de la toma de decisiones? ¿El nivel mínimo aceptable de evidencia observacional es una ITC o meta-análisis en red de RCT, o con un estudio de cohorte es suficiente? Para responder a estas preguntas, los encargados de la toma de decisiones deben reconocer que, cuanto menor sea la validez interna, mayor será el riesgo de obtener resultados sesgados y, por ende, mayor será el riesgo de tomar una decisión inferior. Si se elige el nuevo tratamiento por sobre el tratamiento estándar debido a las estimaciones sesgadas de efectividad comparativa y los resultados verdaderos favorecen al tratamiento estándar, entonces los beneficios para la salud se pierden. Efectos relativos del tratamiento de comparaciones en pares expresadas como razones de posibilidades (con intervalos creíbles del 95%), nueva generación de antidepresivos para la depresión general, aceptabilidad (abandonos) . Basado en Cipriani et al [25]. Reimpreso de The Lancet, 373 (9665), Cipriano A, Furukawa TA, Salanti G, Geddes JR, Higgins, JP, Churchill R, Watanabe N, Nakagawa A, Omori IM, McGuire H, Tansella M, Barbui C, Eficacia y aceptabilidad comparativas de 12 antidepresivos de nueva generación: meta-análisis de tratamientos múltiples, 746-58, 2009, con el permiso de Elsevier. Intervención Tabla 4 – Tabla que muestra cómo se pueden presentar los datos de un meta-análisis en red. Comparador VALUE IN HEALTH 14(2011)417–428 Es muy probable que el debate acerca del uso correcto de evidencia de RCT, la comparación indirecta de RCT y los estudios observacionales “tradicionales” continúe. Los estudios observacionales pueden considerarse como evidencia complementaria para los RCT [66]. Afortunadamente, las necesidades de investigaciones sobre efectividad comparativa están generando desarrollo en la síntesis de evidencia y su comprensión. En esta etapa, llegamos a la conclusión de que, en ausencia de RCT simultáneos, los encargados de la toma de decisiones pueden utilizar evidencia observacional, siempre y cuando estén al tanto de los riesgos potenciales que conlleva usar evidencia de menor calidad y estén cómodos con el hecho de asumir estos riesgos. Si los encargados de la toma de decisiones prefieren esperar hasta tener RCT simultáneos, o mejor aún, una ITC de RCT, deben saber que están eligiendo el tratamiento “viejo” por sobre el tratamiento “nuevo”, con las potenciales implicaciones para la sociedad. Esencialmente, por cada valoración de una nueva intervención, un encargado de la toma de decisiones debe realizar una compensación entre, por un lado, el riesgo de tomar la decisión incorrecta y por ello perder beneficios para la salud al confiar en evidencia de menor calidad y, por otro lado, posponer la decisión y posiblemente perder también beneficios para la salud. Esta compensación resulta influenciada por consideraciones que incluyen la carga de una enfermedad y la cantidad de tratamientos disponibles actualmente. Independientemente de cuál sea el resultado del debate, la calidad de la toma de decisiones aumentará si es transparente y explícita sobre el tipo de evidencia que está siendo usado y evaluando sus limitaciones y consecuencias. Conclusión Este informe, la primera parte del informe realizado por el Grupo de Trabajo, describe los conceptos clave de ITC y MTC y brinda orientación para revisar e interpretar estos estudios, con el fin de brindar información para la toma de decisiones. El meta-análisis en red puede considerarse como una extensión del meta-análisis tradicional al incluir múltiples comparaciones por pares en un rango de distintas intervenciones, para permitir la comparación de tratamientos múltiples, cuando no hay evidencia simultánea. Además, la metodología puede combinar comparaciones directas e indirectas de tratamiento, sintetizando así una mayor utilización de la evidencia disponible que un metaanálisis tradicional. Si bien las redes de evidencia que están tras los meta-análisis en red generalmente incluyen RCT, la aleatorización no se mantiene entre estudios clinicos y hay un riesgo de tener sesgo por factores de confusión, comprometiendo así la validez interna. Consecuentemente, un meta-análisis en red debe considerarse como evidencia observacional, pero posiblemente es menos propensa a sufrir sesgo por confusión que un estudio de cohorte observacional comparativo prospectivo. Si bien se reconocen problemas metodológicos acerca de las comparaciones indirectas y los meta-análisis en red, se espera que la aplicación de este método continúe y siga creciendo, simplemente porque el hecho de no ver a la acumulación de información como un proceso en constante evolución dañaría el rol que juega la evidencia científica en la modelación de la toma de decisiones en materia de salud. Por ese motivo, el objetivo del Grupo de Trabajo es ayudar a educar a los encargados de la elaboración de políticas y los profesionales de la salud acerca de estos estudios, e identificar áreas de investigación a futuro. REFERENCIAS [1] Hoaglin DC, Hawkins N, Jansen JP, et al. Conducting indirect treatment comparisons and network meta-analysis studies: report of the ISPOR Task force on indirect treatment comparisons good research practices—Part 2. Value Health 2011;14:xx-xx. [2] Higgins JPT, Green S, eds. Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.2 [updated September 2009]. The Cochrane Collaboration, 2009. Disponible en: http://www.cochranehandbook. org. [Accessed February 11, 2010]. [3] Caldwell DM, Ades AE, Higgins JPT. Simultaneous comparison of multiple treatments: combining direct and indirect evidence. BMJ 2005;331:897–900. [4] Ioannidis JPA. Indirect comparisons: the mesh and mess of clinical trials. Lancet 2006;368:1470–2. [5] Sutton A, Ades AE, Cooper N, Abrams K. Use of indirect and mixed treatment comparisons for technology assessment. Pharmacoecnomics 2008;26:753–67. [6] Wells GA, Sultan SA, Chen L, et al. Indirect Evidence: Indirect Treatment Comparisons in Met-Analysis. Ottawa: Canadian Agency for Drugs and Technologies in Health; 2009. [7] Bucher HC, Guyatt GH, Griffith LE, Walter SD. The results of direct and indirect treatment comparisons in meta-analysis of randomized controlled trials. J Clin Epidemiol 1997;50:683–91. [8] Song F, Altman DG, Glenny A, Deeks JJ. Validity of indirect comparison for estimating efficacy of competing interventions: empirical evidence from published meta-analyses. BMJ 2003;326:472. [9] Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment comparisons. Stat Med 2004;23:3105–24. [10] Song F, Loke YK, Walsh T, et al. Methodological problems in the use of indirect comparisons for evaluating healthcare interventions: survey of published systematic reviews. BMJ 2009;338:b1147. VALUE IN HEALTH 14(2011)417–428 [11] Lumley T. Network meta-analysis for indirect treatment comparisons. Stat Med 2002;21:2313–24. [12] Working Group on Relative Effectiveness The Pharmaceutical Forum.[online]. Disponible en: http://ec.europa.eu/pharmaforum/effectiveness_en.htm. [Accessed December 6, 2010]. [13] Pharmaceutical Benefits Advisory Committee. Guidelines for preparing submissions to the Pharmaceutical Benefits Advisory Committee. (Version 4.3). Australian Government, Department of Health and Ageing, December 2008. [14] Glenny AM. Statistical methods for indirect treatment comparisons. Health Technol Assess 2005;9:17–49. [15] Jansen JP, Crawford B, Bergman G, Stam W. Bayesian meta-analysis of multiple treatment comparisons: an introduction to mixed treatment comparisons. Value Health 2008;11:956–64. [16] Jansen JP, Bergman GJ, Huels J, Olson M. Prevention of vertebral fractures in osteoporosis: mixed treatment comparison of bisphosphonate therapies. Curr Med Res Opin 2009;25:1861–8. [17] Biondi-Zoccai GG, Agostoni P, Abbate A, et al. Adjusted indirect comparison of intracoronary drug-eluting stents: evidence from a metaanalysis of randomized baremetal-stent-controlled trials. Int J Cardiol 2005;100:119–23. [18] Mills EJ, Perri D, Cooper C, et al. Antifungal treatment for invasive Candida infections: a mixed treatment comparison meta-analysis. Ann Clin Microbiol Antimicrob 2009;8:23. [19] Stettler C, Wandel S, Alleman S, et al. Outcomes associated with drugeluting and bare-metal stents: a collaborative network meta-analysis. Lancet 2007;370:937–48. [20] Ades AE. A chain of evidence with mixed comparisons: models for multiparameter synthesis and consistency of evidence. Stat Med 2003;22:2995–3016. [21] Cooper NJ, Sutton AJ, Morris D, et al. Addressing between-study heterogeneity and inconsistency in mixed treatment comparisons: application to stroke prevention treatments in individuals with nonrheumatic atrial fibrillation. Stat Med 2009;28:1861–81. [22] Psaty BM, Lumley T, Furberg CD, et al. Outcomes associated with various antihypertensive therapies used as first-line agents: a network meta-analysis. JAMA;289:2534–44. [23] Cooper NJ, Sutton AJ, Lu G. Mixed comparison of stroke prevention treatments in individuals with nonrheumatic atrial fibrillation. Arch Intern Med 2006;166:1269– 75. [24] Vissers D, Stam W, Nolte T, et al. Efficacy of intranasal fentanyl spray versus other opioids for breakthrough pain in cancer. Curr Med Res Opin 2010;26:1037–45. [25] Cipriani A, Furukawa TA, Salanti G, et al. Comparative efficacy and acceptability of 12 new-generation antidepressants: a multipletreatments metaanalysis. Lancet 2009;373:746–58. [26] Salanti G, Kavvoura FK, Ioannidis JPA. Exploring the geometry of treatment networks. Ann Intern Med 2008;148:544–53. [27] Coory M, Jordan S. Frequency of treatment-effect modification affecting indirect comparisons: a systematic review.Pharmacoeconomics 2010;28:723–32. [28] Lu G, Ades AE. Assessing evidence inconsistency in mixed treatment comparisons. J Am Stat Assoc 2006;101:447–59. [29] Dias S, Welton NJ, Caldwell DM, Ades AE. Checking consistency in mixed treatment comparison meta-analysis. Stat Med 2010;29:932–44. [30] Borenstein M, Hedges LV, Higgins JPT, Rothstein H. Introduction to MetaAnalysis. Chichester, England: John Wiley & Sons, Ltd., 2009. [31] Skene AM, Wakefield JC. Hierarchical models for multicentre binary response studies. Stat Med 1990;9:919–29. [32] Gelman AB, Carlin JS, Stern HS, Rubin DB. Bayesian Data Analysis. Boca Raton, FL: Chapman and Hall–CRC; 1995. [33] Cappelleri JC, Ioannidis JPA, Lau, J. Meta-analysis of therapeutic trials. In: Chow S-C, ed., Encyclopedia of Biopharmaceutical Statistics (3rd ed.), Revised and Expanded. New York, NY: Informa Healthcare, 2010. [34] Berlin JA, Santanna J. Schmid CH, et al. Individual patient-versus group-level data meta-regression for the investigation of treatment effect modifiers: ecological bias rears its ugly head. Stat Med 2002;21: 371–87. [35] Greenland S, Morgenstern H. Ecological bias, confounding, and effect modification. Int J Epidemiol 1989;18:269–74. [36] Lambert PC, Sutton AJ, Jones DR. A comparison of summary patientlevel covariates in metaregression with individual patient data metaanalysis. J Clin Epidemiol 2002;55:86–94. [37] McCullagh P, Nelder J. Generalized Linear Models, Second Edition. Chapman & Hall/CRC, 1989. [38] Dempster AP. The direct use of likelihood for significance testing. Stat Comput 1997;7:247–52. [39] Spiegelhalter DJ, Best NG, Carlin BP, van der Linde A. Bayesian measures of model complexity and fit. J R Stat Soc (Series B) 2002;64: 583–639. [40] Goodman, SN. Towards evidence based medical statistics: 1. The P value fallacy. Ann Intern Med 1999;120:995–1004. [41] Sutton AJ, Abrams KR, Jones DR, et al. Methods for Meta-Analysis in Medical Research. London, UK: Wiley, 2000. [42] Spiegelhalter D, Abrams K, Myles J. Bayesian Approaches to Clinical Trials and Health Care Evaluation. Chichester, UK: John Wiley & Sons,2004. [43] Luce BR, Claxton K. Redefining the analytical approach to pharmacoeconomics. Health Econ 1999;8:187–9. [44] Hawkins N, Scott DA, Woods BS, Thather N. No study left behind: a network meta-analysis in non-small-cell lung cancer demonstrating the importance of considering all relevant data. Value Health 2009;12: 996–1003. [45] Hawkins N, Scott DA, Wood BS. How far do you go? Efficient searching for indirect evidence. Med Decis Making 2009;29:273–81. [46] Salanti G, Higgins JPT, Ades AE, Ioannidis JPA. Evaluation of networks of randomized trials. Stat Methods Med Res 2008;17:279–301. [47] Cappelleri JC, Ioannidis JP, Schmid CH, et al. Large trials vs metaanalysis of smaller trials: how do their results compare? JAMA 1996; 276:1332–8. [48] Abel U, Koch A. The role of randomization in clinical studies: myths and beliefs. J Clin Epidemiol 1999;52:487–97. [49] Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995;273:408–12. [50] Schwartz D, Lellouch J. Explanatory and pragmatic attitudes in therapeutical trials. J Chronic Dis 1967;20:637–48. [51] Rothwell PM. Factors that can affect the external validity of randomized controlled trials. PLOS Clin Trials 2006;1:e9. [52] Systematic Reviews: CRD’s guidance for undertaking reviews in health care Centre for Reviews and Dissemination. Centre for Reviews and Dissemination, University of York; January 2009. [53] Williamson PR, Outcome selection bias in meta-analysis Stat Methods Med Res 2005;14:515–24. [54] Liberati A, Altman DG. Tetzlaff J, et al. The PRISMA Statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. Ann Intern Med 2009;151:W65–94. [55] Moher D, Liberati A, Tetzlaff J, Altman DG, and the PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA Statement. Ann Intern Med 2009;151:264–9. [56] Spiegelhalter D, Thomas A, Best N, Lunn D. WinBUGS User Manual: Version 1.4. MRC Biostatistics Unit: Cambridge, 2003. [57] Atkins D, Best D, Briss PA, et al. Grading quality of evidence and strength of recommendations. BMJ 2004;328:1490. [58] Jansen JP. Bergman GJD, Huels J, Olson M. The efficacy of bisphosphonates in the prevention of vertebral, hip, and nonvertebral-non-hip fractures in osteoporosis: a network meta-analysis. Semin Arthritis Rheum 2011;40:275–84. [59] Petitti DB. Meta-analysis, Decision Analysis, and Cost-effectiveness Analysis. Methods for Quantitative Synthesis in Medicine (2nd ed.). New York, NY: Oxford University Press, 2000. [60] Cooper NJ, Sutton AJ, Abrams KR. Comprehensive decision analytic modelling in economic evaluation: a bayesian approach. Health Econ 2004;13;203–26. [61] Ades AE, Sculpher M, Sutton A, et al. Bayesian methods for evidence synthesis in cost-effectiveness analysis. Pharmacoeconomics 2006;24: 1–19. [62] Tunis SR, Stryer DB, Clancy CM. Practical clinical trials: increasing the value of clinical research for decision making in clinical and health policy. JAMA 2003;290:1624–32. [63] Tricoci P, Allen JM, Kramer JM, et al. Scientific evidence underlying the ACC/AHA clinical practice guidelines. JAMA 2009;301:831–41. [64] Chambers D, Rodgers M, Woolacott N. Not only randomized controlled trials, but also case series should be considered in systematic reviews of rapidly developing technologies. J Clin Epidemiol 2009;62:1253–60. [65] Claxton K. The irrelevance of inference: a decision-making approach to the stochastic evaluation of health care technologies. J Health Econ 1999;18:341–64. [66] Fleurence RL, Naci H, Jansen JP. The critical role of observational evidence in comparative effectiveness research. Health Aff (Millwood) 2010;29:1826–33.