Download Análisis de la evidencia científica

Análisis de la evidencia científica
CONTEXTO
Viñeta A
Diálogo entre dos personas en un ascensor. Una de ellas comenta: “¡Qué calor hace
hoy!” La otra persona le pregunta: “Vd., ¿cómo sabe que hace calor? ¿En qué se basa
para decirlo? ¿Acaso hay un termómetro en este ascensor? ¿Se ha asegurado de que
no tenga Vd. fiebre?”
Viñeta B
Un famoso futbolista afirma que: a) chutando con el lado interno del pie se imprime al
balón un efecto de parábola; b) su resistencia y vigor físicos se deben al zumo de tamarindo que toma cada mañana, en ayunas y c) comer cierto pescado mejora el desarrollo
del sistema cognitivo.
¿En qué medida creería Vd. cada una de estas afirmaciones?
Viñeta C
El mecánico le explica la avería de su coche en estos términos: “El motor funciona porque tiene pundonor y quiere satisfacer los deseos del conductor. Cuando falta esta voluntad, el coche se para.”
¿Aceptaría Vd. esta explicación?
Estas tres viñetas ejemplifican algunos aspectos que atañen a nuestras creencias en las
afirmaciones y que podemos resumir así:
A. En la vida de cada día sería absurdo pretender verificar todas y cada una de las afirmaciones que escuchamos. La pregunta “Vd., ¿cómo lo sabe?” es, en general, poco
adecuada en las relaciones interpersonales.
B. En la vida de cada día nos basamos en argumentos de autoridad y en la credibilidad
de las otras personas.
C. Uno de los requisitos para aceptar una afirmación es que sea plausible, es decir, coherente con nuestros conocimientos y con los argumentos que habitualmente se usan
para explicar los fenómenos.
EN EL ÁMBITO CIENTÍFICO
En el ámbito científico también tenemos que recurrir a menudo a argumentos de autoridad, basándonos en la credibilidad de la persona que hace una afirmación. Resultaría
imposible la comunicación si tuviéramos que pedir pruebas de todo lo que se dice. Pero
ni la credibilidad ni la plausibilidad de las explicaciones son suficientes siempre. Cuando
lo que se afirma es nuevo o es importante, la posibilidad de que sea creído dependerá
de la evidencia en que se base y en las pruebas que se aporten para demostrarlo.
La necesidad de aportar pruebas no es exclusiva del ámbito científico, sino que está
presente también en otros como el jurídico o en el periodístico, y, en general, de cualquier circunstancia en que lo que se afirma es importante o se aparta de lo habitual. Pero
en el mundo científico es donde esta necesidad está más estructurada y constituye su
esencia misma.
Uno de los principales componentes del método científico es la rigurosa exigencia de
que los que se dice, las explicaciones que se den, se fundamenten en pruebas o, dicho
ANÁLISIS DE LA EVIDENCIA CIENTÍFICA (1)
de otra forma, se basen en la evidencia. Por lo tanto, en el ámbito científico, frente a una
información que es importante, la pregunta no es “¿Quién lo ha dicho?” sino “Vd., ¿cómo lo sabe?” . Hacer esta pregunta equivale a preguntar por las pruebas o evidencias
en que se basa la afirmación.
EL ANÁLISIS DE LA EVIDENCIA CIENTÍFICA
A continuación presentamos una serie de puntos en los que se basa la credibilidad de
las afirmaciones científicas. Nos limitaremos a los casos más típicos en medicina, que
son los estudios o investigaciones terapéuticas.
Una investigación terapéutica típica consta de los siguientes componentes (Esquema 1(:
A. Se afirma la acción de un tratamiento (farmacológico o no).
B. Se estudian dos grupos
C. Se aplica el tratamiento a un grupo, al que se conoce como grupo experimental,
D. El otro grupo, que no recibe el tratamiento, sirve de comparación. Se le
denomina grupo control.
E. En el grupo experimental se obtiene unos resultados
F. En el grupo control no se observan cambios respecto a la situación inicial, es decir, no se obtienen estos resultados o los que se obtienen son
diferentes.
G. Los investigadores interpretan los resultados y llegan a unas conclusiones
H. En estas conclusiones, en primer lugar, se afirma que es el tratamiento y
sólo el tratamiento lo que ha producido los resultados, es decir, se atribuyen los resultados al tratamiento.
I.
En segundo lugar, en la conclusiones se formulan unas predicciones
J.
Dichas predicciones se refieren a: a) para quién puede estar indicado el
tratamiento en la clínica y b) para qué puede estarlo.
ANÁLISIS DE LA EVIDENCIA CIENTÍFICA (2)
Esquema 1.
Tratamiento
Resultados
Interpretación
Atribución
Conclusiones
Para quién está indicado
Predicción
Para qué está indicado
El análisis de la evidencia científica consiste en revisar si las conclusiones están justificadas en base a las pruebas aducidas, es decir, si son válidas. La validez de la atribución recibe el nombre de la validez interna, la de las predicciones, de validez externa.
VALIDEZ INTERNA
Lo primero que nos preguntamos al analizar un estudio es si realmente se ha probado
que el resultado es debido al tratamiento y sólo al tratamiento. Cuando la respuesta es
afirmativa, diremos que la validez interna del estudio es elevada. Cuando la respuesta es
del tipo: “Sí, pero los resultados también podrían ser debidos a…”, la validez interna es
baja. Por lo tanto, la validez interna es el grado en que la evidencia aportada por el estudio permite atribuir un efecto o resultado al tratamiento.
Imaginemos un estudio ideal en que los dos grupos fueran perfectamente iguales y sólo
se diferenciasen en una variable: la acción del tratamiento. Puesto que esto es lo único
diferente entre los dos grupos, se puede estar bastante seguros en atribuir el resultado
obtenido al tratamiento. En este caso, diremos que la Validez Interna del estudio es elevada.
Ahora imaginemos que entre los dos grupos hay otras diferencias, además de la acción
del tratamiento. Por ejemplo, que en uno predominen las mujeres y en el otro, los hombres. En este caso, la afirmación de que el resultado es debido al tratamiento no estaría
del todo sustentada por la evidencia. Ya no estaríamos tan seguros a la hora de atribuir
el resultado al tratamiento. En mayor o menor medida también la variable género podría
explicar el resultado. En este caso, las conclusiones sobre la eficacia del tratamiento son
sólo parcialmente válidas. Diremos que la validez interna del estudio es baja, porque lo
que se afirma en las conclusiones no está sustentado por la evidencia generada por el
estudio..
La hipótesis experimental de una investigación es que los resultados obtenidos son
debidos a la variable independiente: en este caso, la acción del tratamiento. Las diferenANÁLISIS DE LA EVIDENCIA CIENTÍFICA (3)
cias o sesgos entre los grupos pueden sugerir otras explicaciones que justifiquen el efecto obtenido (reflejado en los resultados). Llamamos a estas explicaciones hipótesis alternativas 1.
Para averiguar el grado de validez interna de un estudio se revisa en qué medida se han
controlado las variables (diferencias) que pueden generar hipótesis alternativas.
Para controlar las variables que pueden generar hipótesis alternativas se suelen aplicar
los siguientes procedimientos:
A. igualar los dos grupos
B. estudiar cada variable en los sujetos de uno y otro grupo.
Habitualmente los grupos suelen estar igualados en cuanto a edad, género y tipo de
patología. Resultaría imposible igualarlos en todo y siempre habrá variables referidas a
aspectos que no se pueden igualar. Por ejemplo, resultaría imposible igualar los dos
grupos en variables referidas a los hábitos y estilos de vida, tales como los hábitos de
trabajo, de sueño o de ingesta, por no hablar del grado de estrés o las expectativas de
los sujetos. Y es muy plausible pensar que diferencias en estos aspectos pueden explicar, en mayor o menor medida, los resultados que se obtengan. En estos casos, el control de las variables susceptibles de generar hipótesis alternativas, y por tanto el control
para aumentar la validez interna, consiste en estudiar las variables, es decir recoger
información sobre ellas en todos los sujetos, a lo largo del estudio.
Las variables que pueden generar hipótesis alternativas pueden ser infinitas, pero hay
algunas típicas. Las principales se clasifican en dos grupos: las características de los
sujetos y del procedimiento.
Variables referidas a los sujetos
Las principales características de los sujetos, susceptibles de generar hipótesis alternativas son: género, edad, patología, nivel inicial, otros tratamientos, cumplimiento (si a los
dos grupos se da medicación) y cambios en los hábitos. Cuando el tratamiento se dirige
a mejorar el rendimiento en alguna tarea (por ejemplo, velocidad de lectura o resistencia
al esfuerzo) una variable muy importante es el nivel inicial de los sujetos en su ejecución.
EJEMPLO:
Siguiendo el procedimiento habitual, se aplica el tratamiento al grupo experimental y no
al grupo control.
Supongamos que en el grupo experimental se obtiene un efecto, que no aparece en el
grupo control.
Revisando los datos, averiguamos que el grupo experimental estaba constituido en su
mayoría, por sujetos jóvenes y el grupo control, por sujetos ancianos.
Podemos atribuir el efecto obtenido al tratamiento, pero también a la diferencia de edad
entre los sujetos de los dos grupos.
La edad es una variable que no se ha controlado en el estudio. ¿Cómo se hubiera podido controlar?
1
Nota: No hay que confundirlas con las hipótesis alternativas en Estadística, cuyo significado es diferente.
ANÁLISIS DE LA EVIDENCIA CIENTÍFICA (4)
ACTIVIDADES DE APLICACIÓN
1. Grupo E: Tratamiento – Predominio de personas con estudios universitarios Ö Resultado
Grupo C: No-Tratamiento – Predominio de personas con estudios primarios Ö No
efecto
El efecto puede atribuirse al tratamiento, pero también a _________________
¿Cómo se podría controlar esta variable?
2. Grupo E: Tratamiento – Predominio de mujeres jóvenes Ö Efecto
Grupo C: No-Tratamiento – Predominio de hombres ancianos Ö No efecto
El efecto puede atribuirse al tratamiento o a _________________
¿Cómo se podría controlar esta variable?
3. Grupo E: Tratamiento – Predominio de enfermos agudos (primer episodio) Ö Efecto
Grupo C: No-Tratamiento – Predominio de enfermos crónicos Ö No efecto
El efecto puede atribuirse al tratamiento o a _________________
¿Cómo se podría controlar esta variable?
4. Grupo E: Tratamiento – Predominio de deportistas Ö Efecto
Grupo C: No-Tratamiento – Predominio de personas sedentarias Ö No efecto
El efecto puede atribuirse al tratamiento o a _________________
¿Cómo se podría controlar esta variable?
5. Grupo E: Tratamiento – Predominio de personas que no toman ningún otro medicamento Ö Efecto
Grupo C: No-Tratamiento – Predominio de personas que toman otros medicamentos
Ö No efecto
El efecto puede atribuirse al tratamiento o a _________________
¿Cómo se podría controlar esta variable?
Variables propias del procedimiento
Dentro de este apartado, las principales variables susceptibles de generar hipótesis alternativas son la atención profesional (las explicaciones y el número de visitas), el tratamiento en sí (el hecho de recibir un tratamiento), la percepción y expectativas del sujeto
y la percepción y expectativas del terapeuta o investigador.
Por regla general, se controlan estas variables igualando los dos grupos.
Atención profesional: los sujetos reciben las mismas explicaciones y son visitados con
la misma frecuencia
El tratamiento en sí: El grupo control recibe un simulacro de tratamiento: algo de apariencia idéntica a lo que recibe el grupo experimental. En los tratamientos farmacológicos, se trataría del excipiente solo, sin sustancia activa, a lo que se suele llamar placebo.
Si el tratamiento no es farmacológico, por ejemplo, consiste en una dieta o el ejercicio, el
grupo control recibe algo que se parezca lo más posible al tratamiento.
ANÁLISIS DE LA EVIDENCIA CIENTÍFICA (5)
Percepción y expectativas del paciente: el estudio se realiza a ciegas. El paciente
ignora si lo que está recibiendo contiene o no sustancia activa, es decir, si está recibiendo el tratamiento o el excipiente solo.
Percepción y expectativas del terapeuta o investigador: el estudio se realiza a doble
ciego. Tanto el paciente como el terapeuta ignoran si el sujeto recibe tratamiento o excipiente.
ACTIVIDADES DE APLICACIÓN
6. Grupo E: Tratamiento – Visitas de control cada dos semanas Ö Efecto
Grupo C: No-Tratamiento – No hay visitas de control Ö No efecto
El efecto puede atribuirse al tratamiento o a _________________
¿Cómo se podría controlar esta variable?
7. Grupo E: Tratamiento: comprimidos Ö Efecto
Grupo C: No-tratamiento Ö No efecto
El efecto puede atribuirse al tratamiento o a _________________
¿Cómo se podría controlar esta variable?
8. Grupo E: Tratamiento: comprimidos Ö Efecto
Grupo C: No-tratamiento: comprimidos iguales, sin sustancia activa Ö No efecto
Los pacientes saben si los comprimidos que ingieren tienen o no sustancia activa.
El efecto puede atribuirse al tratamiento o a _________________
¿Cómo se podría controlar esta variable?
9. Grupo E: Tratamiento: comprimidos Ö Efecto
Grupo C: No-tratamiento: comprimidos iguales, sin sustancia activa Ö No efecto
Los médicos saben si los comprimidos que ingiere cada paciente tienen o no sustancia activa.
El efecto puede atribuirse al tratamiento o a _________________
¿Cómo se podría controlar esta variable?
10. Analiza el siguiente estudio. Enumera las variables que se tienen en cuenta, incluyendo el tratamiento. Indica, para cada una, cómo ha sido controlada o cómo se
hubiera podido controlar
Per sostenir els avantatges d'un nou fàrmac analgèsic, una casa el presenta amb el
següent estudi.
<< De tots els pacients que van acudir a urgències de traumatologia per un atac de
lumbàlgia (dolor en la part baixa de l'esquena) en les 24 hores precedents, es van seleccionar els que complissin aquestes dues condicions: tenir entre 35 i 50 anys i que
es tractés de la primera vegada que haguessin patit aquest procés.
Les persones seleccionades van ser 52, 24 dones i 28 homes.
Es van distribuir aleatòriament en dos grups, de 26 persones cadascun (12 dones i 14
homes).
A tots els subjectes es va prescriure repòs total al llit durant una setmana i remobilització progressiva.
Al grup experimental es va administrar el fàrmac analgèsic: un comprimit cada 8
hores.
ANÁLISIS DE LA EVIDENCIA CIENTÍFICA (6)
Al grup control es va administrar, amb la mateixa pauta, un preparat idèntic a
l’analgèsic, però sense substància activa.
Es van realitzar dues revisions: als 15 dies i als 6 mesos. En ambdós casos, les estimacions de dolor van ser inferiors en el grup experimental que en el grup control, amb
diferències altament significatives, des del punt de vista estadístic.
Conclusió: El nostre producte ha demostrat ser un analgèsic eficaç per a les lumbàlgies en pacients adults (entre 35 i 50 anys).>>
VALIDEZ EXTERNA
El interés de un estudio terapéutico es su aplicabilidad a la clínica. Por esto las conclusiones contienen afirmaciones sobre la posible indicación terapéutica del tratamiento
investigado. Estas predicciones se refieren a dos ámbitos:
a) para qué tipo de pacientes puede estar indicado el tratamiento
b) para qué tipo de problemas puede estarlo.
El análisis de estas predicciones nos informa sobre el grado de validez externa del estudio. En correspondencia a los dos ámbitos citados, la validez externa depende de dos
factores:
a) la coincidencia entre la muestra estudiada y la población para la cual se afirma que está indicado el tratamiento
b) la coincidencia entre los efectos estudiados y los problemas para los que se
considera indicado el tratamiento.
Validez externa referida a la población
Todo estudio se realiza en una muestra de sujetos a partir de una población definida por
unos criterios, que reciben el nombre de criterios o variables de inclusión. La población
no suele ser la población general sino una población definida, por ejemplo, por los siguientes criterios: “personas entre 25 y 50 años, de ambos sexos, que acuden al consultorio de asistencia primaria por un episodio de dolor lumbar aparecido en la última 24
horas”.
En las conclusiones del estudio, los investigadores afirman que el tratamiento puede ser
eficaz para un determinado tipo de pacientes. Si estas conclusiones son correctas, los
pacientes serán los de la población de la cual se ha sacado la muestra. En este caso,
decimos que la validez externa del estudio es elevada.
Pero a veces se hacen predicciones sugiriendo indicaciones que sobrepasan estos límites. Tomando el ejemplo anterior, este caso se daría al afirmar que el tratamiento puede
ser eficaz en todo tipo de pacientes con dolores lumbares. Esto incluye pacientes crónicos (mientras que el estudio se ha realizado con pacientes agudos), pacientes ancianos
(mientras que estudio se ha realizado con personas entre 25 y 50 años) y pacientes que
acuden a urgencias o al especialista en traumatología (mientras que el estudio se ha
realizado con pacientes que acuden al médico de medicina familiar en la asistencia primaria). En estos casos se dice que la validez externa referida a la población es baja,
porque lo que se afirma en las conclusiones no está sustentado por la evidencia generada por el estudio.
ANÁLISIS DE LA EVIDENCIA CIENTÍFICA (7)
ACTIVIDADES DE APLICACIÓN
11. Los sujetos del estudio son voluntarios sanos
Conclusión: “…indicado para pacientes…”
¿Por qué es baja la validez externa de este estudio?
12. Los sujetos del estudio son pacientes con sólo esa patología
Cite un ejemplo de elevada validez externa
Cite un ejemplo de baja validez externa
13. Los sujetos del estudio son pacientes con nivel cultural elevado
Cite un ejemplo de elevada validez externa
Cite un ejemplo de baja validez externa
Validez externa referida a los resultados o efectos
La investigación se ha realizado estudiando algo concreto y se predice que el tratamiento
está indicado para un determinado tipo de problemas
Por ejemplo, se ha estudiado la capacidad de recordar números y el resultado es que
esta capacidad aumenta con el tratamiento. En sus conclusiones, los investigadores
afirman que el tratamiento se ha demostrado eficaz para aumentar el recuerdo de números o incluso de información y, por tanto, puede estar indicado para mejorar estas capacidades. En este caso, la validez externa del estudio es elevada.
Pero si los investigadores alegan que el tratamiento aumenta la memoria, estarán afirmando algo que no está suficientemente probado. Cuando hablamos de memoria nos
referimos a muchas más cosas que recordar información: se incluye recordar información
compleja, recordar procedimientos o acordarse de hacer algo. En este caso diremos que
la validez externa relativa al efecto es baja.
ACTIVIDADES DE APLICACIÓN
14. Efecto estudiado: número de recaídas
Indicación: supervivencia a los 5 años
¿Por qué es baja la validez externa de este estudio?
15. Efecto estudiado: recuperación
Indicación: prevención
¿Por qué es baja la validez externa de este estudio?
16. Efecto estudiado: cumplimiento de las prescripciones
Indicación: satisfacción de los pacientes
¿Por qué es baja la validez externa de este estudio?
17. Analice la validez externa del siguiente estudio
Les prescripcions justificades es recorden més
Selecció de muestra: se obtienen ..... pacientes con osteoporosis en 10 hospitales de
Barcelona (el mismo número por hospital) seleccionados al azar. Estos pacientes se
reparten aleatoriamente en dos grupos de ... .
Procedimiento: se hace un experimento a ciegas que consiste en: Al grupo 1 se les
asigna un médico que solo se encarga de recetar lo que hace falta para el tratamiento.
ANÁLISIS DE LA EVIDENCIA CIENTÍFICA (8)
Al grupo 2 el médico que les atiende se encarga de explicar, cada vez que receta la medicaciòn, la importancia y los efectos que este tiene en su enfermedad.
Después de un mes, los análisis en el grupo 1 revelan una progresión ligera (29%) mientras que en el grupo 2 la progresión fue espectacular.
Conclusión: visto que los pacientes han sido tratados con asistencia médica igual y sin
discriminación, se puede concluir que las prescripciones justificadas se recuerdan más.
18. Analice el siguiente estudio.
Un laboratori farmacèutic presenta un nou producte, a base de lecitina de soja, tot afirmant que pot estar indicat per augmentar la concentració i la retenció. Per demostra-lo
realitza l’estudi que es descriu a continuació.
Es selecciona un grup de 31 estudiants de segon curs de Medicina, d'edat compresa
entre els 19 i els 21 anys.
1.
Els subjectes estudien durant una hora un tema, sense cap relació amb el món
mèdic.
2.
Després d'un període de distracció, realitzen una prova per observar què recorden.
La prova consisteix en un test d’elecció múltiple de 40 preguntes sobre el que han
estudiat.
3.
Es donen els resultats de les proves als subjectes i es formen dos grups de 15 persones
4.
A un dels grups se li prescriu que consumeixi Lecitina de soja durant un període de
dues setmanes, explicant-li que la seva capacitat de concentració es pot veure incrementada.
5.
A l'altre grup no se li prescriu res, i se'l convoca pel dia que ha de realitzar la segona prova.
6.
Quinze dies després es du a terme la segona prova, amb el mateix procediment. El
tema és diferent però la dificultat del contingut és equivalent al primer.
Resultats: Els estudiants que havien consumit Lecitina de soja han contestat correctament un número més elevat de preguntes de l'examen test que aquells que no n'havien
consumit.
Conclusions: Els resultats obtinguts permeten afirmar que la Lecitina de soja millora la
concentració i la retenció dels estudiants de medicina, fet que els permet obtenir uns resultats més bons a la prova tipus test que mesura el seu rendiment.
ESTA VOSTE D’ACORD AMB AQUESTES CONCLUSIONS? JUSTIFIQUI LA SEVA RESPOSTA
ANÁLISIS DE LA EVIDENCIA CIENTÍFICA (9)