Download Reflexiones y posiciones alrededor de la evaluación de

Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Ligia de Salazar
Reflexiones y posiciones
alrededor de la evaluación
de intervenciones complejas
Salud pública y promoción de la salud
1
Ligia de Salazar
2
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Ligia de Salazar
Reflexiones y posiciones
alrededor de la evaluación
de intervenciones complejas
Salud pública y promoción de la salud
Centro Colaborador de la OMS/OPS en
Evaluación, Capacitación y Abogacía
en Promoción de la Salud
CEDETES
Centro para el Desarrollo y Evaluación de
Políticas y Tecnología en Salud Pública
Escuela de Salud Pública - Facultad de Salud
3
Ligia de Salazar
Malagón de Salazar, Ligia
Reflexiones y posiciones alrededor de la evaluación de intervenciones
Complejas / Ligia Malagón de Salazar. -- Santiago de Cali: Programa
Editorial Universidad del Valle, 2011.
144 p; 24 cm. -- (Ciencias Naturales y Exactas).
ISBN 978-958-670-885-2
1. Salud pública - Evaluación - Metodología. 2. Promoción de la salud.
3. Política de la salud - Evaluación. 4. Programas de salud - Evaluación I.
Tít. II. Serie.
362.1 cd 21 ed.
A1288942
CEP-Banco de la República-Biblioteca Luis Ángel Arango
Universidad del Valle
Programa Editorial
Título: Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas. Salud
pública y promoción de la salud.
Autora: Ligia de Salazar, Ph.D
ISBN: 978-958-670-885-2
Primera edición
Rector de la Universidad del Valle:
Directora Programa Editorial:
Coordinación Editorial:
Diseño carátula y diagramación:
Fotografías:
Impresión:
Iván Enrique Ramos Calderón
Doris Hinestroza Gutierrez
Mónica Andrea Rojas Núñez
Departamento de Arte y Diseño Impresora Feriva S.A.
Archivo CEDETES
Feriva S.A
@ Universidad del Valle
@ Ligia de Salazar
Universidad del Valle
Ciudad Universitaria, Meléndez
A.A 025360
Cali, Colombia
Teléfono: (+57) (2) 3212227 – Telefax: (+57) (+2) 3392470
Email: [email protected]
Esta publicación corresponde a un producto de conocimiento del CEDETES-Universidad del Valle, en el
marco de la línea de investigación Evaluación en Salud Pública. Orientada a desarrollar, implementar y
validar metodologías de evaluación y producción de evidencias sobre efectividad y costo-efectividad de
políticas, programas e intervenciones en salud pública.
Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES. Escuela
de Salud Pública, Facultad de Salud, Universidad del Valle. Calle 4B No 36-00 San Fernando edificio 118
[email protected] [email protected] www.cedetes.org
Este libro o parte de él no puede ser reproducido por ningún medio sin autorización escrita de la Universidad del Valle.
Cali, Colombia
Abril de 2011
4
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Centro para el Desarrollo y Evaluación
de Políticas y Tecnología
en Salud Pública
–CEDETES–
Facultad de Salud – Escuela de Salud Pública
Universidad del Valle
Cali, Colombia
CEDETES fue creado por la Universidad del Valle en 1997, adscrito a
la Facultad de Salud , por su naturaleza y campo de trabajo, está articulado
a la Escuela de Salud Pública. El centro se define como una unidad interdisciplinaria, transdisciplinaria e interinstitucional de investigación en el
ámbito de la salud pública y la promoción de la salud, que busca articular
la investigación evaluativa a la toma de decisiones y la práctica de la salud.
La misión del centro es contribuir a la formulación y cualificación de políticas e intervenciones en salud pública y promoción de la
salud,mediante investigación evaluativa, gestión de la información,
desarrollo tecnológico y formación de recurso humano, con el fin de
promover el bienestar y la calidad de vida de la población.
Desde su creación, CEDETES trabaja en el desarrollo y consolidación de tres líneas de investigación: (1) Evaluación en salud pública y
5
Ligia de Salazar
promoción de la salud, orientada a desarrollar, implementar y validar
metodologías de evaluación y producción de evidencias sobre efectividad y costo-efectividad de políticas, programas e intervenciones en
salud pública; (2) Información y vigilancia en salud pública, orientada
a desarrollar, implementar y evaluar sistemas de vigilancia en salud
pública, acordes con el contexto y estructuras territoriales, para hacerlos
efectivos y viables. Profundiza en estrategias para incrementar el uso de
la información en la toma de decisiones y formulación de políticas en
salud pública; y (3) Gestión de políticas públicas, orientada a generar
insumos para desarrollar procesos de formulación, implementación y
evaluación de políticas públicas, y lineamientos de política, basados en
las mejores evidencias disponibles, orientadas al logro de la equidad
en salud.
Como resultado de su labor, CEDETES ha generado tecnología en
salud pública, que ha sido puesta al alcance de otros investigadores,
académicos, estudiantes, autoridades de salud y tomadores de decisión
en diferentes niveles, a lo largo de toda América Latina. Entre ellas,
la metodología para la evaluación de efectividad de políticas e intervenciones en salud pública, obtenida por más de seiscientos actores,
individuales e institucionales, en América Latina; la metodología de
evaluación económica en salud pública producida conjuntamente con
la Organización Panamericana de la Salud (OPS), en asocio con otras
universidades a nivel mundial; la metodología para la sistematización
de experiencias en salud pública y promoción de la salud y un modelo
de evaluación de efectividad de intervenciones en salud pública, basado
en el uso de sistemas de vigilancia.
En la línea estratégica de vigilancia CEDETES también tiene importantes desarrollos de reconocimiento internacional. Entre ellos ha
diseñado y validado el Sistema de Vigilancia de Factores de Riesgo de
Comportamiento en Escolares Adolescentes, SIVEA; y el Sistema de
Vigilancia de Factores de Riesgo y Determinantes Sociales, Asociados
a Enfermedades Crónicas, SIFREC.
6
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Desde el 2004 fue reconocido como Centro Colaborador de la
Organización Mundial de la Salud/Organización Panamericana de
la Salud, OMS/OPS en evaluación, capacitación y abogacía en promoción de la salud. En 2010 fue clasificado por Colciencias como
grupo categoría A.
CEDETES
Escuela de Salud Pública – Facultad de Salud- Universidad del Valle
Calle 4B No 36-00 Edificio 118 – San Fernando
Cali, Colombia, Suramérica
Teléfono: (0572) 557 9005 PBX: (0572) 5585230 – 5581947
Telefax: (0572) 5585230 – 5581947 ext. 102
[email protected] – [email protected]
www.cedetes.org
7
Ligia de Salazar
8
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
LA AUTORA
Ligia de Salazar, Ph.D
Doctorada en Investigación Evaluativa de McGill University, Canadá. Master in Public Health de la Universidad de Liverpool, Inglaterra.
Magíster en Administración de Salud y Enfermera, de la Universidad del
Valle, en Colombia. Creadora y directora del Centro para el Desarrollo
y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES, y
profesora titular de la Escuela de Salud Pública, de la Facultad de Salud de la Universidad del Valle, en Cali, Colombia. Es la directora del
Programa Latinoamericano de Evaluación en Promoción de la Salud,
apoyado por los Centers for Disease Control and Prevention, CDC, de
Estados Unidos, en el marco de un acuerdo de cooperación entre CDC
y CEDETES. Así mismo coordinó y fue la líder regional para América
Latina del Proyecto Regional de Evidencias de Efectividad en Promoción
de la Salud, promovido por la International Union for Health Promotion
and Education, IUHPE.
Ha sido la única latinoamericana designada por la Organización Mundial de la Salud, OMS, como miembro de un panel mundial de expertos
en promoción de la salud (2009-2013); ha participado como miembro
9
Ligia de Salazar
del grupo científico de evaluación y producción de evidencias en promoción de la salud, de los CDC, y hasta el 2007, miembro del Comité
Asesor de Investigaciones en Salud, de la Organización Panamericana
de la Salud, OPS.
Es reconocida internacionalmente por su trabajo en evaluación,
conferencista internacional y miembro de comités científicos de las
conferencias mundiales en torno a temas como la evaluación de efectividad de políticas y programas en salud pública y promoción de la salud;
determinantes sociales de la salud y vigilancia enfermedades crónicas
no transmisibles y factores de riesgo de comportamiento. Consultora de
varias organizaciones internacionales, ministerios de Salud y organizaciones no gubernamentales de diferentes países del mundo. Ha escrito
diferentes libros y artículos sobre evaluación y vigilancia en salud pública
y promoción de la salud.
Ha coordinado la adaptación e implementación latinoamericana del
curso de salud pública basada en evidencias, promovido por la Escuela
CARMEN, de OPS; así como diferentes proyectos para la documentación, sistematización y evaluación de intervenciones sobre enfermedades crónicas, entre otros. En 2009 fue reconocida por la Universidad
del Valle como profesora distinguida. Es la investigadora principal del
proyecto multicéntrico latinoamericano, para el diseño y validación
de un modelo de evaluación de efectividad de intervenciones en salud
pública, basado en el uso de sistemas de vigilancia, cuyos resultados
se presentan en esta publicación.
10
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
CONTENIDO
Agradecimientos y reconocimientos................................................. 13
Presentación...................................................................................... 15
I. Evaluación en salud pública desde la perspectiva de la promoción
de la salud Conceptos, posiciones y controversias................... 17
Presentación.................................................................................. 17
Introducción.................................................................................. 19
1. Naturaleza de intervenciones en salud pública desde
la perspectiva de la promoción de la salud............................... 21
2. Evaluación de políticas y programas en salud pública
y promoción de la salud............................................................ 32
II. Identificación y formulación de la pregunta de evaluación... 61
Presentación.................................................................................. 61
Introducción.................................................................................. 63
1. Identificación y formulación de la pregunta de evaluación...... 65
2. Tipos de pregunta...................................................................... 69
11
Ligia de Salazar
III. Enfoques metodológicos para la evaluación de políticas
y programas en salud pública y promoción de la salud............... 77
Presentación.................................................................................. 77
Introducción.................................................................................. 79
1. Fundamentación........................................................................ 80
2. Desafíos metodológicos y políticos en la evaluación
de efectividad............................................................................ 88
3. Enfoques metodológicos........................................................... 89
IV. Comunicación, puente entre la evaluación, la política
y la práctica................................................................................... 121
Presentación.....................................................................................121
Introducción.....................................................................................123
1. Fundamentación..........................................................................125
2. Comunicación de la evaluación, políticas y toma
de decisiones....................................................................................130
3. Uso de los resultados en la toma de decisiones..........................137
4. Algunas limitantes a tener en cuenta...........................................138
5. Identificación de los decisores y sus intereses
de información.................................................................................140
6. Definición de los objetivos de comunicación.............................143
7. Selección de la estrategia de comunicación...............................143
12
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
AGRADECIMIENTOS Y RECONOCIMIENTOS
El CEDETES y la autora agradecen y reconocen a las diferentes
organizaciones, funcionarios, estudiantes de posgrado y usuarios de
sistemas de salud en América Latina, quienes con sus reflexiones, experiencias y aportes prácticos enriquecieron el debate y propuestas sobre
el tema de la evaluación de efectividad de intervenciones orientadas a la
prevención y control de las Enfermedades Crónicas No Transmisibles.
A las diferentes instancias municipales, departamentales y nacionales, como la Secretaría de Salud Municipal, la Secretaría de Salud
Departamental, el Ministerio de la Protección Social y el Departamento
Administrativo de Ciencia, Tecnología e Innovación de Colombia,
Colciencias, quienes a través de estos 13 años de existencia del CEDETES han apoyado la ejecución de proyectos, disponiendo para esto
no solo recursos financieros sino también de su recurso humano para
el desarrollo de diferentes actividades.
A las entidades internacionales, como los Centers for Disease Control
and Prevention, CDC, la Organización Panamericana de la Salud, OPS
y a la Unión Internacional de Promoción y Educación para la Salud,
13
Ligia de Salazar
por su permanente apoyo y respaldo técnico al CEDETES a la línea de
investigación de evaluación de la salud pública y promoción de la salud.
A todos los participantes de los cursos y seminarios-taller de evaluación y evidencias llevados a cabo en diversos lugares de América
Latina, quienes aportaron sus experiencias e intervenciones, contribuyendo con esto al análisis de las fortalezas y limitantes de la práctica
de la promoción de la salud y la salud pública en América Latina.
A las diferentes instancias que promueven la investigación y la
difusión de la misma en la Universidad del Valle, especialmente a la
Vicerrectoría de Investigaciones, al Vicedecanato de Investigaciones
de la Facultad de Salud y al Programa Editorial de la Universidad del
Valle. Especial reconocimiento y agradecimiento para todos los profesionales vinculados al CEDETES, quienes participaron activamente
en el desarrollo de los proyectos y en la consolidación de la línea de
evaluación en salud pública del Centro.
A todos y cada uno de ellos especiales agradecimientos y reconocimientos.
14
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
PRESENTACIÓN
Este documento pretende, como su nombre lo indica, suscitar la reflexión, el debate y la generación de propuestas para evaluar políticas
y programas en salud pública y promoción de la salud. En ese sentido,
dista de ser prescriptivo para más bien colocar en manos del lector
aspectos críticos del debate actual en relación con la evaluación de
intervenciones de naturaleza compleja.
Por esto, más que recomendar un único enfoque de evaluación como
respuesta a los asuntos críticos del debate, se exponen argumentos para
cualificar las decisiones en relación con los diferentes enfoques metodológicos para conducir evaluaciones relevantes, de calidad y útiles, al
igual que las implicaciones políticas, sociales y técnicas de cada una.
Por considerar la función evaluativa como un proceso investigativo
permanente de búsqueda y aprendizaje alrededor del comportamiento,
desempeño y resultados de las intervenciones, con el fin de cualificar
la formulación de políticas y programas, al igual que coadyuvar con
la capacidad para actuar, abogamos porque la evaluación trascienda
las fronteras de lo técnico y que este último aspecto esté al servicio
de los intereses políticos, sociales, culturales y éticos que la salud de
la población demanda.
15
Ligia de Salazar
Desde esta perspectiva, la acción evaluativa está inserta en un
complejo contexto en el cual valores, principios, intereses, recursos y
voluntades se entremezclan con el fin de producir información y conocimiento para fortalecer la teoría y práctica de la salud pública y la
promoción de la salud y, mas aún, sostener procesos de mejoramiento
continuo de las condiciones de salud de las poblaciones.
Con el anterior propósito, pretendemos que esta publicación sea
inspiradora y de utilidad para directivos, funcionarios, investigadores,
líderes comunitarios y estudiantes de diversas disciplinas y sectores,
cuyo ámbito de práctica gire alrededor de la salud pública, de tal forma
que esta última se revitalice al acoger los principios y valores de la promoción de la salud, como respuesta a los anteriores y nuevos desafíos
para crear y mantener condiciones de salud favorables en la población.
16
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
I.
Evaluación en salud pública desde la
perspectiva de promoción de salud.
Conceptos, posiciones y controversias
PRESENTACIÓN
En este capítulo realizamos una revisión
crítica de los conceptos de salud pública y
promoción de la salud a la luz de las teorías y
enfoques metodológicos propuestos para evaluar desempeño, efectividad, impacto y costo
efectividad de estas intervenciones.
Esta revisión será insumo para comprender
los planteamientos de los temas abordados en los
siguientes capítulos de esta publicación y para
juzgar si hemos logrado que la evaluación no sólo
sea veraz y creíble, sino también “justa” (Heaney,
et al. 1993).
El contenido del capítulo se orienta a brindar elementos para comprender los conceptos
básicos sobre evidencias, efectividad e impacto
de intervenciones en promoción de la salud y
salud pública para relacionarlos con el diseño,
la implementación y la evaluación de políticas
y programas.
17
Ligia de Salazar
18
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
INTRODUCCIÓN
Las iniciativas en salud pública y promoción de la salud implican
inevitablemente acciones en el campo social y político; es así como los
determinantes de la salud, la creación de capacidad para intervenirlos,
y la viabilidad para implementar las intervenciones según diferentes
contextos sociopolíticos se suman a los tradicionales indicadores de
morbilidad, discapacidad, mortalidad y factores de riesgo.
Las teorías, las posiciones y las propuestas para diseñar, operar y
evaluar intervenciones en salud pública y promoción de la salud, serán
tema de estudio a la luz de los principios que soportan esa nueva mirada de la salud pública, la cual acoge los principios orientadores de la
promoción de la salud tales como la equidad, la democracia y la justicia
social; el desarrollo local; la producción social de salud; la autonomía
y el empoderamiento de los sujetos y grupos sociales; y gestión de
políticas públicas, lo que explica el carácter político de la evaluación.
House (1981) y Heaney et al. (1993) sostienen al respecto que la
importancia que la evaluación ha ido adquiriendo, tanto en medios
académicos como institucionales, no reside sólo en su carácter de
investigación científica, como en principio cabría pensar, sino muy
especialmente en sus notables implicaciones políticas. Las evaluaciones
19
Ligia de Salazar
se realizan con el propósito -tácito o explícito- de informar e influir,
en un sentido o en otro, en el proceso de toma de decisiones políticas.
De allí que los paradigmas que han prevalecido hasta el momento en
relación con los enfoques de evaluación, deban ser revisados a la luz
de este carácter político de la evaluación, y de la necesidad de que ésta
cumpla con los principios éticos que subyacen a éstos.
Según House (1981), la práctica evaluativa debe fundamentarse en
principios éticos, tales como la igualdad de las distintas audiencias a
la hora de tomar parte en el proceso de evaluativo, el hecho de que las
opiniones puedan ser expresadas libremente y con total autonomía, la
imparcialidad en el juicio y la reciprocidad.
Para dar inicio a este capítulo, es necesario tener en cuenta algunos
hechos relacionados con el alcance y la práctica de intervenciones en
salud pública y promoción de la salud, y su influencia en la evaluación:
• Uso de conceptos "prestados" de países que tienen realidades
y contextos diferentes. Uno de los hechos que ha generado
amplios debates es que la promoción de la salud en América
Latina ha sido instituida con base en modelos foráneos. Por
tanto, hay necesidad de identificar los componentes esenciales
de su definición, teoría y práctica para nuestro medio, tomando
en consideración características culturales, sociales, políticas y
económicas propias.
• Avances en salud pública que conceptual y estratégicamente
conectan la salud a procesos de desarrollo. Hay necesidad de
recoger en forma crítica y propositiva los fundamentos de estos
procesos de cambio en la región y las razones para su limitado
adelanto.
• Mayoría de intervenciones y evaluaciones están orientadas a la
prevención y control, a través de cambios en el comportamiento
individual. Poco se sabe sobre la efectividad de las prácticas para
20
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
aumentar la capacidad para decidir y actuar al modificar situaciones adversas y promover estructuras y prácticas saludables en lo
colectivo.
• Escaso conocimiento sobre evaluación de intervenciones que
incorporan en su práctica indicadores de desarrollo social y
territorial. La mayoría de las evaluaciones usan indicadores de
morbilidad, mortalidad y factores de riesgo o intervenciones en
salud pública orientadas a la prevención y control de enfermedades.
1. Naturaleza de intervenciones en salud pública desde la perspectiva
de la promoción de la salud
Los teóricos de la promoción de la salud han identificado las bases
conceptuales y los principios que fundamentan tanto la teoría como
la práctica en este campo. A pesar de este esfuerzo, se encuentran una
variedad de expresiones prácticas de ella, mediadas por la influencia
de aspectos socioculturales y políticos del contexto.
El uso de términos como promoción de la salud, medicina social,
salud pública, y salud colectiva sugieren diferentes alcances del abordaje a la salud de la población. Es fundamental el esclarecimiento
conceptual de estas definiciones, apoyado en las raíces históricas de
estos abordajes, tanto para probar y construir teoría alrededor de su
evaluación, como para cualificar los procesos de formulación de políticas e intervenciones en salud pública. Es claro que con paradigmas
distintos, los modelos de intervención no pueden ser sujetos a un mismo
mecanismo de validación.
De acuerdo con una formulación realizada por Waters et al. (2006),
la promoción de la salud y la salud pública abarcan la valoración de la
salud de las poblaciones y la formulación de políticas para prevenir o responder a los problemas de salud, promocionando la salud y los ambientes
saludables a través de un esfuerzo organizado de la sociedad. La salud
21
Ligia de Salazar
pública promueve la acción social para invertir en condiciones de vida
que mantengan y protejan la salud. Lo anterior cubre un amplio rango de
intervenciones orientadas a mejorar la salud, actuando desde varios niveles
y tipos de acción.
Promoción de la salud y salud de la población
La promoción de la salud y la salud pública tienen mucho en común. No obstante funcionan
a partir de bases teóricas y supuestos de investigación en cierta medida diferentes. En 1996,
en un esfuerzo por consolidar la complementariedad de estos dos enfoques, Health Canada
produjo un modelo de síntesis “Promoción de la salud de la población”, que combinaba las
estrategias de la Carta de Ottawa y una lista de determinantes importantes de la salud y grupos
de población.
Este modelo ha sido bien recibido entre los promotores de la salud de Canadá, habiéndose
disipado buena parte de la inquietud inicial que suscitaron los enfoques sobre la salud de la
población. El término ‘Promoción de la salud de la población̉ es de uso cada vez más generalizado, y es posible que se convierta en el nuevo concepto unificador, aunque para otros autores
sea una redundancia.
Los modelos de intervención en promoción de la salud no pueden ser sujetos
a un mismo mecanismo de validación (Castro, 2004)
No es lo mismo reconocer evidencias de efectividad de la promoción de la salud enmarcadas
en una concepción médico-preventivista enfocada a la enfermedad, que desde una visión orientada al consumo individual de estilos de vida saludables, al cambio de conductas, o referidas
a “desarrollo a escala humana”, la lucha por la equidad, la calidad de vida y la acción sociopolítica transectorial.
Los diversos paradigmas de la salud pública y de las ciencias sociales determinan las interpretaciones y las prácticas de la promoción de la salud y por ende, deben ser referentes explícitos
en cada caso, para el estudio de las evidencias de su efectividad.
La promoción de la salud ha tenido especial atención, sobre todo a
partir de la década de los años setenta, no sólo por quienes se desempeñan en el campo de la teoría y la práctica de la salud pública, sino
también por quienes se ocupan de las políticas sociales y de salud. Los
centros académicos y de investigación, los gobiernos, los ministerios de
salud pública y los organismos de colaboración internacional en salud
han dedicado importantes espacios de debate a este tema, pronuncián22
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
dose en relación con su concepción e importancia en las estrategias de
salud y elaborando y difundiendo declaraciones, siendo la más conocida
la Carta de Ottawa.
Carta de Ottawa
La Carta de Ottawa definió cinco áreas operacionales de la promoción de la salud, interconectadas de tal forma, que los alcances y resultados que se tengan en cada una de ellas, están
determinados por lo que suceda en las otras, comportándose como un sistema complejo:
1. Formulación de políticas públicas, que además de orientar la acción en salud poblacional,
den cumplimiento a los principios y valores que impulsan la promoción de la salud.
2. Fortalecimiento de las acciones comunitarias y de la participación de la gente en las decisiones y acciones relacionadas con su salud -empoderamiento-.
3. Creación de ambientes favorables tanto en sus dimensiones físicas como sociales y fortalecimiento del sistema de apoyo social de la comunidad.
4. Desarrollo de las aptitudes personales para tomar decisiones saludables y soportar presiones negativas para la salud.
5. Reorganización de los servicios de salud para hacer hincapié en la equidad en el acceso y
calidad de la atención, al igual que en convertir las instituciones en escenarios desde donde
se promueve y construye salud.
Promoción de la salud según la Carta de Ottawa
La promoción de la salud fue definida en la Carta de Ottawa como
el proceso para proporcionar a los pueblos los medios necesarios para
mejorar su salud y ejercer un mayor control sobre la misma (WHO,
1986). Este proceso alienta a las personas a que mejoren su salud porque pueden ejercer un mayor control sobre sus determinantes a través
del empoderamiento de los grupos y de las comunidades para actuar
individual y colectivamente.
Aunque con la promulgación y adopción de la Carta de Ottawa la
promoción de la salud fue claramente definida, su operación tiene
múltiples expresiones y es moldeada, entre otros, por el pensamiento de
las organizaciones que la impulsan, el contexto y el escenario socio político en el que se concibe e implementa; por resultados de experiencias
previas, por el clima social y el equilibrio de las relaciones de poder.
23
Ligia de Salazar
Lo anterior explica el por qué la promoción de la salud es visualizada
y evaluada con base en su contribución para mejorar las condiciones de
salud y su potencial para crear y mantener procesos de cambio social
capaces de modificar sus determinantes. Estas perspectivas políticas y
sociales explican en parte, la complejidad de estas intervenciones, lo
cual se refleja en los criterios para juzgar su éxito y en los enfoques
metodológicos para evaluarlas.
Con alguna frecuencia se
ha reducido el concepto
de promoción de la salud
a educación para la salud,
olvidándose que ésta es
solo uno de los recursos
con que cuenta la promoción. Otro reduccionismo
es convertir a la estrategia
de promoción de la salud
en acciones dirigidas a lograr cambios en los estilos
de vida individuales.
La promoción de la salud interviene en
la dimensión social de los determinantes de
la salud de la población, y es una categoría
integradora esencialmente intersectorial y
de participación social, por lo que rebasa las
fronteras del accionar médico y de lo que
comúnmente se conoce como el sector salud.
En ocasiones se confunden los conceptos
de promoción y prevención, por que aunque
son diferentes, a la vez pueden ser complementarios. De las cuatro grandes estrategias
de la salud pública (promoción, prevención,
atención y recuperación), la promoción de la
salud es la más social, la más integral, la que
más impacto potencial tiene en las raíces de la salud y la que menos
depende de la acción de los servicios de salud.
Las acciones de promoción de la salud de mayor impacto son las
poblacionales, a diferencia de las acciones de atención y recuperación
que se realizan fundamentalmente sobre individuos. Cada problema,
en cada contexto, requiere una respuesta social específica que consiste
en una combinación de acciones; las de promoción de la salud de
mayor impacto potencial, serán aquellas que se realizan sobre comunidades y poblaciones enteras con la participación de la mayoría de los
sectores y actores sociales. Las acciones poblacionales de promoción
(como, por ejemplo, la elevación del nivel educativo; las políticas para
24
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
garantizar el acceso y la equidad de oportunidades y bienes y servicios;
la mejoría de la situación alimentaria y nutricional; el acceso a empleo
seguro e ingreso digno; y la construcción de infraestructura sanitaria),
intervienen sobre los procesos determinantes del estado de la salud,
más que sobre riesgos y daños específicos.
Si bien es cierto que interesa que los individuos adopten estilos de
vida sanos, ello está altamente condicionado a la modificación positiva
de las condiciones de vida de los grupos humanos. Los estilos de vida
individuales responden en gran medida a las condiciones en que los individuos viven, estudian y trabajan. No es lo mismo promover cambios
en los estilos de vida en personas con un alto nivel socio económico,
que en quienes viven en un barrio marginal en situación de pobreza. Es
obligatoria la modificación positiva de las condiciones estructurales de
vida y por su conducto, los estilos de vida individuales.
Significados de la práctica de la promoción de la salud
Aunque hay una definición conceptual universal de promoción de
la salud, su definición operacional, es decir, la forma como es implementada, difiere, como fue mencionado, según el contexto sociopolítico
en el cual es conducida, la disponibilidad de ciertas condiciones para
hacer factible la implementación y el enfoque filosófico e interés de
los responsables de ponerla en práctica.
La promoción de la salud como proceso social y político es por
naturaleza dinámica, y está influenciada por las condiciones específicas
de cada lugar, las cuales moldean tanto su esencia como su alcance, al
igual que su implementación y su éxito. Estos elementos del contexto
no necesariamente son identificados o entendidos al inicio de la intervención, de allí que sea necesario la vigilancia permanente del proceso
y más importante aún, el uso de esta información para reorientar la
intervención.
Las intervenciones en salud pública y promoción de la salud se fundamentan en teorías del cambio. Éstas describen cómo una intervención
25
Ligia de Salazar
supuestamente va a suministrar los resultados deseados y la lógica de
causalidad en relación con el cómo y el por qué una intervención particular alcanza sus resultados. Una teoría del cambio puede ser modelada
de varias formas: con modelos teóricos, modelos lógicos, estructuras
lógicas, modelos de resultados y cadenas de resultados, los cuales deben
ser probados en la práctica para producir teoría.
Los principios y valores que soportan las acciones en promoción
de la salud no siempre están de acuerdo con el sistema político y
la legislación, lo que dificulta en reiteradas ocasiones el encontrar
apropiados escenarios para implementar tales intervenciones; es el
caso de reformas enfocadas a la provisión de servicios y a la rentabilidad económica de las instituciones. Frecuentemente se encuentran
dificultades para caracterizar y simplificar intervenciones que por
naturaleza son complejas, y esto se torna más difícil por la necesidad
de pensar en que las causas de enfermar no son propiamente agentes
biológicos fácilmente identificables, sino un sistema abierto de procesos sociopolíticos en el que ocurre el fenómeno salud-enfermedad
en la población, al considerar la población como agregados de individuos en lugar de grupos organizados que se relacionan e interactúan
siguiendo patrones específicos organizacionales.
¿Quiénes están involucrados?
En 1990, la Organización Mundial de la Salud/Organización Panamericana de la Salud, OPS/OMS, propuso una definición que explicita
los responsables de la promoción de la salud: “Suma de las acciones
de la población, los servicios de salud, las autoridades sanitarias y
otros sectores sociales y productivos, encaminados al desarrollo de las
mejores condiciones de salud individual y colectiva”.
La anterior definición implica una acción permanente que compromete a todos los actores de la sociedad, con una intencionalidad clara de
fortalecer habilidades y capacidades de los individuos, las familias y los
grupos a través de un proceso político y social. Este proceso se convierte
en el centro de la acción y, por tanto, de la evaluación en promoción de
26
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
la salud. Una estrategia de promoción de la salud efectiva conduce a
cambios en los determinantes de la salud y ejerce una influencia directa
en la determinación social de la enfermedad. Esta responsabilidad es
analizada por Mittelmark (2001), cuando afirma que vincular la salud
con los derechos humanos y la equidad no sólo cambia las fronteras de
la responsabilidad del gobierno por la salud, sino que implica cambios
en la manera como los problemas de salud pública son conceptualizados
y analizados; en el proceso para determinar intervenciones relevantes;
en el diseño e implementación de las intervenciones, al igual que en los
enfoques e indicadores para monitorear y evaluar su éxito al introducir
indicadores relacionados con la exclusión y la discriminación, la equidad
y la participación de la comunidad en decisiones que la afectan.
En las áreas definidas por la Carta de Ottawa se articulan los ámbitos institucional, comunitario e individual, y aparecen elementos
fundamentales que deben considerar las intervenciones enmarcadas
en la promoción de la salud tales como la intersectorialidad, que es
entendida como la planificación y cooperación entre sectores para
crear mejores oportunidades para la vida saludable, lo que favorece la
participación de diversas disciplinas; y el empoderamiento, como un
proceso de acción social que promueve la participación de las personas,
las organizaciones y las comunidades para lograr un mayor control
individual y comunitario, mayor eficacia política, mejoramiento de
la calidad de vida y justicia social (Wallerstein, 1992). Estrechamente
vinculados a estos conceptos, y como aspectos estratégicos de las intervenciones en promoción de la salud, se encuentran las alianzas entre
diversos actores sociales y la generación de redes sociales.
Efectividad en la política
Es reconocido que un aspecto esencial en promoción de la salud es la política pública que promueva condiciones bajo las cuales las personas vivan de manera saludable, trabajen, aprendan,
jueguen y participen en la vida comunitaria. Dado que la política depende del proceso en que
se concibe, diseña y sostiene, su evaluación debe dar cuenta de estos aspectos, qué la afecta, de
qué forma y cómo usar el conocimiento (Milio, 1987; Minkler, 1997).
27
Ligia de Salazar
Intersectorialidad
La planificación y la práctica de la promoción de la salud es una actividad compleja como
consecuencia de la participación de varios sectores para dar respuesta a las problemáticas que
aborda. Si bien estamos acostumbrados a hacer la planificación de programas partiendo de
una lógica sectorial en promoción de la salud, el arte de concebir, diseñar, y construir agendas
de trabajo se realiza al articular sectores, recursos, disciplinas e instituciones en un esfuerzo
coherente de planificación-acción.
Para que la intersectorialidad tenga expresión real en los programas y acciones para mejorar
y mantener las condiciones de salud de la población, se requiere que la acción de los responsables de estos programas sea producto de una concepción integral del desarrollo social con
calidad y equidad, con énfasis en lo local y con una conciencia real de que para hacerlo sustentable se requiere el respaldo y la cooperación sinérgica y sostenida de los sectores público,
privado y comunitario, representado no solo en una intencionalidad sino en agendas de trabajo y recursos compartidos, lo cual redundará en ganancias sociales y de salud.
Los desafíos en este caso giran alrededor de las siguientes preguntas: ¿cómo cambiar una
lógica de planificación sectorial por una intersectorial?; ¿cómo hacer de ésta una actividad
permanente y no sólo coyuntural?; ¿cómo hacer que los planes de desarrollo territoriales se
conviertan en medios y mecanismos para cumplir con este objetivo?
Las condiciones socioeconómicas en la región han cambiado desde
la expedición de la carta de Ottawa. En los países en desarrollo la deuda
nacional, el crecimiento económico, el empleo, las políticas de bienestar,
la migración a causa de la violencia, la descentralización administrativa
y financiera, y la liberalización del mercado, han tenido repercusiones
en los determinantes de la salud. A pesar de ello, las intervenciones en
salud pública y promoción de la salud continúan focalizándose en la
prevención y control de las causas proximales de enfermar y morir.
Si bien no existe un solo camino para mejorar las condiciones de
salud de las poblaciones, se han identificado una serie de componentes
para orientar la práctica en este campo: empoderamiento y construcción
de capacidad local para enfrentar condiciones adversas y promover
salud mediante la organización de redes sociales; participación social
y comunitaria en la toma de decisiones; reorientación de servicios para
garantizar el acceso y calidad; y acción intersectorial soportada en alianzas para un desarrollo sostenible. Estos son algunos de los componentes
comunes en este tipo de intervenciones.
28
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
El concepto de complejidad aplicado a intervenciones en salud pública y
promoción de la salud
La complejidad ha sido definida como “una teoría científica, la cual
sostiene que algunos sistemas presentan fenómenos comportamentales completamente inexplicables por cualquier análisis convencional
sobre cualquiera de las partes que constituyen el sistema” (Casti,
1997, citado en Hawe et al., 2004). El argumento es que “entre más
dificultad haya para definir exactamente cuáles son los ingredientes
centrales (activos), de una intervención y cómo se relacionan entre
ellos, es mayor la probabilidad de que estamos al frente de una intervención compleja”. (Medical Research Council, 2000, citado en
Hawe et al., 2004).
El reducir un sistema complejo a la cantidad de componentes que lo
integran sería una pérdida irrecuperable de lo que hace que funcione
como sistema, pues la intervención no es la suma de las partes (Casti,
1997, citado en Hawe et al., 2004). Es esta una de las razones para
reflexionar acerca de la estandarización de intervenciones de este tipo.
Debemos entonces preguntarnos ¿qué es estandarizable?
Una forma alternativa de pensamiento en relación con la estandarización puede ayudar a contestar esta pregunta. Los aspectos fijos
de la intervención son las funciones esenciales y el aspecto variable
es su forma en diferentes contextos. Más que estandarizar la forma
(mecanismos) de la intervención, lo que podría estandarizarse son los
pasos (componentes) en el proceso de cambio para lograr el objetivo,
dado que ellos provienen de la teoría en la que se basa la formulación
de la intervención. Según Hawe et al., (2004), estos mecanismos
podrían tomar diferentes formas de acuerdo con el contexto local. El
punto central es permitir que la forma pueda ser ajustada mientras el
proceso y la función podrían estandarizarse. El nivel de adaptación del
contexto no significa que la integralidad de lo que se está evaluando
en diferentes sitios se pierda. La clave es definir la integralidad basada
en su funcionalidad, más que por sus componentes.
29
Ligia de Salazar
Las intervenciones en salud pública deben tratar de entender las
comunidades como sistemas complejos, en los cuales los problemas
de salud o fenómenos de interés son producidos y manejados por el
sistema (Hawe et al., 2004). La integridad de la intervención debería
ser definida como la evidencia que encaja con la teoría o principios del
proceso de cambio que se ha conceptualizado.
La racionalidad de una
intervención compleja, los
cambios esperados y cómo
éstos son alcanzados puede que no estén claros al
inicio.
Una tarea clave es desarrollar un entendimiento
teórico del probable proceso de cambio, obteniendo
evidencia y teoría, complementado, si es necesario,
por investigación primaria.
La complejidad según Shield et al.,
(2008), es propiedad de un sistema, no de
una intervención. Un sistema complejo es
aquel que se adapta a los cambios en el ambiente local, está compuesto por múltiples
subsistemas complejos y se comporta en
forma no lineal. Las intervenciones en estos
escenarios pueden ser simples o complejas,
pero el enfoque de sistemas complejos nos
hace considerar el intervenir y estar atentos
a las interacciones que ocurren entre componentes de la intervención al igual que entre
la intervención y el contexto.
Aunque una intervención sea definida
como compleja, en la práctica prevalece el
pensamiento de intervenciones simples cuando se trata de describir la
intervención y definir si su integridad está ligada a la estandarización
de las formas de implementarla. Un análisis crítico de la lógica de la
intervención puede ayudar a construir intervenciones más fuertes y
efectivas (Hawe et al., 2004).
La complejidad según Shield et al. (2008), tiene dos significados:
el primero como una propiedad de la intervención y el segundo, como
propiedad del sistema en el que la intervención es implementada. Según este autor, una intervención compleja es construida por una serie
de componentes, los cuales pueden actuar en forma independiente o
interdependiente. Esto es lo que hace difícil definir los “ingredientes
30
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
activos” de la intervención y estar seguro de cuáles componentes o
combinaciones de componentes son más importantes.
La distinción entre estos dos enfoques (intervenciones complejas
vs sistemas complejos) es poco clara, ya que comparten características
comunes: por ejemplo, la no estandarización, multiplicidad, e interacciones. Más aun, las intervenciones complejas pueden presentar las
características de sistemas complejos dado que es imposible separar la
intervención de agencias humanas requeridas para su implementación.
La investigación en salud frecuentemente usa el término complejo para
referirse a intervenciones que tienen múltiples componentes. Una forma
alternativa es ver la complejidad desde la perspectiva del sistema en
donde se implementa la intervención.
De allí que Craig et al. (2008), argumenten que se requiere de un buen
entendimiento de la teoría (cómo la intervención produce un cambio),
para lograr que los vínculos débiles en la cadena causal puedan ser
identificados y fortalecidos. La ausencia de efectos puede significar
fallas de la implementación más que verdadera inefectividad, y un solo
resultado puede que no sea suficiente. Finalmente, Craig advierte que
asegurar una estricta estandarización puede ser inapropiado; la intervención puede funcionar mejor si se especifica en el protocolo el grado
de adaptación a diversos escenarios locales.
Hay dos preguntas que debemos respondernos en intervenciones
complejas: la primera hace referencia a la efectividad e impacto de la
intervención. Es importante comprender la cantidad de efectos y cómo
varían entre los recipientes de la intervención o en los diferentes escenarios en donde se aplique. La segunda se relaciona con la funcionalidad
de la intervención, en otras palabras, cuáles son los ingredientes activos
y cómo ellos producen efecto.
31
Ligia de Salazar
2. Evaluación de políticas y programas en salud pública y promoción
de la salud
¿Qué es evaluación?
La evaluación es percibida como un campo de investigación multidisciplinario y aplicado, el cual intenta estudiar aspectos del mundo real
en forma oportuna (Benjamín, Perfetto y Greene, 1995). Para Smutylo,
T. (2001), la evaluación es parte integral de un programa y de la gerencia de un proyecto. Es una herramienta de aprendizaje organizacional
orientada al fortalecimiento de la responsabilidad institucional. Milio,
por otro lado, argumenta que los estudios para evaluación de políticas
buscan identificar las brechas entre lo que es y lo que debiera ser, en
términos de políticas, objetivos y resultados, y entre fines y medios
(Brewer y de León, 1983).
En términos generales, la
evaluación se define como
la comparación y valoración
del cambio de un evento en
relación con un patrón de
referencia y como consecuencia de una determinada
intervención.
La evaluación también se ha definido como
la “valoración sistemática y objetiva de un proyecto, programa o política que se está desarrollando o se ha completado, teniendo en cuenta
el diseño, la implementación y los resultados.
La evaluación debe brindar información creíble y útil, que posibilite la incorporación de
las lecciones aprendidas en el proceso de toma
de decisiones” (OECD, 1998).
Según Hawe, Degeling, Hall y Brierley (2003), la evaluación es el
juicio de valor alrededor de algo, y añaden que la forma como juzguemos depende de las expectativas, las experiencias pasadas, de lo que
pensamos que es importante o no. Lo anterior afecta la forma como se
realiza la evaluación, los intereses que sirven y los métodos que usamos.
Por ello, no hay una forma estandarizada de hacer la evaluación, ni de
los productos que de ella se obtengan.
De otra parte, de acuerdo con Brownson, Baker, Leet y Gillespie
(2003), la evaluación es el proceso de analizar programas y políticas,
32
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
así como el contexto en el cual ellas ocurren para determinar si en una
implementación se requiere hacer cambios y valorar las consecuencias
intencionales y no intencionales; lo anterior incluye, pero no se limita
a determinar, si ellos están alcanzando sus metas y objetivos.
Según el Diccionario de Epidemiología (Last, 1983), la evaluación
es un “ proceso que intenta determinar, lo más sistemática y objetivamente posible, la relevancia, efectividad e impacto de determinadas
actividades a la luz de sus objetivos”. Hay una considerable variación
en los métodos usados para evaluar programas y, sin embargo, hay
mucha más variación en el lenguaje usado para describir cada una de
las distintas técnicas de evaluación. Hay métodos y técnicas de evaluación, de orden cuantitativo y cualitativo, siendo los más fuertes los
que combinan los dos.
La evaluación es parte esencial de los programas y políticas basados
en evidencia. Mediante la evaluación se puede: (1) orientar correcciones y cambios a medio curso de los programas o políticas; (2) ayudar
a determinar si el programa o política ha sido efectivo y cuánta de esa
efectividad se debe a la intervención o a otras intervenciones simultáneas; y (3) proveer información para planear el próximo programa o
política.
A continuación se presentan algunas definiciones de evaluación de
impacto, de resultados y de efectividad, en las cuales se muestra que no
hay líneas divisorias definidas o que se contrapongan a los conceptos
de diversos autores.
Evaluación de impacto
El Banco Mundial (2000) ha establecido que la evaluación de impacto tiene como objetivo determinar si el programa, plan o proyecto
“ produjo los efectos deseados en personas, hogares e instituciones,
y si esos efectos son atribuibles a la intervención del programa. Las
evaluaciones de impacto también permiten examinar consecuencias
no previstas en los beneficiarios, ya sean positivas o negativas”. Para
33
Ligia de Salazar
algunos evaluadores esto es lo que se conoce como una evaluación
de efectividad, la cual se establece una vez que podemos atribuir los
cambios o resultados observados a la intervención teniendo en cuenta
sus objetivos.
El objetivo de esta evaluación es valorar los efectos más generales
y menos inmediatos de la intervención en las necesidades de sus beneficiarios. Es un análisis complejo, pues debe indagar en las relaciones
de causalidad entre la intervención y los cambios observados (efecto
neto) deslindándolos de los efectos producidos por intervenciones distintas a la evaluada o por la propia evolución del contexto. Además, se
debe indagar sobre la capacidad de replicar los efectos positivos una
vez finalizado el programa, plan o política, es decir, la viabilidad y
sostenibilidad de la intervención.
Como puede observarse en las dos definiciones anteriores, hay similitudes y diferencias; la primera similitud es que en ambas se trata de
atribuir los cambios a la intervención; la segunda es que tienen como
criterio de éxito el cumplimiento de los objetivos para los que fueron
creadas, pero en diferentes horizontes de tiempo. En cuanto a diferencias, la principal es que la evaluación de impacto estudia los cambios a
largo plazo, bien sea previstos o no, y segundo, los efectos producidos
una vez que el programa se suspende.
Evaluación de resultados. Es aquella cuyo objetivo principal es valorar hasta qué punto se pueden conseguir, se están consiguiendo o se han conseguido los objetivos
establecidos más inmediatos (efectividad), y examinar a qué costo se
alcanzan en términos de tiempo, y recursos humanos, materiales y monetarios (eficiencia). Como puede apreciarse la evaluación de resultados
es un insumo para las evaluaciones anteriores y brinda información sobre
los productos o logros como parte de un proceso y no solo al final de la
intervención. Los indicadores intermedios para valorar la implementación y el desempeño de la intervención hacen parte de esta evaluación.
Como fue mencionado, este tipo de indicadores en intervenciones
34
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
cuyos objetivos se logran en un largo plazo, son muy importantes para
mantener a los tomadores de decisiones informados y motivados acerca
de la necesidad de dar continuidad a este tipo de iniciativas.
La evaluación ha ocupado la atención de muchos teóricos, funcionarios y académicos, que han reconocido esta actividad como un desafío
político y metodológico. La anterior afirmación se fundamenta en los
debates sobre el tema, la literatura escrita, los esfuerzos realizados y
las limitantes identificadas para desarrollar esta actividad (Speller et
al.,1997; McDonnald, Veen y Tones, 1996; De Salazar, 2002; WHO,
2001).
Evaluación de efectividad.
Como hemos mencionado, la evaluación plantea en sí misma desafíos
técnicos, políticos y culturales. Al concebir la promoción de la salud
como un proceso político de construcción de capacidad para crear, proteger y mantener la salud, al intervenir y modificar sus determinantes, se
entenderá que la evaluación debe centrarse tanto en la evolución de este
proceso como en sus efectos en la salud y el bienestar de la población.
La evaluación de efectividad de intervenciones de naturaleza política
y social, como las que se desarrollan desde la perspectiva de promoción de la salud, deberá considerar entre otros aspectos: el hecho de
que las iniciativas de promoción de la salud responden a procesos
dinámicos y participativos, los cuales son de naturaleza multifactorial
y multidimensional; la existencia en forma concomitante de diversas
intervenciones con objetivos específicos, aunque complementarios;
que son intervenciones en permanente cambio definidas en un proceso
también permanente de reflexión-acción; se orientan a grupos y poblaciones, en diversas ocasiones con una alta movilidad; con efectos a
largo plazo, muchas veces difíciles de medir y costear; y de beneficios
frecuentemente intangibles para los tomadores de decisiones; deben
estar articuladas a planes de desarrollo e intersectoriales, más que a
planes sectoriales.
35
Ligia de Salazar
Estas características son reflejadas en la evaluación; por tanto, hay
necesidad de combinar las ciencias políticas, sociales y biológicas, así
como diferentes niveles de acción: individual, familiar y comunitario,
tanto en el análisis como en la interpretación de los resultados, teniendo en cuenta las limitaciones para definir en términos operativos los
principales principios y valores que fundamentan este tipo de intervenciones; dificultad para generalizar y predecir resultados y el impacto;
la diversidad y, en algunos casos, los intereses opuestos de los grupos
de interés involucrados (evaluadores, financiadores, usuarios y teóricos); y la forma en que se conduce la evaluación en circunstancias de
escasez de recursos.
En el estudio Estado del arte sobre evidencias de efectividad en
promoción de la salud en América Latina (2003) realizado en el marco
de un proyecto promovido por la Unión Internacional de Promoción
de la Salud y Educación para la Salud, UIPES, se encontró que la
evaluación se ha caracterizado por la debilidad y poca relevancia de
los diseños metodológicos en relación con los desarrollos teóricos de
la salud pública y promoción de la salud, y como consecuencia de
ello hay una limitada validez, confiabilidad y uso de la información.
En este sentido, muchos esfuerzos carecen de la rigurosidad necesaria
para ser tenidos en cuenta como evidencias útiles de apoyo al proceso
de tomar decisiones.
Se requiere, por tanto, un replanteamiento en los sujetos y objetos de
evaluación, del alcance de la misma, de los métodos para seleccionar
las preguntas, de los indicadores para establecer valor al objeto evaluado, de la definición de criterios sobre relevancia, validez, precisión,
confiabilidad, reproductibilidad y utilidad de la información; de las
relaciones entre evaluadores y tomadores de decisiones y de los medios
para difundir y utilizar los resultados (De Salazar, 2002).
Es por ello que la actividad evaluativa demanda la aplicación de métodos apropiados para identificar, comprender y valorar procesos y resultados
de las intervenciones en sus dimensiones política, social y económica, y
36
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
en su contribución a la equidad y la calidad de vida de las poblaciones.
Esta doble intencionalidad de la evaluación está orientada tanto a procesos
como a resultados y consecuencias, y se relaciona con la construcción
de capacidad para lograr efectos positivos en el estado de salud y en los
determinantes de la salud y bienestar de la población.
Es por eso que más allá de explicaciones etiológicas obtenidas ante
situaciones ideales o controladas, se requiere producir información sobre la
efectividad de las intervenciones ante situaciones reales mediante un proceso en el cual, tanto la misma intervención como las variables abordadas,
en lugar de ser controladas sean identificadas, analizadas e interpretadas
para explicar los cambios. Igualmente, se debe obtener información para
comprender el proceso que produjo los resultados y establecer la correlación, asociación o atribución entre intervención y resultados.
Evidencias de efectividad en promoción de la salud
Las intervenciones en promoción de la
salud son parte de procesos políticos de acción
social que permanentemente deben repensarse
para hacerlos coincidentes con las necesidades, intereses y expectativas de los actores,
y para que sean producto de interpretaciones
colectivas de la realidad y de una visión común
para intervenirla.
La evaluación de estas iniciativas se
caracteriza por lo sistémico, permanente
y circular de la investigación, reflexión y
acción, mediante el cual se pretende responder a preguntas de diferente complejidad.
Implica la aplicación de métodos, técnicas
y herramientas para obtener información
sobre procesos y beneficios comparativos de
intervenciones en este campo.
37
Tanto evaluadores como investigadores sociales deben
abogar para que la agenda
investigativa en evaluación
no sea definida solamente
por agencias financiadoras, sino que cada día el
objeto de las evaluaciones
responda a los intereses
de los formuladores de
políticas y de una sociedad
que tradicionalmente se ha
visto marginada de los procesos de toma de decisiones
que afectan su calidad de
vida y bienestar.
Ligia de Salazar
Por un lado, la evaluación aporta información para juzgar el éxito
de los programas y adoptar decisiones para la asignación de recursos
(UIPES, 1999); y por otro, es de interés para los profesionales de la
promoción de la salud y la comunidad beneficiaria, pues les ofrece
información acerca del grado de éxito de una intervención con respecto
al logro de los principios, los objetivos y las expectativas, al igual que
de las condiciones objetivas que hicieron posible alcanzar los resultados
esperados.
Efectividad de la política
Un aspecto esencial en promoción de la salud es la política pública que promueva condiciones
con las cuales las personas vivan de manera saludable, trabajen, aprendan, jueguen y participen en la vida comunitaria. Dado que la política depende del proceso en que se forma y
mantiene, su evaluación debe dar cuenta de estos aspectos: qué la afecta, de qué forma y cómo
usar el conocimiento (Milio, 1987; Minkler, 1997).
Premisas generales
• La evaluación debe dar cuenta tanto de los cambios en los componentes de la intervención, como de los cambios en la condición
de salud, según los determinantes sociales de esta.
• La evaluación debe ser innovadora y aplicar enfoques metodológicos coherentes con su naturaleza; igualmente, debe tener en
cuenta la dificultad para atribuir o establecer relaciones causales
en torno a la efectividad de intervenciones interdisciplinarias,
transdisciplinarias, multienfoque y producto de ambientes complejos y en continuo cambio.
• La evaluación debe estar fundamentada en modelos y métodos
que den cuenta de su naturaleza cambiante, incierta y multiestratégica. Las conclusiones deben estar soportadas no sólo en
asociaciones estadísticas, sino también en asociaciones lógicas
en el contexto social en que se desenvuelve el programa o la
intervención. Por tanto, la evaluación debe aplicar una combina38
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
ción de métodos y técnicas cualitativas y cuantitativas apoyadas,
cuando sea posible, en técnicas de triangulación de información.
• Una evaluación, para que sea viable y pueda realizarse con la
periodicidad requerida, tiene que incorporar en su diseño metodológico formas eficientes y confiables para obtener información,
utilizando las fuentes existentes y creando nuevas opciones en
caso necesario, tales como los sistemas de vigilancia epidemiológica, las estadísticas vitales, los registros municipales, las
formas autóctonas de comunicación, los relatos e informes de
progreso de proyectos comunitarios, los informes de monitoreo
y evaluación, y los observatorios epidemiológicos y sociales.
Son fuentes de información importante los sistemas formales e
informales de comunicación e información, que hacen parte de la
cotidianidad de las comunidades e instituciones al igual que los
resultados de ejercicios de evaluación como el promovido por la
Organización Panamericana de la Salud, OPS, con la Evaluación
Participativa en Promoción de la salud (OPS, 2003).
• Si aceptamos la naturaleza cambiante de las iniciativas en promoción de la salud, debemos admitir que el diseño metodológico de la evaluación debe tomar en cuenta este cambio, y más
importante aun, explicitar las razones que indujeron a él. Esta
actividad se logra si hay un proceso flexible y permanente de
documentación y reflexión sobre la experiencia; o sea, si existe
un proceso de sistematización (De Salazar, 2002).
• Es improcedente evaluar la efectividad de intervenciones cuando
no hay certeza de qué fue lo que se implementó y del contexto
en el cual se llevó a cabo. La sistematización, incorporada al
desarrollo del programa, se convierte en una herramienta efectiva para aportar la información necesaria al proceso evaluativo,
dada su bondad para generar análisis crítico y reflexivo de las
experiencias vividas en un trabajo colectivo-participativo.
39
Ligia de Salazar
• La evaluación debe surgir de coaliciones entre los sectores y los
actores comprometidos con la intervención, a fin de garantizar su
activa y permanente participación, al recoger sus percepciones,
intereses, aportes y puntos de encuentro, así como sus puntos
de vista en la identificación y explicación de correlaciones entre
variables o categorías de estudio. Esta participación debe contribuir a la selección de preguntas que se desean responder y a
las formas de comunicar y utilizar los resultados.
• La evaluación debe ser integral y con compromiso social. Ésta
se reconoce como un proceso sistémico que descompone sus
elementos constitutivos para efectos de observación, descripción,
relación y valoración, y los integra en el análisis e interpretación
de la información para explicar los fenómenos sociales, partiendo
de circunstancias y hechos reales. Esta información es clave en
los planes de mejoramiento y para la adopción o creación de
nuevos programas.
¿Por qué es tan importante la evidencia en promoción de la salud?
Desde la perspectiva de la promoción de la salud se cree que el
futuro de la salud pública dependerá de su habilidad para demostrar
científicamente que es un campo efectivo para la acción de la salud
pública. En contraste, otros creen que la evidencia es inapropiada para
el campo de la promoción de la salud. En lo que sí hay consenso, es
en la necesidad de que la promoción de la salud demuestre su efectividad y desempeñe un papel cada vez más importante en el conjunto
de políticas de salud pública.
En el transcurso de los últimos veinte años de trabajo permanente
en promoción de la salud, diversos interrogantes han surgido en torno a
la relevancia y el éxito de las políticas e intervenciones en este campo,
y acerca de los costos económicos, sociales, políticos y culturales que
conlleva alcanzarlos. La necesidad de disponer de información sobre
la efectividad y rentabilidad social de intervenciones en promoción de
la salud ha sido reconocida en diversos escenarios y cada día crecen las
40
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
demandas para que se tomen decisiones informadas, fundamentadas en
evidencias acerca de la efectividad, relevancia y utilidad de las políticas
y programas.
A pesar del reconocimiento público e importancia dada a la articulación entre la evidencia científica y la toma de decisiones en salud,
en la práctica debemos afrontar diversas limitaciones para hacer esta
articulación efectiva. Una de ellas se relaciona con el concepto de
evidencia y su aplicación en promoción de la salud. Aunque ambos
conceptos se han documentado ampliamente la articulación entre
ellos todavía tiene muchos vacíos por cubrir. Es precisamente esta
articulación la que define la orientación y alcance de la evaluación
de efectividad en promoción de la salud.
Otro obstáculo que ha sido reconocido es la limitada experiencia técnica para desarrollar estudios de evaluación en intervenciones complejas
como las descritas, al igual que el uso efectivo de sus resultados. Con
relación a este último punto, falta conocimiento y comprensión de la racionalidad detrás de los procesos de toma de decisiones, elementos centrales
en cualquier estrategia de comunicación de resultados y de abogacía para
articular la evaluación a la toma de decisiones y política pública.
Si partimos de la necesidad de generar información relevante, oportuna y confiable para la toma de decisiones, más allá de explicaciones
etiológicas obtenidas ante situaciones ideales o controladas, se requiere
producir información sobre efectividad de las intervenciones en situaciones reales mediante un proceso en el cual, tanto la intervención como
las variables abordadas en contextos específicos sean identificadas para
comprender y explicar los cambios.
Dado que los tomadores de decisiones generalmente muestran poco
interés en resultados a largo plazo y tienden a valorar lo que pueden
presentar como resultado de su gestión, la evaluación debe responder
a esta necesidad, pero además, mostrar claramente aquellos beneficios
que se podrían conseguir a largo plazo si determinadas condiciones
41
Ligia de Salazar
del contexto se sostienen. Para ello, los estudios y las proyecciones
basadas en asociaciones establecidas por otros investigadores podrían
ser una gran ayuda.
La evidencia y su aplicación en promoción de la salud
Para mejorar la base de la evidencia en promoción de la salud, adicional al debate sobre
tipologías de evidencia, hay otras preocupaciones importantes.
En la práctica es válido notar que la evidencia sola no puede ser una práctica efectiva, como es
el caso de la medicina basada en evidencia. La evidencia externa puede informar, pero nunca
reemplazar la experiencia de los practicantes individuales, ya que éste es el que decide si la
evidencia externa aplica en absoluto para el grupo objetivo de una intervención, y si es el caso,
cómo debe usarse para lograr la efectividad.
En otros términos, para una intervención efectiva, otras áreas críticas además de la evidencia
necesitan ser tomadas en consideración (por ejemplo, las necesidades y expectativas de destinatarios directos de los servicios, los intereses de otros grupos de interés importantes, y la
competencia de un practicante en la planeación y evaluación). El uso concienzudo y juicioso
de la evidencia es sólo un elemento de la competencia de promoción de la salud. Es necesario
pero no suficiente para lograr una efectiva promoción de la salud.
(Tang, Ehsani y McQueen, 2003)
Desafíos de la evaluación
Durante el desarrollo de la evaluación nos enfrentamos a diferentes
y permanentes desafíos, algunos de ellos ya resueltos y otros en proceso;
los cuales todavía están esperando una respuesta, y es probable que no
sea dada en el corto plazo.
Han sido cuestionadas la relevancia, la complejidad, la utilidad y la
viabilidad de aplicar diseños evaluativos cuya validez dependa del rigor
científico y de supuestos que soportan los estudios analíticos.
A continuación se mencionan los desafíos más sobresalientes de los
diseños evaluativos:
• Responder a intereses y expectativas de diversos actores sociales
y socios de la intervención.
• Cumplir con las premisas de la evaluación anteriormente mencionadas, sin afectar la validez de los resultados. Es el caso del
42
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
carácter participativo que debe tener la mayoría de las evaluaciones en contraste con la demanda de algunos estudios para
que haya grupos control y se evite la “contaminación” entre los
grupos comparados; reglas difíciles de cumplir en intervenciones
poblacionales.
• Combinar diversos enfoques y técnicas de evaluación que
respondan a racionalidades e intereses diversos en un modelo
comprehensivo y relevante con las etapas de la evaluación.
• Ser eficiente durante el proceso evaluativo, logrando la participación de los directamente involucrados y articulando los resultados
en la gerencia del programa.
• Incorporar al diseño metodológico los elementos centrales de
la intervención en promoción de la salud como la equidad, la
intersectorialidad y la interdisciplinariedad, que esté dirigido
a grupos e instituciones conectados con procesos políticos y
sociales, incorporando a la comunidad como un actor activo.
• Interpretar y comprender integralmente los fenómenos encontrados
a partir de un análisis comprehensivo del contexto, del proceso y
de los resultados de intervenciones, que son complejas, según ya
lo hemos dicho.
• Ser oportuno en la disponibilidad y el acceso de los resultados
para la toma de decisiones, articulando tiempos políticos y tiempos técnicos. Difusión amplia de los resultados entre todos los
públicos interesados en la experiencia, para aplicar mecanismos
efectivos.
Enfoques y paradigmas de la evaluación de efectividad
Para Hawe, Degeling, Hall y Brierley (2003), la investigación evaluativa tiene diferencias con otros tipos de investigación debido a que
involucra dos procesos: observación y medida, al igual que comparación de lo que se observa con algunos criterios o estándares que son
43
Ligia de Salazar
Los paradigmas usados
para guiar la formulación
de preguntas y, por tanto, los
diseños para responderlas,
son de dos tipos: epistemológicos y ontológicos. Los
primeros reflejan diferentes
perspectivas en la relación
entre quien establece la
pregunta y lo que puede
conocerse; y los segundos
reflejan las diferentes perspectivas sobre la naturaleza
de la realidad y lo que puede
saberse sobre ésta.
indicadores de buen desempeño y resultado.
Los autores sostienen que no hay una forma
correcta o incorrecta de evaluar, sino que
depende de las diferentes percepciones y
exigencias de los usuarios de la información
en relación con lo que es considerado como
“evidencia” de que algo funciona, al igual que
el momento en que se realiza la evaluación.
Es esencial reconocer que las opciones
metodológicas que se seleccionen influencian la recolección e interpretación de los
datos y la utilización de los resultados de la
evaluación. Por ejemplo, mientras muchos
estarían de acuerdo en que la evaluación en
ausencia de los actores involucrados no es
muy útil, hay casos en que la evaluación se
realiza después de que el programa ha finalizado y los datos ya han sido
reunidos. Esto limita el potencial para poder involucrar a los diferentes
interesados en las decisiones sobre los tipos de preguntas y los datos
que deben ser recolectados.
Alternativamente, hay casos en que el foco de la evaluación y el
tipo de datos recolectados son decididos por los implementadores del
programa sin la entrada de un grupo más amplio de actores interesados,
debido a la creencia que el involucrarlos, de algún modo, “contamina”
los resultados de la evaluación.
Por otro lado, Wilber citado por Labonte (1993), delimita tres categorías epistemológicas de la investigación; nos referiremos a dos de
ellas: la analítica y la hermenéutica.
La analítica estudia hechos reales independientes de nuestra percepción; es también llamada positivista. Este paradigma se caracteriza
por la creencia en una sola realidad independiente de cualquier interés
44
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
del observador, las explicaciones de causalidad, su presunción de que
una verdad universal puede ser encontrada y su preocupación por la
predicción vía la prueba (certeza).
La segunda categoría, la hermenéutica, considera las percepciones
individuales de fenómenos que se vuelven modelos de la realidad socialmente construidos. Es la epistemología constructivista, la cual inicia
con la idea fundamental de que existen múltiples realidades socialmente
construidas, las cuales no están gobernadas por leyes universales.
El autor añade que la “verdad” es la más informada y sofisticada
declaración de entendimiento del cual hay un consenso razonable. El
investigador está interconectado con el aspecto bajo investigación, al
mostrar los hallazgos como creación del proceso de investigación, más
que los hechos. Su metodología es un proceso de interacción, análisis,
crítica, reiteración y síntesis, que lleva a la emergencia de algunos
entendimientos compartidos de un caso o conjunto de relaciones. En
resumen, la teoría constructivista se ocupa del significado, vía entendimiento-comprensión.
Si analizamos la evaluación de efectividad en promoción de la salud
bajo estos paradigmas, se entendería que el enfoque constructivista
podría ser el más apropiado. La pregunta es si, para los tomadores de
decisiones y usuarios de los datos, este tipo de evidencia es suficiente y
creíble para fundamentar sus decisiones. Se ha cuestionado la relevancia,
la complejidad, la utilidad y la viabilidad de aplicar diseños evaluativos
de investigación etiológica considerados óptimos por su capacidad para
controlar aspectos que afectan la precisión y validez del estudio, como
es el caso de los estudios experimentales (WHO, 2001; Susser, 1994
citado por Borja-Aburto, 2000).
Más que calificar uno u otro tipo de evaluación, se trata de señalar las diferencias y la complementariedad entre ellas, sin forzar o
desestimar las bases teóricas sobre las que se sustentan. Un aspecto
central para lograr esta complementariedad es saber el vínculo entre
45
Ligia de Salazar
los resultados intermedios y los finales, según el marco lógico en que
se fundamenta la intervención.
La evaluación de efectividad en promoción de la salud debe articular
estos enfoques, tanto en su diseño como en la implementación y uso de
la información. Por otro lado, el diseño metodológico debe propugnar
por una interpretación y comprensión integral de los fenómenos encontrados a partir de un análisis comprehensivo del contexto, el proceso y
los resultados.
Contestar preguntas como
¿qué queremos saber?,
¿cuál es la información
que esperamos obtener con
la evaluación?, ¿para qué
evaluamos?, ¿qué haremos
con la información?, y
¿quién requiere la evaluación? es de gran utilidad
para definir el diseño más
adecuado de evaluación.
Lo anterior ha obligado a evaluadores y
tomadores de decisiones a debatir el tema, al
tener como referente factores que compiten
tales como precisión, validez y oportunidad
de la información versus su utilidad para la
toma de decisiones; temporalidad de la investigación evaluativa versus proceso político
y gerencial; información para promotores
del proceso versus información para formuladores e implementadores de políticas
e investigadores interesados en la teoría
que fundamenta la promoción de la salud;
evidencia de efectividad versus evidencia
de rentabilidad social; factores técnicos y económicos versus factores
éticos, entre otros. Por ello, el evaluador se enfrenta a situaciones conflictivas que debe sortear.
¿Qué cuenta como evidencia para las diferentes audiencias o tomadores de
decisiones?
El término evidencia es a menudo restringido a hechos cuantitativos
derivados de diseños experimentales aleatorizados, que no capturan la
complejidad inherente a la promoción de la salud (McQueen & Anderson, 2000).
Irena Madjar y Jo Ann Walton (2001), argumentan que en una amplia noción de evidencias también se incluye la evidencia cualitativa
46
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
de experiencias vividas e historias de casos. Este tipo de evidencias es
importante porque refuerzan la comprensión del comportamiento humano, promueven el pensamiento holístico, y ofrecen datos de contexto
cualitativos que son más que sólo “meras opiniones”.
La calidad de la evidencia se ha juzgado aplicando criterios como
el tipo de estudio empleado, la coherencia de los hallazgos con los resultados de otras investigaciones, y en general, aspectos relacionados
con la estimación de causalidad y atribución.
Para tomadores de decisiones, sin embargo, existen otros criterios
para valorar la evidencia de éxito o efectividad de una intervención,
los cuales también deben ser tenidos en cuenta.
Criterios para valorar el éxito o efectividad de una intervención
Hay diferencias importantes de perspectiva y énfasis con respecto a aquello que representa
el éxito de un programa de promoción de la salud. Entre dichas perspectivas podemos citar:
Los responsables de elaborar las políticas y los gestores de presupuestos, que deben tener la
capacidad de juzgar el éxito (o posible éxito) de los programas, con el fin de adoptar decisiones
relativas a cómo asignar recursos y rendir cuentas de sus decisiones. Este éxito suele definirse
en términos de la relación que existe entre la inversión y el logro de los resultados de salud a
corto plazo.
Los profesionales de la promoción de la salud, que deben ser capaces de juzgar, con una dosis
razonable de confianza, el posible éxito en la “vida real” de un programa, con respecto al logro
de sus objetivos y el logro de resultados intermedios. Este éxito se podría definir en términos de
la factibilidad de implantación de un programa, y de las posibilidades de lograr que las personas
y las organizaciones se comprometan con la iniciativa.
La población que se beneficiará de la acción de promoción de la salud, que valore el proceso
por medio del cual se lleva a cabo un programa, principalmente si un programa es participativo o no y si aborda o no prioridades que la propia comunidad haya identificado. Este éxito
se podría definir en términos de relevancia con respecto a las necesidades percibidas y de las
oportunidades de participación de la comunidad.
Los investigadores académicos, que necesitan juzgar el éxito con el fin de mejorar el conocimiento y la comprensión de la relación que existe entre las intervenciones y los efectos
observados aplicando ‘reglas de evidencia’ científica. Este éxito se podría definir en términos
de rigor metodológico, como mantenimiento de la integridad de los programas y el logro de
resultados predeterminados.
Si bien las anteriores perspectivas para juzgar el éxito de una intervención son diferentes, no son
mutuamente excluyentes. Cada una de ellas tiene por objeto modificar los determinantes de la
47
Ligia de Salazar
salud y lograr una mejora de ella, pero presentan diferencias marcadas en cuanto al énfasis que
ponen en el proceso mediante el cual alcanzan sus resultados y en cuanto a la importancia que
atribuyen al coste y a la factibilidad de la implantación.
En consecuencia, hay actualmente un amplio espectro de métodos y medidas que se utilizan en
la evaluación y establecimiento de la evidencia. Esta variación refleja no solamente las distintas
perspectivas mencionadas, sino también las importantes diferencias de estructura y punto de
partida de las intervenciones, al igual que los enfoques metodológicos para responder a las
preguntas de evaluación.
Adaptado de: “La evidencia de la eficacia de la promoción de la salud”. Parte II. Libro Evidencias. Un informe de la Unión Internacional de Promoción y Educación para la Salud, UIPES.
Simon et al. (1986), en su estudio sobre la selección en circunstancias
de incertidumbre, inconsistencia e información incompleta, anunciaron un fenómeno aún vigente. Según los autores, cuando a la gente se
le brinda información acerca de la probabilidad de ciertos eventos y
luego recibe información adicional relacionada con la ocurrencia del
evento (hechos concretos, no probabilidades), tiende a ignorar las probabilidades previas en favor de información muchas veces incompleta
e irrelevante acerca de un evento particular. El caso anterior lo vemos
en la influencia de los medios masivos de comunicación.
En el proceso de reconocimiento de tomadores de decisiones debemos diferenciar entre aquellos que usarán los resultados de la evaluación para reorientar la intervención y los que tienen interés en usar las
recomendaciones para tomar decisiones relacionadas con la continuidad
y la extensión del proyecto. En síntesis, los primeros toman decisiones
más de carácter técnico y los segundos, de tipo político. La participación de ambos contribuye a la calidad de la evaluación, al igual que a
la viabilidad y factibilidad y el grado de uso de resultados de la misma.
Es probable que haya diferencias entre lo que quieren saber los que
están implementando la intervención y los financiadores o interesados
en extenderla o repetirla en otro lugar. Los primeros podrían estar más
interesados en el desempeño de un programa y en la comprensión de
su proceso de implementación para introducir ajustes; y los segundos
48
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
tendrán, tal vez, mayor interés en conocer sus resultados y grupos beneficiados para justificar la inversión.
Nutbeam et al. (1990) citados por Potvin, Haddad y Frohlich (2001),
brindan información que ayuda a definir el tipo de participación de
cada uno de los potenciales involucrados en la evaluación. Según los
autores, la evaluación puede realizarse en unos pocos días o en muchos
meses, conforme el tiempo y recursos para informar a los tomadores
de decisiones.
Algunos autores (Nutbeam y Harris, 2004; Weiss, 1999) han reconocido que la evidencia y la evaluación son usadas en una variedad
de formas para orientar, justificar o apoyar el desarrollo de políticas y
estudiar la relación entre evidencia y política (Milio, 1987); y han explicado las diferentes formas en las cuales la evidencia ha sido utilizada
para guiar el proceso de formulación de políticas (Lin y Gibson, 2003).
Igualmente, si bien es deseable que las decisiones se fundamenten en
información confiable acerca de las relaciones causales entre variables,
es sabido que en diversas ocasiones la formulación de políticas se basa
en el uso de medidas menos precisas. Por tanto, los evaluadores deben
reconocer esas limitaciones y dar a conocer la validez, la aplicabilidad
y las restricciones de la evaluación y las recomendaciones que de ella
se deriven (Dowed y Town, 2002).
Es conveniente indagar y llegar a un consenso si hay muchos interesados en la evaluación, y que no tienen la misma perspectiva o parámetros
para valorar el éxito de los resultados de la intervención. La evaluación
según la perspectiva de un sólo usuario puede producir resultados “sesgados” dado que la perspectiva de éste no necesariamente refleja la de
otros actores, aunque sí orienta la evaluación y fija el referente para
comparar y valorar si algo funciona o es efectivo. A este respecto, Gupta
(2001) cuestiona la neutralidad al asignar un valor, señalando que en un
mundo de ideologías, es imposible ser completamente neutral cuando se
hace un análisis político. Aunque hay normas, valores e ideologías, no
debemos permitir que sean obstáculo para aplicar el análisis sistemático.
49
Ligia de Salazar
Si reconocemos estas limitaciones externas las podremos incorporar en
nuestro razonamiento científico.
La cuestión de la perspectiva se vuelve crítica en el análisis político
cuando lo consideramos desde la perspectiva de un sólo “cliente” o
usuario de la información, dado que los analistas pueden subordinar la
metodología a los intereses de ese cliente. Es indispensable reflexionar
sobre dos preguntas que hace Gupta (2001) en relación con la selección
de la perspectiva de análisis: ¿cómo la ideología y la percepción afectan
la interpretación de los resultados de la evaluación?; y ¿puede resolverse
esta disputa con herramientas analíticas objetivas?
Es necesario que tengamos presente que las diferentes perspectivas
o enfoques de evaluación, en lugar de contradecirse, son parte de un
proceso dialéctico de sucesivas aproximaciones a la verdad, en donde
Evidencia de efectividad y uso de resultados
Por lo general, la evaluación es descrita como un proceso útil que contribuye a la transformación de proyectos. También se define como proveedora de datos científicos que apoya la toma
de decisiones. Este uso instrumental de los resultados de la evaluación es el criterio último con
el cual gran número de evaluadores describen su función, aunque esto rara vez se logra. Por lo
anterior, varios teóricos de la evaluación han propuesto otros usos, tales como “iluminación”,
o sea, el aporte de la evaluación para dar explicaciones teóricas acerca del funcionamiento del
mundo (Weiss, 1972).
Para Mark, Henry y Junes (2000) se puede decir que todos esos usos específicos de los resultados de la evaluación coadyuvan el mejoramiento social, teniendo en cuenta que “aun sin
un uso directo, los resultados de la evaluación frecuentemente ayudan a definir los supuestos
de la gente, sus creencias y expectativas, y éstos al mismo tiempo parecen influenciar las decisiones posteriores acerca de programas y políticas, algunas veces distantes en tiempo y lugar
de la evaluación original”.
Evidencia y política
El factor político y ético de la evaluación de evidencia de efectividad ha sido señalado por Ray,
L. D. & Mayan, M. (2001), al hacer la pregunta quién determina qué se considera como evidencia,
cuáles son los indicadores apropiados, y cuáles son los estándares de comparación. Por otro lado.
Otra pregunta es ¿cómo lograr consenso de criterios para juzgar la evidencia de efectividad de una
política y programa cuando diferentes expectativas y racionalidades se encuentran?
50
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
el énfasis de la evaluación y los indicadores para valorar la práctica, a
través de su efectividad e impacto, con frecuencia dependen del momento o ciclo de vida de la intervención y, por tanto, de la viabilidad
de observar los productos de interés.
Según Nutbeam y Harris (2004), la política puede ser influenciada por
la evidencia en los siguientes casos: si la evidencia está disponible y es
accesible al momento de ser necesitada; si encaja en la visión política;
y si se orienta a acciones en las cuales el poder y los recursos están –o
pueden estar– disponibles, al igual que si hay sistemas, estructuras y capacidad para actuar. Las anteriores consideraciones marcan claramente
la necesidad de relacionar evidencia con toma de decisiones; en otras
palabras, evaluación y proceso político. También obliga a considerar
en la selección del diseño evaluativo este aspecto y no sólo el técnico,
y ser cuidadosos de no afectar la validez del estudio.
Esto nos lleva a entender que de la misma manera que para los
implementadores no será suficiente, y es más bien contraproducente,
esperar al final de la intervención para evaluar sus resultados, para los
financiadores y los planificadores quizás los resultados intermedios, los
datos cualitativos y las percepciones centradas en el proceso político, no
sean evidencia de éxito y, por tanto, no se pueda influir tan fácilmente
en la toma de decisiones. Todo ello plantea la necesidad de ahondar
sobre los requerimientos de información de las diferentes audiencias.
Como una respuesta a los anteriores planteamientos se proponen
diseños de evaluación que establezcan la asociación entre intervención
y resultados (intermedios, proximales y –efectos a más largo plazo –
distales); asociaciones explicadas no sólo por los resultados de pruebas
estadísticas, sino por análisis relevantes y plausibles, producto de marcos lógicos construidos socialmente y que utiliza información sobre la
documentación del proceso político y metodológico de implementación
de la intervención (estrategias y mecanismos); combinación de métodos
e instrumentos de investigación cualitativa y cuantitativa e información
de varias fuentes, según momentos del ciclo de la intervención.
51
Ligia de Salazar
La evaluación en promoción de la salud debe ser un proceso sistemático, de sucesivas aproximaciones, por lo que no se trata de un ejercicio
en un momento único sino de una tarea cuya periodicidad se extiende
en el tiempo de la implementación de la intervención y más allá de su
finalización. Esto implica integrar la evaluación a la cotidianidad del
desarrollo de la intervención y su gerencia.
El enfoque sistémico de la evaluación en promoción de la salud
demanda la interrelación lógica entre sus componentes y el contexto
en el cual la iniciativa se inscribe. La búsqueda permanente de las
interrelaciones entre los componentes dará las bases para la obtención
de las señales de efectividad de las intervenciones.
Las evaluaciones en promoción de la salud pueden orientarse a valorar la implementación
de la intervención, a reconocer las fortalezas, las frustraciones, el grado de satisfacción de los
usuarios, las reacciones de interesados y opositores, entre otros; a valorar la efectividad y el
impacto generado, y a producir nuevo conocimiento mediante la prueba de hipótesis.
A este respecto, Speller, Learmonth y Harrison (1997) señalan dos tipos de evidencia: la
primera es utilizada para “vender” promoción de la salud y salud pública, se refiere a la validez
externa; y la segunda, está orientada a construir teoría, por lo cual debe tener validez interna.
Ambos se complementan según el propósito de la evaluación.
Si entendemos que la evaluación en promoción de la salud es inherente al proceso de implantación de las intervenciones, ésta deberá
orientarse a responder a los diferentes intereses y preguntas según su
ciclo de vida, los procesos y los resultados esperados en el momento
de la evaluación. Desde esta perspectiva, se logrará una construcción
sistemática de muestras de efectividad y una reflexión sobre la práctica
en diferentes momentos.
El estudio del proceso, además de brindar información para redireccionar los programas e intervenciones, se convierte en el insumo
más importante para entender y explicar el porqué de un determinado
resultado o efecto.
52
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
El llamado es a evaluar no sólo los resultados e impacto de las intervenciones sino el proceso político y social para lograr los objetivos
de la promoción de la salud. Según Nutbeam y Harris (2004), las intervenciones en promoción de la salud pueden tener diferentes niveles
de resultado y diferentes efectos en el tiempo. Para estos autores la
evaluación de impacto representa el primer nivel de resultados de un
programa.
Ray y Mayan (2001) han abordado la parte política y ética de la evaluación de efectividad al preguntarse sobre los significados de evidencia,
los indicadores correctos y los estándares apropiados. Por ello, no sólo
es importante preguntarse por la efectividad de una determinada interCuadro 1: Un modelo de resultados de la promoción de la salud.
Resultados sociales y • Resultados sociales: calidad de vida, independencia funde salud
cional, equidad.
• Resultados de salud: reducción de la morbilidad, discapacidad, mortalidad evitable.
Resultados inter• Estilos de vida saludables: consumo de tabaco, elecciones
medios de la salud
alimenticias, actividad física, consumo de alcohol y drogas.
(determinantes de la • Servicios sanitarios eficaces: prestación de servicios presalud modificables)
ventivos, acceso a los servicios sanitarios y su adecuación.
• Entornos saludables: entornos físicos seguros, condiciones
económicas y sociales que apoyen la salud, buen suministro de alimentos, acceso restringido al tabaco y al alcohol.
Resultados de la
• Alfabetización para la salud: conocimiento relacionado con
promoción de la salud
la salud, actitudes, motivación, intenciones conductuales,
(medidas del impacto
habilidades personales, autoeficiencia.
de las intervenciones) • Acción y eficiencia sociales: participación comunitaria,
empoderamiento de la comunidad, normas sociales, opinión pública.
• Políticas públicas saludables y prácticas organizativas:
declaraciones políticas, legislación, reglamentación, asignación de recursos, prácticas organizativas.
Acciones de promo- • Educación: educación de los pacientes, educación escolar y
ción de la salud
comunicación con los medios de información, por ejemplo.
• Movilización social: desarrollo de la comunidad, facilitación de los grupos y asesoramiento técnico, por ejemplo .
• Abogacía: lobbing, organización y activismo político,
superación de la inercia burocrática, por ejemplo.
Tomado de: UIPES (2000)
53
Ligia de Salazar
vención sino por el proceso que fue capaz de producir esos resultados
en el corto, mediano y largo plazo (WHO, 2001).
La respuesta a preguntas como ¿qué queremos saber?, ¿qué información esperamos obtener con la evaluación? o ¿quiénes son los
interesados en los resultados?, será de gran utilidad para definir las
preguntas de evaluación apropiadas, el grado de precisión requerida
y el diseño más indicado.
¿Qué evaluar?
Con el fin de establecer una evidencia más convincente del efecto
de los programas en el tiempo, es necesario que los planifiquemos en
función de una valoración progresiva de la evidencia derivada de la
investigación epidemiológica, conductual y social que indique la existencia de asociaciones razonables entre la intervención y los efectos a
corto plazo, al igual que cambios posteriores estructurales tanto en los
determinantes de la salud, sobre todo los relacionados con la equidad
en el acceso y calidad de los servicios.
Es necesario prestar atención a la creación de las condiciones necesarias para implantar con éxito un programa. Existen varias teorías y
modelos que se usan de forma generalizada como guía del desarrollo y
la implantación de programas, que es posible adaptarlos a la mayoría de
las intervenciones. Para ello, podría ayudar el garantizar la existencia
de una conciencia pública y política suficiente sobre este aspecto y la
necesidad de acción; desarrollar capacidad para llevar a cabo el programa, por ejemplo, por medio de la formación de personal; y asegurar
que las políticas sean expresadas en reglamentaciones y recursos para
implantar y sostener el programa. Finalmente, la intervención debe tener
una amplitud, duración y sofisticación suficientes para arrojar cambios
y que éstos sean detectables.
Dada esta complejidad, no puede existir un único método o medida
considerado más importante o correcto para evaluar la efectividad de
estas intervenciones, así como tampoco una manera absoluta de eviden54
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
cia. La evidencia de la efectividad está relacionada de forma inextricable
con el punto de entrada (aspecto, población o escenario), la naturaleza y
el proceso de implantación de la intervención, las condiciones del contexto en las cuales se da el proceso de implementación, y la audiencia
receptora (responsable de elaborar las políticas, profesional sanitario,
investigador académico, etcétera).
55
Ligia de Salazar
BIBLIOGRAFÍA
Banco Internacional de Reconstrucción y Fomento / Banco Mundial (2000).
Directivas de desarrollo. Evaluación del impacto de los proyectos
de desarrollo en la pobreza manual para profesionales. Washington,
D.C. Pág 7-15.
Benjamin, K. Perfetto, E. y Greene, R. (1995). “Public policy and the application of outcomes assessments: paradigms vs. politics”. En: Medical
care, vol. 33, núm.4, págs AS299-306.
Brewer, G. y de León, P. (1983). Foundations of policy analysis. Homewood,
Dorsey.
Brownson, R., Baker, E., Leet, T. y Gillespie, K. (2003). Evidence-Based
Public Health, New York, Oxford University Press.
Craig, P., Dieppe, P., Macintyre, S., Mitchie, S., Nazareth, I. y Petticrew,
M. (2008). “Developing and evaluating complex interventions: the
new Medical Research Council guidance”. En: Research methods &
reporting. vol. 337:a1655.
De Salazar, L. (2002). Municipios y Comunidades Saludables. El reto de
la Evaluación. Centro para el desarrollo y evaluación de políticas
y tecnología en salud pública. CEDETES. Universidad del Valle,
Santiago de Cali, Colombia.
56
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
De Salazar, L., Vélez, J. y Ortiz, Y. (2003). Estado del arte de evidencias de
efectividad en promoción de la salud en América Latina. Proyecto
Regional Latinoamericano de Evidencias de Efectividad en Promoción de la Salud. Unión Internacional de Promoción de la Salud y
Educación para la Salud, UIPES. Santiago de Cali, Colombia.
Gupta, D. (2001). “Analyzing public policy: concepts, tools, and techniques”.
Washington D.C., CQ Press a division of congressional quarterly Inc.
Hawe, P.; Degeling, D.; Hall, J. y Brierley, A. (2003). Evaluating Health
Promotion: A Health Worker Guide. Sydney, Australia, Maclennan
and Petty Ltd.
Hawe, P.; Shiell, A. y Riley, T. (2004). “Complex interventions: how ‘out of
control’ can a randomized controlled trial be?” En: British medical
journal, vol.328, pp.1561-1563.
House, J. (1981). Work stress and social support. Reading, Massachussetts,
Addison-Wesley.
Heaney, C.; Israel, B.; Schurman, S.; Baker, E.; House, J. y Hugentobler, M.
(1993) “Industrial relations, worksite stress reduction, and employee well-being: A participatory action research investigation”. En:
Journal of organizational behavior, vol. 14, pp. 495-510.
Labonte, R. (1993). Health Promotion and Empowerment: practice frameworks. Issues in Health Promotion. Series hp-10-0102. Centre
for Health Promotion. University of Toronto, Canadá.
Last, J. (1983). A dictionary of epidemiology. New York, Oxford University
Press.
Lin, V. y Gibson, B. (edits), (2003) Evidence-based health policy: problems
& possibilities. Melbourne, Oxford University Press.
Madjar, I. y Walton, J. (2001). “What is problematic about evidence?”. En:
J. Morse, J. Swanson & A. Kuzel (edits.) The nature of qualitative
evidence. Thousand Oaks: Sage.
Mark, M.; Henry, G. y Julnes, G. (2000). Evaluation. An integrated framework
for understanding, guiding, and improving public and non profit
policies and programs. San Francisco, Jossey Bass.
57
Ligia de Salazar
Mcdonnald, G., Veen, C. y Tones, K. (1996). “Evidence for success in health
promotion: suggestions for improvement” En: Health education
research, vol. 11, núm.3, pp. 367-376.
McQueen, D. y Anderson, L. (2000) Evaluation in health promotion. Principles and perspectives. WHO Regional publications european series,
No 92.
Milio, N. (1987), “Making healthy public policy: developing the science by
learning the art”. En: Health promotion international, vol. 2, págs.
263-274.
Minkler, M. (edit.), (1997). Community organizing and community building
for health. New Brunswick, Rutgers.
Mittelmark, M. (2001).”Promoting social responsibility for health: health impact assessment and healthy public policy at the community level”.
En Health promotion international, vol. 16, núm. 3, págs: 269-274.
Nutbeam, D., et al. (1990). “Evaluation in health education: a review of progress, possibilities and problems” En: Journal of epidemiology and
community health, vol.44, págs. 83-89.
Nutbeam, D. y Harris, E. (2004). Theory in a nutshell, a practical guide to
health promotion theories. Segunda edición. McGraw-Hill.
OECD (1998) Review of the DAC principles for evaluation development
assistance. Organization for Economic Co-operation and Development, OECD.
Organización Panamericana de la Salud/Organización Mundial de la Salud
[OPS/OMS], (1990). XXIII Conferencia Sanitaria Panamericana.
Washington, D.C.
Organización Panamericana de la Salud [OPS], (2003). Healthy Municipalities
Evaluation Group. Evaluation of Healthy Municipalities: A practical
toolkit. Draft Version, Washington D.C.
Potvin, L., Haddad, S. y Frohlich, K. (2001), “Beyond process and outcome
evaluation: a comprehensive approach for evaluating health promotion programmes”. Rootman, M. et al. (edits.), Evaluation in health
promotion: principles and perspectives, World Health Organization,
WHO, Regional publications, European series, núm. 92.
58
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Ray, L. y Mayan, M. (2001), “Who decides what counts as evidence?”. En:
Morse, Swanson y Kuzel (edits.). The nature of evidence in qualitative research. Thousand Oaks: Sage, págs 50–73.
Shiell, A., Hawe, P. y Gold, L. (2008), “Complex interventions or complex
systems? Implications for health economic evaluation” En: British
medical journal, vol. 336, págs. 1281-1283.
Simon, H., Dantzig, G., Hogarth, R., Piott, C., Raiffa, H., Schelling, T. et
al. (1986), Decision making and problem solving. [En línea], disponible en: http: //www.dieoff.org/page163.htm Recuperado: el 2 de
septiembre de 2009.
Smutylo, T. (2001). Impacto latente, atribución oculta: Cómo superar las
amenazas al aprendizaje en los programas de desarrollo. Unidad de
Evaluación, Ottawa, Canadá. Centro Internacional de Investigaciones
para el Desarrollo, CIID-IDRC.
Speller, V.; Learmonth, A. y Harrison, D. (1997). “The search for evidence of
effective health promotion” En: British medical journal, vol. 315,
págs 361-363.
Susser, M. (1994). “The logic in ecological. The logic of análisis”. En: Am J.
Public health, vol.84, núm. 5, págs. 825-829.
Tang, K., Ehsani, J., McQueen, D. (2003). “Evidence based health promotion:
recollections, reflections, and reconsiderations” En: Journal of epidemiology & community health, vol. 57, págs 841-843.
Unión Internacional de Promoción de la Salud y Educación para la Salud
[UIPES], (1999). La Evidencia de la Eficacia de la Promoción de
la Salud: Configurando la Salud Pública en una Nueva Europa.
Un Informe de la Unión Internacional de Promoción de la Salud y
Educación para la Salud, para la Comisión Europea. Segunda parte.
Libro de evidencia.
Wallerstein, N. (1992, enero-febrero). “Powerlessness, empowerment and
health: implication for the health promotion programs” En: American
journal of health promotion, vol.6, núm.3, págs. 197 – 205.
Waters, E.; Doyle, J.; Jackson, N.; Howes, F.; Brunton, G. y Oakley, A. (2006).
“Evaluating the effectiveness of public health interventions: the
59
Ligia de Salazar
role and activities of the Cochrane Collaboration”. En: J Epidemiol
Community Health, vol.60, págs 285-289.
Weiss, C. (1972). Evaluation research. Methods of assessing program effectiveness. Prentice-Hall Methods of Social Science Series. Prentice-Hall.
Weiss, C. (1999). “The Interface between Evaluation and Public Policy,” En:
Evaluation, vol. 5, núm. 4, pp. 468 – 486.
World Health Organization [WHO], (1986, 21 de noviembre). Ottawa Charter for Heatlh Promotion. First international conference on 7 health
promotion. Ottawa.
World Health Organization [WHO], (2001). Evaluation in Health Promotion.
Principles and Perspectives. Editado por: Irving Rootman et al. WHO
Regional publications, European Series, No 92.
60
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
II.
Identificación y formulación
de la pregunta de evaluación
PRESENTACIÓN
En este capítulo hacemos referencia a uno
de los aspectos críticos en la evaluación: la
pregunta que se pretende responder. Los temas
abordados se orientan a brindar insumos para
comprender los conceptos y criterios relacionados con la selección y formulación de la
pregunta de evaluación de políticas y programas.
En este capítulo exploramos los principales
desafíos y las estrategias para formular preguntas relevantes e investigables, reconociendo
que hay un rango amplio de factores políticos,
contextuales y técnicos, que influencian esta
decisión. Debemos considerar que cada intervención puede dar lugar a diferentes preguntas
de evaluación.
Al igual que la definición de la pregunta de
evaluación, otros aspectos relacionados han sido
tema de reflexión y debate: la definición de los
objetos y sujetos de evaluación, las variables e
61
Ligia de Salazar
indicadores para comprender, medir o valorar
el éxito o efectividad de las intervenciones, los
enfoques metodológicos para responder a la
pregunta, la articulación entre investigación y
política, y la relación entre evaluadores y tomadores de decisiones. En fenómenos sociales
complejos, como son la mayoría de intervenciones en salud pública y promoción de la salud,
donde las adaptaciones a condiciones específicas
de cada contexto pueden significar cambios en
la estructura conceptual de la intervención y en
su implementación, hay un riesgo grande de
que no se documenten estos cambios ni se tenga
consciencia de ellos y, por tanto, que la pregunta
de evaluación se oriente a evaluar lo que no se
ha implementado. Todos estos aspectos están
íntimamente relacionados, por ello la formulación de la pregunta no puede verse aislada de
los otros componentes de la evaluación.
62
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
INTRODUCCIÓN
La pregunta de evaluación está relacionada con el cumplimiento de
los objetivos de la intervención, al igual que con la calidad del diseño e
implementación y sus resultados. También hay preguntas que no pueden
responderse porque no corresponden a los objetivos de la intervención,
con el grado de implementación; o con resultados probables de alcanzar
al momento de evaluar (horizonte temporal).
Es frecuente que no se tenga interés en resultados intermedios sino
resultados finales los cuales a menudo son difíciles de obtener a corto
plazo. Un ejemplo de este hecho es que la construcción de capacidad
en promoción de la salud y el cumplimiento de principios y valores que
la impulsan no sean considerados, bien sea porque no son de interés de
los involucrados, o porque son difíciles de medir. Finalmente, es usual
que se formulen preguntas de evaluación que responden sólo a intereses
de los investigadores.
Hay poco interés por responder a preguntas que contribuyan a crear
teoría alrededor de la salud pública y la promoción de la salud, al igual
que obtener información sobre condiciones necesarias para hacer exitosas y replicables estas intervenciones.
63
Ligia de Salazar
La pregunta de evaluación, más que un requerimiento técnico
Para muchos la pregunta de evaluación ha sido considerada sólo
como un aspecto técnico olvidándose que éste debe estar al servicio y
ser coherente con la intencionalidad de la evaluación y con las necesidades de los usuarios de la evaluación. Desde esta perspectiva política
de la evaluación se identificarán los criterios para juzgar el éxito o
efectividad de la intervención.
En ese sentido, habrá que definir y negociar con los usuarios
los resultados de la evaluación, cuál es su interés: identificar si la
inversión valió la pena a la luz de los objetivos e impactos alcanzados; establecer asociaciones causales; medir, describir y valorar
la asociación entre variables alrededor de indicadores para juzgar
de éxito y fracaso; comprender las razones de los cambios del protocolo inicial según el contexto en el cual se implementa y evalúa
la intervención.
Hay diversos aspectos por explorar en este sentido, tales como:
¿Quiénes son los usuarios principales de los resultados de la evaluación?. ¿interesan a los usuarios de la información los resultados
intermedios?. Cuando hay varios usuarios, ¿cómo decidir quiénes son
los prioritarios?. La evaluación no puede responder al mismo tiempo
a varias preguntas con diferente alcance. ¿Cuáles son los criterios para
valorar el éxito de la intervención, y quién los define? ¿Se espera que
la evaluación contribuya a crear y a mejorar la teoría? ¿Es la evaluación
una herramienta de investigación que sirve para apoyar el proceso de
toma de decisiones o para apoyar decisiones que ya se han tomado?;
¿nos referimos a efectividad del proceso para construir capacidad o estamos interesados en el impacto y efectos de la intervención? ; ¿son las
anteriores categorías de análisis parte de un continuo o son categorías
de análisis independientes?; ¿qué tan estandarizable, útil y generalizable
debe ser la evidencia de efectividad en promoción de la salud? ¿Cómo
hacer corresponder las preguntas de evaluación con los intereses de los
usuarios, sin perder relevancia y validez?
64
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
La pregunta de evaluación debe surgir del consenso entre los involucrados con el fin de motivarlos para lograr una activa participación en las
diferentes etapas del proceso de evaluación. Este consenso es un proceso
de negociación, para lo cual se han creado diferentes metodologías.
Las preguntas que se refieren al proceso de implementación de la
intervención y resultados intermedios pueden ser identificadas y refinadas con la información obtenida del análisis de la práctica, para lo cual
se han propuesto técnicas como la documentación y sistematización de
experiencias, el mapeo de resultados, la síntesis realista, la evaluación
participativa, evaluación responsable, entre otros, que serán descritas
en detalle en el siguiente capítulo sobre enfoques metodológicos.
1. Identificación y formulación de la pregunta de evaluación
Una pregunta de evaluación pobremente formulada trae consecuencias no solo en el diseño del estudio y los resultados sino que puede
repercutir negativamente en la salud actual y futura de la población
beneficiaria, por las decisiones que de ella se deriven. Por tanto, las consecuencias de su selección son de orden político, social, técnico y ético.
Definición teórica y operativa de la intervención evaluada
Potvin, Haddad and Frohlich (2001), han afirmado que la formulación de la pregunta de evaluación exige una comprensión integral de
la intervención o del programa que se pretende evaluar.
Si bien en el capítulo I se hizo alusión a este tema, es válido
repasar algunos conceptos sobre el alcance de las intervenciones
en salud pública y promoción de la salud. Los nuevos desarrollos
teóricos y propuestas de acción en salud poblacional incorporan la
complejidad de los cambios sociales y refuerzan la importancia de
actuar no sólo en desmedicalización y reorientación de servicios de
salud sino en la esfera del desarrollo local, la equidad, el empoderamiento y los derechos humanos.
65
Ligia de Salazar
Uno de los aspectos a tener en cuenta cuando evaluamos estas intervenciones es la naturaleza cambiante del contexto, el cual se entenderá
como el escenario en el que la intervención es implementada y donde
interactúan las condiciones políticas, sociales y culturales que influencian el desarrollo y resultados de la intervención. Es precisamente este
carácter dinámico del contexto, y por ende de la intervención, lo que
demanda un conocimiento permanente del proceso de implementación
a fin de formular preguntas que correspondan a la intervención real en
la práctica, y no solo con la que inicialmente se planificó.
Intereses de los usuarios
La pregunta de evaluación debe responder hasta donde sea posible a
intereses y preocupaciones de los principales usuarios de la información,
incluidos formuladores de políticas, gerentes, proveedores de servicios
y beneficiarios con la intervención (Guba y Lincoln, 1981, 1985, 1989;
Stake, 1975, Stake y Abma, 2005). Se ha reconocido igualmente, la
importancia de la participación de la personas que están cerca de la
intervención (Earl et al., 2001; Jara, 2000; Francke y Morgan, 1995;
gobierno de Chile, 2004; De Salazar, 2004 ).
Propósito de la evaluación
Adicional a definir y caracterizar la intervención, es necesario que
los interesados en la evaluación logren consenso acerca del propósito
real de ésta: ¿qué exactamente debe ser evaluado?, ¿debe orientarse la
evaluación al diseño, al proceso de implementación, al impacto o a los
resultados?, ¿cuáles son las variables e indicadores para valorar el éxito?
Las respuestas a estas preguntas facilitarán el proceso de identificación
y formulación de la pregunta de evaluación.
Existen muchas razones por las cuales realizamos una evaluación,
entre las que están el interés científico, la justificación de una decisión
tomada, la necesidad de fundamentar decisiones relacionadas con la
suspensión, la extensión o el reemplazo de una intervención, las exigencias de agencias financiadoras y el mejoramiento del proceso de
implementación de la intervención. Esta última intencionalidad de la
66
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
evaluación es abordada por Smutylo (2001), al abogar por una evaluación cuyo interés se centra en el mejoramiento de la intervención más
que en probar la asociación entre intervención y resultados.
La pregunta de evaluación se formula según los anteriores intereses
y de ella depende el enfoque metodólogico y el diseño de estudio que
se utilice, tema que será abordado en el capítulo III.
Criterios para juzgar el éxito o el fracaso de las intervenciones
El éxito o efectividad de una intervención se valora con la medición,
la descripción y la valoración de variables (indicadores) y el establecimiento de asociaciones (atribución) entre los cambios o productos
observados como consecuencia de la intervención. Se indaga por información que dé cuenta del logro de los objetivos de la intervención.
Autores como Ray y Mayan (2001), han discutido aspectos políticos
y éticos relacionados con la evaluación de efectividad con preguntas
como: quién determina qué se cuenta como evidencia de que algo funcionó y cuáles son los indicadores apropiados para juzgar la efectividad.
Otros autores (WHO, 2001) llaman la atención sobre la necesidad
de incluir no sólo indicadores de efectividad sino indicadores que den
cuenta del proceso que dio origen a los resultados. Esta información
reviste gran importancia para comprender las intervenciones para incrementar la relevancia de la información, al igual que la responsabilidad
local para implementar las recomendaciones de la evaluación. Es probable que una intervención no sea exitosa al momento de ser evaluada
porque no se han cumplido los objetivos; pero produce señales de que
está en el proceso de conseguirlo, lo que se evidencia en indicadores
de construcción de capacidad y otros resultados intermedios.
Contexto de la intervención y viabilidad
Para definir preguntas relevantes, es necesario un profundo conocimiento sobre el contexto en el cual las intervenciones tienen lugar y
son evaluadas. La información del contexto incluye: ciclo de vida de
67
Ligia de Salazar
la intervención, grado de aceptación de diferentes interesados (tanto
beneficiarios como tomadores de decisiones), la vigencia de los supuestos y hechos que dieron origen a la intervención, las políticas actuales
que influencian el éxito de la intervención, y el interés por continuar
el programa.
La literatura muestra un creciente interés por articular conocimiento,
política y acción. Los países en desarrollo recientemente han mostrado
interés por trabajar más de cerca con los formuladores de políticas y
el público en general, a fin de hacer uso de los resultados de las investigaciones. Para el logro de este propósito se recomienda responder a
preguntas complementarias de interés para estos públicos.
En promoción de la salud, más que en cualquier otra iniciativa de
salud poblacional, el contexto está estrechamente ligado al concepto y
la valoración de evidencia y efectividad de intervenciones. Hay divergencia entre diversos autores en la influencia
Otros elementos para el del contexto en la búsqueda de la evidencia y
debate: ¿Qué tan útil y efectividad de intervenciones. Según Lomas
relevante es la estandariza- (WHO, 2006), la evidencia científica puede
ción de intervenciones que ser categorizada como “libre del contexto”
hayan mostrado evidencia (verdad absoluta) y “sensitiva al contexto”.
de efectividad? ¿Cómo dar Oxman (WHO, 2005), argumenta que toda
cuenta de especificida- evidencia es sensitiva al contexto, dado que
des y complejidades de los todas las observaciones son realizadas en
contextos en los diferentes uno específico. Esta publicación adopta esta
territorios y poblaciones? última posición, además de las razones da¿Quiénes son los tomado- das, por la naturaleza social y política de la
res de decisión? ¿Cuáles promoción de la salud. Este tipo de evidencia
son sus intereses y necesi- es plural y, por tanto, el conocimiento local
debe ser triangulado con otros enfoques indades?
vestigativos.
La racionalidad y las perspectivas con que los evaluadores valoran
las intervenciones no necesariamente corresponden a los tomadores de
68
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
decisiones; tampoco el significado de evidencia es el mismo para ellos.
Los financiadores y las agencias de financiamiento pueden tener mayor
interés en conocer los resultados y los beneficios que trae la intervención
para grupos especiales. Las preguntas de los financiadores tienden a
concentrarse en los beneficios desde la perspectiva de la sociedad, para
así ubicar recursos financieros y humanos (PAHO, 2007).
¿Cómo adaptar las preguntas de evaluación a los intereses de los
usuarios sin perder relevancia y validez? La respuesta a esta pregunta
es: a través de la negociación. Tanto en la negociación de la pregunta
como en el desarrollo de la evaluación, el evaluador asume el papel
de facilitador, interpretador y generador de condiciones para la interacción y negociación entre participantes en un ambiente de compartir
y aprender.
Viabilidad y factibilidad de lograr o alcanzar los objetivos de la evaluación
La evaluación está influenciada, entre otros aspectos, por la disponibilidad y calidad de la información que la orientan, para responder
la pregunta, al igual que la disponibilidad de recursos, por la urgencia
con que se necesitan los datos, y por el tipo y precisión que se busca
con la información. Para aquellos que utilizarán los resultados de la
evaluación para tomar decisiones sobre la continuidad, la extensión o
la suspensión de la intervención, la información sobre el impacto y sus
resultados finales son importantes.
Este no es el caso de aquellos que implementan la intervención, dado
que no es recomendable esperar hasta el final para tener resultados. Por
ello, las preguntas que den cuenta del desempeño a través de resultados
intermedios, son muy importantes para tomar decisiones orientadas a
mejorar la viabilidad y calidad de la implementación de la intervención.
2. Tipos de pregunta
Como ya se indicó, la pregunta es un insumo crítico para definir el
proceso evaluativo, por tanto, esta tarea debe ser producto de la concertación y la negociación de intereses entre los usuarios potenciales de la
69
Ligia de Salazar
información. Las variables y los indicadores de evaluación convierten la
pregunta en aspectos concretos, medibles y específicos. Estas dos tareas
son los referentes de análisis para hacer ajustes o propuestas alternos en
relación con el alcance de la evaluación y su orientación metodológica.
Hay que tener en cuenta que la cantidad de variables no garantiza la
precisión y la representatividad de la información producida. Una vez
identificadas las variables, debe descomponerse en características o
atributos más simples, lo que hace que sean más fáciles de medir. Esto
es lo que se conoce como operacionalización de las variables, lo que implica pasar de variables generales a intermedias y de allí, a indicadores.
La pregunta de evaluación responde a diferentes momentos de la vida
de un proyecto, al igual que a distintos intereses según los usos que se
quiera dar a los resultados. Lo importante es estar claro sobre qué es
evaluable en un determinado momento, para qué se quiere la evaluación,
quiénes serán los usuarios de la información y qué uso se hará de ella.
Un apropiado marco lógico, al igual que un proceso de documentación
y sistematización de la intervención, brindará las bases para soportar la
respuesta a esta pregunta, y dará luz sobre el alcance de la evaluación y
su contribución al mejoramiento de la teoría y la práctica en promoción
de la salud.
Es frecuente que los interesados en la evaluación y los tomadores de
decisiones deseen evaluar aspectos que rebasan las intenciones iniciales
o el objetivo de la intervención; en este caso hay que aclarar sus alcances
reales y recurrir al perfil del programa (marco lógico). El evaluador
debe analizar si la pregunta de evaluación es factible de responder; es
decir, valorar previamente la viabilidad técnica, los recursos y el tiempo
disponible para realizar la evaluación y tener en cuenta que la pregunta
deberá ser concertada con los tomadores de decisiones, de manera que
la información que se produzca también responda a sus intereses, sea
útil para sus propósitos y contemple la exploración de los beneficios
que se quieren demostrar.
70
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Hay al menos cinco tipos de preguntas interrelacionadas y ligadas
a la producción de evidencias para actuar:
• Las que tratan de averiguar el problema para identificar “si algo
debe hacerse”.
• Las que tratan de averiguar “qué debe hacerse”: identifican la
intervención.
• Las que tratan de averiguar “cómo debe resolverse el problema”:
definen el marco lógico de la intervención.
• Las preguntas que tratan de conocer si la intervención funcionó o
si fue efectiva: exploran la rigurosidad de los diseños evaluativos
para atribuir los resultados a la intervención.
• Las preguntas que tratan de encontrar explicaciones a los resultados: ¿qué hizo que la intervención funcionara? Tendencias e
interacciones de los factores que influencian los resultados, etc.
• Las dos últimas categorías de preguntas se relacionan con la
investigación evaluativa. Se parte del supuesto de que las tres
primeras preguntas se apoyan en otros tipos de estudios de
investigación que tienen como objetivo definir los problemas,
Aspectos claves para definir la pregunta de evaluación
•
Objetivo, recursos, resultados intermedios y finales, e indicadores de evaluación de la
intervención (marco lógico).
•
Etapa en que se encuentra la intervención, intereses de los involucrados o perspectiva de
los interesados
•
Disponibilidad y acceso a información de calidad
•
Factibilidad de responderla: tiempo y recursos
•
Contexto donde se desarrolla la intervención
•
Presencia de otras intervenciones con objetivos similares
•
La población a la que se orienta la intervención
•
No se podría evaluar el efecto o los resultados sobre poblaciones en las que no se intervino
71
Ligia de Salazar
encontrar asociaciones entre variables de interés en condiciones
“ideales” controladas, y crear teoría.
En este capítulo se hará énfasis en las dos últimas categorías de
preguntas: la primera se refiere al proceso de implantación de la intervención y a los resultados de ese proceso en términos del desempeño
de la intervención y los productos intermedios relacionados con la
construcción de capacidad para lograr el objetivo final. Interesa en este
caso identificar las características del ciclo de vida de la intervención,
las interrelaciones entre actores, los dinamizadores y limitantes del
cambio, los cambios al protocolo inicial, la razón de ellos, la influencia
del contexto y los resultados progresivos (construcción de capacidad).
La categoría de preguntas sobre proceso y desempeño de la intervención indagan sobre información relacionada con el qué, el cómo y
el por qué, todo desde la perspectiva de los involucrados en la intervención: usuarios, proveedores de servicios y tomadores de decisiones.
Los cambios en esta categoría se relacionan más con la construcción
de capacidad individual, colectiva e institucional para responder a los
problemas de salud y sus determinantes. Existen varias herramientas
como la documentación y sistematización de experiencias, la evaluación
participativa y el mapeo de resultados, los cuales ayudan a identificar
este tipo de preguntas (Jara, 2000; Francke y Morgan, 1995; Gobierno
de Chile, 2004; De Salazar, Díaz y Magaña, 2002).
La segunda categoría de preguntas se refiere a la efectividad de la
intervención o programa; hay interés en conocer si la intervención
funcionó y si cumplió los objetivos para los que fue creada. La evaluación de efectividad debe considerar, entre otros, el interés por conocer
si la intervención funcionó y si alcanzó los objetivos para los que fue
creada. Ella responde a ¿qué?; ¿qué tanto y cómo?, ¿dónde y a quién?
Igualmente da cuenta de la asociación entre intervención y resultados a
través de los indicadores de éxito, y el diseño investigativo para definir
si los resultados pueden ser atribuidos a la intervención.
72
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
El paso preliminar para la definición de preguntas es revisar el
modelo teórico (marco lógico) del proyecto y explorar con los grupos
involucrados sus intereses en la evaluación. Una vez elaborada una
relación de resultados esperados para el logro de los objetivos y propósitos del programa, se precisan las primeras listas de aspectos que
se deben evaluar.
Criterios de selección de la pregunta
La formulación de las preguntas de evaluación está orientada por varios criterios estrechamente
relacionados:
•
El consenso: Las preguntas seleccionadas deben ser producto de consenso luego de someter
a consideración del grupo de la evaluación, las preguntas presentadas por cada participante.
•
La relevancia: Las preguntas deben orientarse a explorar aspectos relevantes y de prioridad
para los grupos de interés y para el programa en general en el contexto de los referentes
teóricos, estratégicos y operativos del mismo.
•
La factibilidad de investigarlas: Se refiere a la posibilidad de contestarlas, al igual que
considera el horizonte temporal de la intervención.
•
La integralidad: Capacidad de las preguntas para abordar las situaciones de forma sistémica,
lo que permite explorar los insumos, el proceso y los resultados de la situación sujeto de
análisis en el ciclo de vida del programa o intervención.
•
La coherencia y utilidad para la toma de decisiones: Su contribución para encontrar respuestas para que los tomadores de decisiones adquieran más y mejores insumos.
73
Ligia de Salazar
BIBLIOGRAFÍA
Benjamin, K.; Perfetto, E. y Greene, R. (1995). �����������������������������
“Public policy and the application of outcomes assessments: Paradigms vs politics”. En: Medical
care, vol. 33, núm.4, págs AS299-306.
Brewer, G. y de León, P. (1983), Foundations of policy analysis. Homewood,
IL:Dorsey. De Salazar, L., Díaz, C., Magaña, A.( 2002), Municipios
y Comunidades Saludables. El reto de la Evaluación, Cali, Colombia.
CEDETES, Universidad del Valle.
De Salazar, L. (2004). “La Sistematización de Experiencias en Promoción
de la Salud”. En: Evaluación de Efectividad en Promoción de la
Salud. Guía de Evaluación Rápida, Cali, Colombia. CEDETES –
Universidad del Valle.
Earl, S.; Carden, F. y Smutylo, T. (2001). Outcome mapping: building learning
and reflection into development programs, IDRC.
Francke, M. y Morgan, M. (1995), La sistematización: Apuesta por la generación de conocimientos a partir de las experiencias de promoción.
Lima, Materiales didácticos No 1. Escuela para el desarrollo.
Gobierno de Chile, Programa Orígenes (2004), Estudio sistematización participativa de experiencias de salud intercultural en las comunidades
Mapuche y establecimientos de salud existentes en las comunas focalizadas por el programa desarrollo integral de comunidades indígenas.
74
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Guba, E. G. y Lincoln, Y. S. (1981). Effective evaluation. Beverly Hills, Sage.
Guba, E. G., y Lincoln, Y. S. (1989). Fourth generation evaluation, Beverly
Hills, Sage.
Jara, O. (2000), Tres posibilidades de sistematización: comprensión, aprendizaje y teorización, sistematización de experiencias, aportes. Bogotá,
Dimensión educativa.
Lincoln, Y. S., y Guba, E. G. (1985), Naturalistic inquiry, Beverly Hills, Sage.
Pan American Health Organization, PAHO, (2007). Guide to Economic Evaluation in Health Promotion. Washington, PAHO.
Potvin, L.; Haddad, S.; y Frohlich, K.L. (2001). “Beyond Process and Outcome Evaluation: A Comprehensive Approach for Evaluating Health
Promotion Programes”. En: Rootman, I. et al. (edits.). Evaluation
in Health Promotion. Principles and Perspectives. Copenhague:
WHO Regional publications. European series, núm.92, págs.45-62.
Ray, L. D. y Mayan, M. (2001). “Who Decides What Counts as Evidence?”
En: Morse, J. M. ,Swanson, J.M. y Kuzel, A.J. (edits.), The Nature of
Evidence in QualitativeRresearch, Thousand Oaks, Sage, págs 50–73.
Smutylo, T. (2001), Impacto latente, atribución oculta: Cómo superar las
amenazas al aprendizaje en los programas de desarrollo, Unidad de
Evaluación, Ottawa, Canadá. Centro Internacional de Investigaciones
para el Desarrollo, IDRC.
Stake, R. E. (1975), “To evaluate an arts program” En: Stake, R.E. (edit.),
Evaluating the arts in education: a responsive approach, Colombus
Ohio, Merrill, págs 13–31.
Stake, R. E. y Abma, T. A. (2005), “Responsive evaluation” En: Mathison, S.
(edit.), Encyclopedia of evaluation. Thousand Oaks,Sage, págs 376–379.
World Health Organization (WHO) (2001), Evaluation in Health Promotion.
Principles and Perspectives, WHO Regional publications, European
series, No 92, Rootman, I. et al. (edits.).
World Health Organization (WHO) (2005, 10–12 octubre), Bridging the
“Know–Do” Gap Meeting on Knowledge Translation in Global
Health. Geneva, Switzerland, WHO.
75
Ligia de Salazar
76
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
III.
Enfoques metodológicos para la
evaluación de políticas y programas en
salud pública y promoción de la salud
PRESENTACIÓN
En este capítulo se analizarán el alcance, el desarrollo
y la práctica de la investigación evaluativa en el contexto
de toma de decisiones, que le permitirán al lector analizar
y comprender aspectos críticos para producir, juzgar y
usar información sobre el desempeño, el impacto y la
efectividad de las intervenciones en salud pública y la
promoción de la salud.
Se abordarán enfoques metodológicos para evaluar la
efectividad e impacto de intervenciones cuya naturaleza
compleja demanda aproximaciones teóricas y abordajes
metodológicos que den cuenta de ella, sin detrimento de
la calidad y rigurosidad que cada diseño exige.
No sólo es probable, sino deseable, que después de la
lectura de este capítulo surjan más preguntas de las que
el lector tenía inicialmente, pero se espera que precisamente, esto sea el aliciente para continuar en la búsqueda
de la teoría para fundamentar la evaluación de dichas
intervenciones, al igual que de opciones metodológicas
más acordes con la realidad y los desafíos que plantea
la práctica de la salud pública desde la perspectiva de la
promoción de la salud.
77
Ligia de Salazar
78
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
INTRODUCCIÓN
En este capitulo usted encontrará una amplia discusión sobre los
aspectos críticos para seleccionar los enfoques metodológicos y las
técnicas para responder a la pregunta de evaluación, teniendo en cuenta
tanto la naturaleza de la intervención como los intereses y expectativas
que se tengan con la evaluación, plasmados en la pregunta.
Varios aspectos interrelacionados influencian la decisión sobre el
diseño de estudio y los enfoques metodológicos y las técnicas para
evaluar la efectividad e impacto de iniciativas en salud pública y promoción de la salud: la naturaleza y el alcance de la intervención que
se evaluará; el propósito y el alcance de la evaluación; la pregunta
que se desea responder; el tiempo y los recursos para contestarla y el
tipo de información requerida para que los resultados de la evaluación
sean útiles; y, finalmente, un aspecto de considerable importancia: el
principio ético.
Según House (1981), los enfoques cuantitativos tienden a hacer
hincapié en los aspectos metodológicos y, en concreto, a hacer de las
técnicas cuantitativas el paradigma de la “calidad” en evaluación. Por
79
Ligia de Salazar
el contrario, las corrientes cualitativas -a partir de la constatación de la
naturaleza eminentemente política de la evaluación- suelen enfatizar en
los aspectos éticos del proceso de investigación, en ocasiones incluso
en detrimento de las cuestiones metodológicas.
En este capítulo se describirán los aspectos relacionados con las
fortalezas y las limitaciones de diferentes enfoques en relación con la
credibilidad, la oportunidad, la relevancia y la posibilidad de reproducir
los resultados; con las ventajas y las desventajas de combinar métodos y
técnicas de evaluación; y con las maneras de conducir la evaluación en
circunstancias específicas, como disponer de escasos recursos y tener la
necesidad de producir resultados a corto plazo, sumado a las diferentes
perspectivas e intereses que los usuarios tienen de los resultados.
Los enfoques metodológicos abordados en este capítulo incluyen,
en primer lugar, aquellos que intentan responder interrogantes sobre el
proceso de implantación y desempeño de la intervención y, segundo,
interrogantes que den cuenta de los resultados de la intervención, en
cuanto a efectividad, impacto y efectos no deseados. En ese sentido, los
diseños y los métodos de investigación que usan información cuantitativa y cualitativa serán tema de análisis y de reflexión como insumo
para la práctica de la evaluación.
Se espera que el lector tenga los elementos para identificar el diseño más apropiado para responder a la pregunta de evaluación sobre
efectividad e impacto de las políticas, proyectos y programas en salud
pública y promoción de la salud, y que valore las ventajas y desventajas
de diferentes enfoques, según las teorías para la evaluación de intervenciones complejas y las evidencias en salud pública.
1. Fundamentación
Intencionalidad y alcance de la evaluación
Recapitulemos sobre la intencionalidad de la evaluación: Antes de
iniciarla es necesario identificar y comprender su perspectiva y propó80
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
sito, los cuales pueden estar orientados,
La evaluación ayuda a develar
entre otros fines, a: valorar algo que se
las contribuciones no visibles,
está haciendo con el objetivo de obtener
en un esfuerzo por mejorar,
información para mejorar y orientar el
en lugar de probar, y de enproceso de implementación de la interventender, en lugar de señalar
ción y aumentar su viabilidad; justificar
responsables.
una decisión tomada; estimar los resultados -efectividad y beneficios- de las
intervenciones; construir un proceso de aprendizaje sostenido en torno
a la teoría de la intervención desarrollada; aportar al conocimiento en
relación con la epistemología de este tipo de intervenciones.
Uno de los principales desafíos de la evaluación es desarrollar métodos que valoren procesos y resultados en su dimensión política, social y
económica y en su contribución a la calidad de vida de las poblaciones,
más allá de los resultados numéricos. Se necesitan evaluaciones acordes
con los requerimientos y las condiciones de los tomadores de decisiones
y que involucren otros actores como las comunidades y los gobiernos,
tradicionalmente ajenos a esta actividad. Como se comprenderá, además
de establecer asociaciones plausibles entre intervención y resultados,
la evaluación se convierte en un proceso de aprendizaje en el cual se
contribuye al éxito del programa o de la intervención. La evaluación es
vista como un medio para negociar y fortalecer la capacidad para tomar
decisiones y, según Smutylo (2001), es generadora de conocimientos y
no contribuyente de méritos.
Por otro lado, la evaluación es un componente crítico del proceso de
gerencia y gestión de políticas, programas y proyectos, y como tal, debe
estar articulada con la gerencia de las instituciones que lo impulsan.
En esta medida, la evaluación no finaliza con un informe; más bien
cumple su ciclo cuando se logra que la información y las lecciones que
arroja esta actividad sean consideradas en las decisiones para mejorar
la intervención o para decidir su finalización o extensión. Igualmente,
cuando los resultados son tenidos en cuenta para validar o formular
nuevas hipótesis sobre la teoría vigente.
81
Ligia de Salazar
Por lo anterior, la evaluación tiene una serie de ciclos interrelacionados, independientes pero complementarios, que tratan de responder a
preguntas diferentes y tienen diversos intereses y, por tanto, consideran
distintos énfasis y son soportados por diseños metodológicos que responden a sus intereses. La articulación de los ciclos de la evaluación
es entendida como la construcción progresiva de evidencias con el
fin de obtener información confiable sobre la relevancia de las áreas
de intervención, la eficiencia y desempeño en la implementación del
programa, la efectividad de las intervenciones y el impacto en la salud
de la población. Perder esta visión de conjunto no sólo fragmentaría el
análisis de la información, sino que impediría visualizar las relaciones
entre los componentes y variables del proceso, al tiempo que sería un
obstáculo para hacer un mejor uso de la información que arroja cada
ciclo.
Para establecer la evidencia se necesita no solamente que los indicadores de efectividad sean pertinentes con la intervención, sino que
el método de investigación utilizado para la evaluación sea también
el apropiado. Los diseños metodológicos, si bien varían según las
preguntas que nos queremos responder, deben ser considerados como
parte de un continuo que da cuenta de la fundamentación teórica del
programa o intervención, el proceso para implementarlo y los resultados e impactos a corto, mediano y largo plazo. La metodología se
compone de una combinación de métodos cuya validez depende tanto
de la complejidad de los supuestos teóricos como de la confiabilidad
de los datos. Estos asuntos serán retomados a continuación.
Establecimiento de causalidad y evidencia de efectividad en intervenciones
complejas
•
Significados prácticos del concepto de evidencia y efectividad:
Como evaluadores debemos tener en cuenta que diversos factores
entran en juego cuando las definiciones operativas de las variables
son formuladas, y cuando de juzgar evidencia y efectividad se trata.
82
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Un mismo concepto puede tener diferentes significados y alcances;
igualmente, se pueden utilizar distintos instrumentos para medir
el mismo concepto y utilizar diversas fuentes de información. Por
otro lado, tendemos a confundir la efectividad con la evaluación y
la evidencia.
La evaluación de intervenciones en salud pública y promoción de la
salud está identificada con el concepto de complejidad planteado y
con la necesidad de establecer asociación causal entre la intervención y los resultados para atribuir estos últimos a la intervención se
enfrentan a desafíos metodológicos que amenazan su plausibilidad
y confiabilidad. En estos casos se debe tener en cuenta:
•
Complejidad de las intervenciones sociales y su plausibilidad para producir los resultados esperados, bajo la influencia de la variable “tiempo”
y del contexto.
Esta complejidad se debe a que las intervenciones en promoción de la salud Las intervenciones compleestán orientadas hacia comunidades o jas responden a una teoría
grupos con dinámicas propias, que no o conjunto de teorías, las
necesariamente son reproducibles; son cuales involucran la acción
frecuentemente multipropósito porque de personas, y consisten
hay necesidad de intervenir en varios en una cadena de pasos o
niveles o componentes; tienen más de procesos los cuales no son
un objetivo dado que pretenden lograr lineales por estar inmersos
cambios en varios niveles: desde cam- en sistemas sociales y estar
bios en comportamiento hasta cambios sujetos a modificaciones
estructurales, políticos y sociales; el con- permanentes.
texto tiene una fuerte influencia tanto en
la intervención como en los resultados,
y estos factores no siempre pueden ser controlados por los implementadores; presentan dinámicas e interacción entre variables no
estandarizables; hay demanda de dichas intervenciones porque se
evidencia su efectividad, soportada en resultados que, frecuentemente, son producidos a largo plazo.
83
Ligia de Salazar
Cronbach nos invita a pensar en el mundo empírico.
Lo que observamos será
verdad o serán una serie de
instrumentos que no necesariamente constituyen un
efecto; observemos la respuesta o la consecuencia de
una intervención realizada.
A esto le llamamos raciocinio a partir de la intervención. El efecto no está en
la lectura que hagamos de
este instrumento, sino en la
transformación de cómo se
traduce esta lectura en algo
significativo: un indicador.
Es un “mantra” de
la ciencia positivista y se ha tomado las ciencias de la salud. Lee J.
Cronbach (1980) afirma que lo que
tratamos de hacer como evaluadores, es vincular de manera significativa lo que pasa en una unidad a
la intervención; es decir, vincular
los objetos de la intervención
-las personas en un determinado
contexto- a la intervención, para
estudiar lo que pensamos. Luego
utilizamos la observación, la medida, el resultado y los indicadores
para evaluar las consecuencias.
• Causalidad:
Diversos autores han reconocido que la
evidencia es un concepto creado.
La Organización Mundial de la Salud, OMS (2004), señala que la evidencia es sensitiva al contexto y no es estática. Este concepto según
Potvoin ha estado ligado a la noción de causalidad; la mayoría de las
veces la evidencia y la efectividad van de la mano para mostrar causalidad.
• Concepto de evidencia:
Para Potvoin (2007) la evidencia se construye a través de la relación
entre la teoría, las observaciones empíricas y la práctica. Por eso
tenemos que investigar y evaluar permanentemente, no para sumar
experiencias, sino para fortalecer el fundamento teórico, para tener un
conocimiento más completo y actualizado de los fenómenos estudiados, ya que la evidencia no se acumula. La autora plantea la distinción
entre tres tipos de evidencias: evidencia empírica, evidencia teórica y
evidencia basada en la práctica:
84
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
La evidencia empírica: Aplica la lógica inductiva; es una colección
de observaciones que corresponden a unos criterios de disciplina; se
acepta la premisa de que hay que tener un conocimiento disciplinario
que nos permita suponer o predecir lo que va a pasar.
La evidencia teórica: Indica que no hay necesidad de una asociación
constante entre intervención y efecto, porque hay una interacción mayor
con las situaciones. Es necesario mirar la teoría para desarrollar estas
intervenciones y convertir la investigación en un aparato reflexivo para
la intervención -como una manera de entender cómo funciona nuestro
mundo-.
La evidencia basada en la práctica: La evidencia desarrolla no porque se esté adaptando el conocimiento puro a una situación de la vida
real, sino porque se está tratando de derivar un conocimiento que es
importante. El conocimiento se produce en un ambiente práctico: es la
práctica basada en la evidencia. La dificultad de esta práctica basada en
la evidencia es saber cuál es la intervención. No nos dice cómo se hace
la intervención y nosotros debemos pensar en qué vamos a intervenir y
cómo vamos a intervenir. Generalmente, el cómo se puede derivar de
un experimento controlado, pero hay diferencias entre la manera como
se efectúa la práctica en un experimento bajo control, y la realidad. En
los estudios evaluativos la ventaja de la evidencia basada en la práctica
es que se soporta en el contexto.
•
Concepto de evidencia de efectividad en intervenciones complejas
Haremos referencia a los aspectos teóricos y prácticos que fundamentan la discusión sobre el significado de evidencia en intervenciones complejas, como es el caso de la promoción de la salud. No
es la intención crear un debate acerca del significado de evidencia
en la promoción de la salud, ya que muchos autores se han referido
a este tema (McQueen, D. y Anderson, L. 2000; Kemm, J. 2006;
Marmot, M. 2004; Green, J. y Keith, T. 1999).
85
Ligia de Salazar
La efectividad suele asociarse a la evidencia, y esta última se apoya
en diseños epidemiológicos que se fundamentan en el cumplimiento
de criterios para juzgar y validar la información producida: representatividad de la muestra, selección de grupos control, valoración
de la efectividad según la fortaleza de asociaciones que se basan en
pruebas de significación estadística, precisión de instrumentos de
medición y control de factores de confusión, entre otros, criterios
que no necesariamente se cumplen en las intervenciones descritas,
y por tanto, pueden conducir a resultados errados. Si las anteriores
condiciones no se cumplen, el evaluador deberá seleccionar otro
método, aunque no se corresponda con los criterios para juzgar la
evidencia según los enfoques positivistas.
Otro aspecto importante a tener en cuenta es la validez externa de
los resultados, o sea, la generalización de la evidencia. Se trata
de generalizar y extraer experiencias y lecciones, a lo cual se le
suman observaciones para que sea algo mayor, algo empíricamente
generalizado. En este caso, estaríamos sumando evidencias al extraer una conclusión y tratar de extrapolarla, como se comprenderá
por lo dicho anteriormente, pero esto no necesariamente aplica
en todos los casos. Para Potvoin (2007) es un problema cuando
aplicamos técnicas sofisticadas de análisis y nos centramos sólo
en la proyección de números para producir estos resúmenes y conclusiones. Al hacer esto escondemos la otra realidad. De allí que
Potvoin (2007) incite a contestar las siguientes preguntas: ¿Qué
estamos comparando?, ¿qué estamos sumando?, ¿son unidades
comparables y se pueden sumar?
•
Indicadores para juzgar cumplimiento de objetivos
En ocasiones la evaluación se realiza por presión de los financiadores,
quienes buscan evidencias de efectividad para justificar su inversión
al seleccionar indicadores de éxito no apropiados, bien sea porque no
son coherentes con el marco lógico de la intervención o porque no
es tiempo de obtener esos resultados y se requiere un plazo mayor.
86
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Los indicadores deben ser vistos como hasta dónde los objetivos
han sido alcanzados. En este punto, para efecto de la evaluación,
autores como Brownson, Baker, Leet y Gillespie (2003) plantean
que los indicadores no son objetivos numéricos per se y no deben ser
confundidos con objetivos de programas y metas, que tienden a ser
cuantificables de acuerdo con escalas y tiempo. El tipo de indicador
seleccionado para valorar éxito (efectividad) influencia la selección
del enfoque metodológico; por tanto, debemos hacernos la pregunta
si un determinado diseño nos ayudará a evaluar la efectividad de la
intervención, medida por los indicadores seleccionados, o mejor,
cuál es el diseño más apropiado para valorar la efectividad o el éxito
de la intervención.
•
La variable tiempo, como factor importante en la medición de evidencia
de efectividad
La plausibilidad para producir los resultados esperados está condicionada a la influencia de la variable “tiempo” y al contexto. Como
fue señalado, el dinamismo de los procesos de cambio hace que, con
relativa frecuencia, evaluemos una intervención que es diferente
a la que se formuló inicialmente y, de igual forma, valoremos sus
resultados sin tener en cuenta los factores que intervinieron para
producirlos.
Algunos autores llaman la atención sobre otro hecho en relación
con la variable tiempo, y en especial cuando usamos medidas de
prevalencia (tendencias) para monitorear cambios, al señalar que “las
medidas de prevalencia son importantes, pero igual de importante
es conocer su evolución en el tiempo” (Campostrini, E. 2007). Los
enfoques metodológicos son influenciados por la variable tiempo y,
por tanto, preguntas como: ¿cuándo se deben entregar los resultados
de la evaluación, cuál es el horizonte de tiempo para visualizar los
cambios, qué tipo de cambios se pueden producir en este tiempo,
nos ayudan a tomar la decisión.
87
Ligia de Salazar
2. Desafíos metodológicos y políticos en la evaluación de la efectividad
La evaluación de políticas, programas y tecnologías en salud ha
enfrentado diversos desafíos para seleccionar los diseños investigativos y los métodos más apropiados para responder a la pregunta de
evaluación. Esta situación se debe, en parte, a dos factores: primero,
no hay claridad, en los evaluadores e interesados, en la información
que arroja la evaluación sobre la naturaleza, propósito y alcance de la
intervención; y segundo, unos y otros conocen y manejan diferentes
enfoques metodológicos, los cuales abordan de manera distinta la forma
en que se debe afrontar la situación estudiada, y llegan en muchas ocasiones a privilegiar el método que mejor se conoce, negando así otras
posibilidades; por ejemplo, cuando se presenta la dicotómica discusión
entre qué método, cualitativo o cuantitativo, es más válido para producir
conocimiento científico.
“La cantidad y la calidad
son caras diferentes de la
misma moneda, que aunque se refieren al objeto de
conocimiento como al método en general se complementan y se relacionan”.
(Cerda, G.H., 1994)
En este sentido, lo importante es destacar
la interacción que existe entre sujeto y objeto
en la práctica investigativa, independientemente desde dónde se aborde, para otorgarle
mayor peso al lugar epistemológico y no tanto
a la forma en que se procede para producir
conocimiento.
El problema radica cuando se cree que la
precisión y la confiabilidad de la información
depende de la aplicación de un método en particular, y se deja de lado la
discusión para comprender qué enfoque establece mejor la interacción
sujeto- objeto, elección que se hará cuando se tenga claridad frente al
objeto de estudio y su alcance.
De esta manera, queremos plantear que esta pretendida oposición
entre lo cuantitativo y lo cualitativo, más que ser una verdad empírica,
ha sido una falsa idea, producto de planteamientos según diferentes
88
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
paradigmas y escuelas, “a veces con mucha resistencia para establecer
compatibilidad y complementar las dos tendencias” (Cerda, G.H., 1994).
Lo anterior nos lleva a afirmar que ningún método puede ser señalado
como mejor o superior, sin antes analizarlo a la luz del propósito y el
alcance de la evaluación, los resultados esperados, el financiamiento,
el tiempo para ejecutar la evaluación, y el contexto (situación política,
social, económica que puede influenciar el desarrollo de la evaluación
y el uso de sus resultados).
3. Enfoques metodológicos
Esta sección tiene como objetivo describir las principales características, fortalezas, limitaciones y usos de las herramientas metodológicas de evaluación, sin profundizar en aspectos técnicos de cada una
de ellas, considerando que lo más importante es brindar elementos de
reflexión y análisis para hacer una selección apropiada de los enfoques
metodológicos.
Características de los diseños de evaluación
Validez, flexibilidad, adaptabilidad y utilidad de la información son
características que deben estar presentes en cualquier diseño evaluativo de iniciativas con las características ya descritas. Por lo anterior,
sugerimos la construcción de diseños, sin renunciar al objetivo de
obtener información válida y confiable, dentro del marco teórico y las
premisas descritas, que cumplan con las siguientes características de
la evaluación:
• Válida. La información que arroje la evaluación debe ser producto de diseños y métodos apropiados para la pregunta que se
va a responder, a la naturaleza y ciclo de vida de la intervención,
y guardando coherencia entre concepciones teóricas, marco
lógico, grado de implementación de la intervención y criterios
para valorar efectividad.
89
Ligia de Salazar
• Útil y aceptable. para diferentes audiencias y actores clave,
en especial, tomadores de decisiones, implementadores de la
intervención y teóricos.
• Resultado de un proceso de sucesivas aproximaciones. La
evaluación será producto de una construcción sistemática para
lograr la coherencia entre teoría, observación y práctica, con el
fin de crear insumos para acercarse a los principios y valores
que fundamentan la promoción de la salud y la salud pública
y su práctica, y producir los insumos para orientar las políticas
públicas.
• Incluyente y participativa. Dado el carácter político y técnico
de la evaluación, se requiere que los resultados respondan a las
necesidades de los usuarios de la información, a través de estrategias que aseguren su participación en el ciclo de evaluación.
• Viable y factible. Deben planificar evaluaciones que tengan en
cuenta la infraestructura y los recursos disponibles, priorizar
fuentes de recolección de información, y promover alianzas para
hacer el uso óptimo de recursos.
• Socialmente responsable. La actividad evaluativa debe cubrir
la fase de difusión de la información y acciones de abogacía y
gerencia social para utilizar los resultados en la toma de decisiones y en el mejoramiento de los programas.
Para ser viable y realizarse con la periodicidad requerida, una evaluación tiene que incorporar en su diseño metodológico formas eficientes
y confiables para obtener información, y para ello usar en lo posible la
que ya existe. Un ejemplo son los sistemas de vigilancia epidemiológica,
las estadísticas vitales, formas autóctonas de comunicación, relatos e
informes de progreso de proyectos comunitarios, historias, casos, informes de monitoreo y evaluación. Los sistemas formales e informales
de comunicación e información que hacen parte de la cotidianidad de
90
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
las comunidades e instituciones deben ser incorporados como insumo
para documentar la experiencia.
Basarse únicamente en el método o en la evidencia empírica para
tomar una decisión es riesgoso; el método es muy importante, pero
no es lo único. El mensaje es que cualquier decisión se ve afectada
por un efecto interactivo. Basar una decisión en un solo resultado, sin
tener en cuenta el contexto donde se produjo, es como usar una receta
para el fracaso, porque en el mundo real hay muchas interacciones que
afectan los mecanismos que tratamos de aislar en las investigaciones
y que interactúan con el mundo real; en cualquier situación todas esas
interacciones entran en juego. Por lo dicho, podemos deducir que la
jerarquía de la evidencia que ha gobernado hasta este momento en los
estudios evaluativos no necesariamente es coherente con los planteamientos teóricos y técnicos realizados.
Si el interés está en identificar la efectividad de una intervención
medida por sus resultados, el reconocimiento de que un sólo estudio es
incapaz de dar cuenta de la complejidad de la evaluación de fenómenos
sociales influenciados por una combinación de factores, dentro de un
determinado contexto cultural y sociopolítico soporta la creciente demanda por crear enfoques de evaluación que utilicen análisis multinivel,
que no se reducen a la adición de variables en una red de causación.
Pawson (2001, 2002, 2003) recomienda el estudio total del sistema
de relaciones entre las variables, y para ello sugiere dividir el programa
o intervención en sus componentes: mecanismos, contexto y resultados.
Los mecanismos se refieren a las formas en las cuales uno de los componentes produce cambios. Por su parte, el proceso es definido como
la forma como los sujetos interpretan la estrategia de la intervención,
conocida como mecanismos del programa y actúan conforme a ella. Y,
finalmente, sistema relaciones interpersonales y sociales.
Para facilitar la comprensión del material usaremos tres categorías
de evaluación y los enfoques metodológicos para realizarlas:
91
Ligia de Salazar
a. Enfoques metodológicos para comprender y valorar el proceso de
implantación de la intervención
b. Evaluación de efectividad - resultados
c. Evaluación económica
3.1 Enfoques metodológicos para comprender y valorar el proceso de implantación de la intervención
Hechos
• La conexión entre causa y efecto no tiene inicio y puede que
tampoco tenga un fin; el desarrollo de las políticas es continuo
y está sujeto a cambios en su implementación, los cuales están
estrechamente ligados al contexto. ¿Cómo la evaluación da
cuenta de este hecho?
• El proceso de implantación de la intervención es usualmente
una caja negra sin develar. No hay información suficiente que dé
cuenta de los factores que han influenciado la implementación de
la intervención, en relación con la relevancia y la viabilidad del
protocolo; el surgimiento de situaciones nuevas que modifican
el contexto; los supuestos que no se cumplen y, finalmente, los
cambios en la intervención como resultado de lo anterior.
• La evaluación usualmente se orienta a valorar el cumplimiento
de los objetivos finales, y más bien poco a explorar el desempeño
de la intervención en cada una de sus fases: experimentación,
implementación, generalización y declive. En cada una de éstas
se responden preguntas diferentes y, por tanto, se usan enfoques
metodológicos distintos para responderlas.
• Frecuentemente nos enfrentamos a evaluar intervenciones que no
necesariamente son las que planificamos. Hay cambio de protocolo como resultado de ajustes en el tiempo. Las intervenciones
relacionadas con cambios sociales y del comportamiento están
ligadas a contextos o coyunturas, las cuales escapan al control
92
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
del investigador; son altamente dinámicas y por tanto, además
de la medición del problema, se requiere conocer la evolución
e interacción de los mecanismos que subyacen a él, para poder
comprender el alcance de los resultados.
• La evaluación de proceso brinda insumos para crear una teoría
sobre la promoción de la salud y la salud pública, para mejorar
la intervención, identificar mecanismos que influencien el desempeño de la intervención y contribuir al logro de los objetivos,
entre otros.
Debate
• Las intervenciones en promoción de la salud son complejas,
hay adaptaciones que deben hacerse permanentemente por el
dinamismo del contexto y por un conocimiento mayor de las
asociaciones entre variables de estudio; no obstante, ello puede
significar cambios en el marco lógico inicial de la intervención.
¿Cómo este hecho afecta el cumplimiento de las condiciones y
los criterios para aplicar métodos epidemiológicos?
• ¿Son útiles los marcos lógicos de la intervención?, ¿deben ser
sujeto de evaluación?, ¿pueden y deben ser cambiados?, ¿cómo
esto afecta la intervención y la evaluación?
• No hay razón para evaluar la efectividad de las intervenciones
cuando no hay certeza de que han sido implementadas apropiadamente.
• En las evaluaciones no se estudia la interface entre teoría y práctica ni tampoco se tienen en cuenta aspectos sociales, territoriales,
organizacionales ni políticos que influencien la adherencia al
protocolo, al igual que los resultados.
• La evaluación del proceso ayuda a responder ¿qué intervención
estamos evaluando: la teórica (marco lógico) o la real?; y, por
93
Ligia de Salazar
tanto, a replantear la pregunta de evaluación y los enfoques
metodológicos para responderla.
• ¿Podemos hablar de evidencia en la evaluación del proceso?;
¿la necesitamos?
• Alcance de la evaluación del proceso: ¿comprender el proceso
para implementar la intervención?, ¿valorar el desempeño de la
intervención en la práctica?
Desarrollos
El interés de la evaluación de proceso se centra en el desempeño del
proceso de implantación de la intervención; frecuentemente estudiamos
el resultado de este último y no nos preocupamos por el proceso en sí
mismo.
Para este tipo de evaluación es importante considerar que el desarrollo, ligado a intervenciones en promoción de la salud, es visto como
un proceso complejo, producido en circunstancias en las cuales un
programa no se puede aislar de los diversos factores con los que tiene
que coexistir ni de aquellas del contexto que lo influencian. De allí que
autores como Stake y Abma (2005) aboguen por la inclusión de enfoques
que den peso al término contribución, el cual implica condicionalidad
(contextualización, más que atribución).
La elección de los enfoques metodológicos para la evaluación
del proceso está influenciada, entre otros, por el papel que asume el
evaluador. Como fue indicado anteriormente, éste debe comportarse
como intérprete y creador de condiciones para facilitar la interacción,
la concertación y la negociación entre participantes en un ambiente
colaborativo y de aprendizaje.
A continuación se describen las diferentes metodologías que han sido
desarrolladas para evaluar y comprender el proceso de implementación
de la intervención.
94
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Herramientas metodológicas
•
Técnicas para la documentación y sistematización de experiencias
Aunque la documentación y la sistematización no son enfoques metodológicos para
la evaluación, sí son insumos importantes
para ésta, porque ayudan a formular la pregunta de evaluación un proceso complejo
que se desarrolla a partir de un conocimiento
completo e integral de la intervención.
La documentación de los
procesos y la sistematización de las experiencias son
herramientas que producen
información clave para
comprender el comportamiento de las variables asociadas a la implementación
de la intervención, y para
establecer correlaciones y
asociaciones lógicas entre
intervenciones y resultados.
Dado que la mayoría de las veces las
intervenciones en promoción de la salud y
salud pública son de naturaleza dinámica y
poco conocemos sobre el comportamiento e
interacción entre las variables, se hace necesario e imperativo documentar y comprender
este dinamismo, más que controlar estas variables, para entender las
causas potenciales de la adherencia o no al protocolo de la intervención
y sus resultados.
Se requiere conocer cómo sucedió la intervención y por qué razón
se realizó de la manera en que se dio. Es justo con esta intención que la
documentación y la sistematización de experiencias permiten construir
referentes comprensivos e interpretativos de la intervención, que aporten
elementos para que la pregunta logre ser más pertinente y responsable
de acuerdo con las características propias del contexto.
La sistematización es un proceso de reflexión que pretende ordenar
u organizar el proceso de construcción e implementación de la intervención, es decir, la experiencia. Se trata, así, de recuperar lo que los actores
saben de la experiencia en la cual participan. Las interpretaciones que
se producen sobre la experiencia y la práctica misma de los sujetos se
asumen como premisas. Lo que se mira ahora son los significados que
las acciones tienen para los actores que las promueven y los resultados
95
Ligia de Salazar
de dichas acciones en sí, de acuerdo con los propósitos que ellos mismos
establecieron. La sistematización ha sido considerada, igualmente, como
una estrategia para descubrir y comprender los cambios en el protocolo
de la intervención, su implementación y los beneficios de acuerdo con
la percepción de los participantes y sus interacciones (De Salazar, L.,
Díaz, C., Magaña, A., 2002). Este ejercicio investigativo reconoce la
naturaleza cambiante de las intervenciones y ayuda a hacer explícitas
las razones del cambio. Permite entender la lógica y el sentido de los
procesos y resultados de un programa o de una intervención, en el marco
del contexto de su desarrollo.
La documentación proporciona las herramientas necesarias para que
el programa o la intervención pueda registrar y narrar la historia de su
desempeño de principio a fin, y la sistematización brinda a quienes
implementan una intervención un sistema permanente para reflexionar
de manera holística y estratégica sobre cómo se consiguieron o se conseguirán determinados resultados, usando aquellos de la documentación.
Los resultados de la documentación y la sistematización son insumos importantes que pueden ser usados por cualquiera de los tipos de
evaluación que se describen a continuación para complementar la información que surge de la aplicación de otros enfoques metodológicos.
El enfoque conocido como evaluación participativa, creado por la
Organización Panamericana de la Salud, OPS, se expone en una guía
para orientar el uso de esta metodología, en la cual se emplea un proceso
de acopio, análisis e interpretación del proceso de implementación de
la intervención, con una activa participación de quienes la implementan
(OPS/OMS, 2005).
•
Mapeo de resultados
Este enfoque se apoya en el hecho de que el desarrollo es un proceso
complejo, compuesto de procesos paralelos; por tanto, es importante
no sólo valorar los cambios, sino monitorear y evaluar las estrategias
96
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
y actividades y como ellas funcionan o como una única unidad. El
mapeo de resultados se concentra en los alcances en lugar del impacto,
aunque reconoce su importancia como la meta definitiva que los programas pretenden alcanzar. Con este enfoque se incrementan el valor
y la atención dados a los resultados obtenidos por las contribuciones
de aspectos previos al impacto.
Otro enfoque que se relaciona con la sistematización es el llamado
mapeo de resultados (Outcome Mapping) (Earl, S., Carden, F y Smutylo, T., 2001) desarrollado por el IDRC-CIID bajo el supuesto de que
la complejidad del proceso de desarrollo hace difícil evaluar su impacto
(atribución), que la evaluación debe estar al servicio del aprendizaje, y
que es fundamental comprender sus contribuciones esenciales.
Por otra parte, los autores de esta metodología señalan que el hecho
de enfocar la evaluación en los impactos a largo plazo no necesariamente
brinda el tipo de información y la retroalimentación que los programas
requieren para mejorar su desempeño. Por estos motivos, el mapeo de
resultados se concentra en los alcances en lugar del impacto, aunque
reconoce su importancia como la meta definitiva que los programas
pretenden alcanzar, como ya se dijo. Los indicadores del proceso de
implementación son la cobertura, los facilitadores y las barreras para
planificar e implementar una exitosa intervención; factores de contexto que influencian tanto la implementación como los resultados de la
intervención.
El mapeo de resultados reconoce que estas intervenciones son procesos complejos que van conformándose de procesos paralelos. Dicho
enfoque no sólo sirve para entender los cambios que se producen en el
entorno en el que se desarrolla un programa, sino que también sigue
y evalúa las estrategias y las actividades de este último, a la vez que
también sigue y evalúa la manera como funciona como una unidad
organizacional. Como tal, el mapeo de resultados evalúa el programa
o la intervención de manera integral, y parte del supuesto de que al
programa en cuestión no le basta con estar al tanto de los resultados del
97
Ligia de Salazar
desarrollo, sino que también tiene que saber los procesos que se han
seguido para conseguirlo, y así conocer su propia efectividad interna.
Un aspecto muy importante de este enfoque es que la pregunta de
evaluación busca medir la contribución del programa con respecto a
su visión inicial (por medio de sus socios directos), sin que se trate de
saber si la visión logró convertirse en realidad o no. En otras palabras,
la pregunta está dirigida a averiguar “¿quién hace qué? y ¿cómo?”. La
visión representa el ideal que busca el programa y debe ser lo suficientemente amplia y motivadora como para mantener su importancia con
el transcurso del tiempo, pese a las circunstancias cambiantes.
•
Evaluación participativa
Se entiende como un conjunto de orientaciones para realizar un proceso de evaluación más amplio, que se centre en los procesos y en los
cambios logrados en los territorios. Está dirigida a fortalecer la relación
entre la planificación, la gestión y los procesos de evaluación; a ser una
herramienta de referencia para tomadores de decisiones, especialmente
a nivel municipal; facilitar que sus usuarios conozcan mejor su comunidad, comprendan la importancia de realizar evaluaciones y adquieran
pericia en las mismas; a identificar señales de cambio, indicadores de
procesos y avances, y está dirigida también a desarrollar habilidades
de vigilancia social en la comunidad.
•
“Evaluación responsable” (Responsive evaluation)
Definida como un enfoque de evaluación que genera evidencias sobre
la efectividad de una intervención, la cual es valorada por resultados intermedios utilizando información cualitativa. Los criterios para evaluar
la efectividad de un programa no se derivan solamente de las intenciones
de los tomadores de decisiones, sino que incluyen un margen amplio de
aspectos que provienen del mayor número de actores posibles (Guba
y Lincoln, 1981; Lincoln y Guba, 1985; Guba y Lincoln,1989, Stake,
1975; Stake y Abma, 2005).
98
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
3.2 Evaluar la efectividad de intervenciones complejas
Hechos
• Existen pocos estudios de evaluación de efectividad de intervenciones complejas.
• Hay un limitado conocimiento y experticia sobre técnicas de
análisis que involucran diferentes niveles de acción, como son
los análisis multinivel.
• Se aplican enfoques metodológicos que tienen credibilidad en
revistas internacionales, aunque sean incoherentes con la naturaleza de intervenciones como las descritas.
• En intervenciones que están pobremente diseñadas, hay dificultad
para reconocer los indicadores de éxito de interés para tomadores
de decisiones y para otras audiencias.
• El juicio sobre la efectividad de la intervención se hace utilizando indicadores que no se relacionan con lo concebido e
implementado.
• Los indicadores de éxito están más asociados con las necesidades
e intereses de los usuarios actuales de la información, que con
el marco lógico de la intervención.
Debate
La evaluación de efectividad, adoptada en esta publicación, es la medición,
descripción y valoración o juicio de la
asociación entre dos o más variables, en
este caso intervención y resultados, producidos en contextos específicos.
El tiempo como variable es
el lapso transcurrido entre la
medición y la aparición de los
resultados esperados.
Los conceptos de evidencia y efectividad son difíciles de medir;
diversos factores entran en juego cuando se hacen definiciones ope99
Ligia de Salazar
rativas de las variables, y cuando de juzgar evidencia y efectividad se
trata. Un mismo concepto puede tener distintos significados y alcances;
igualmente, se pueden utilizar diferentes instrumentos para medir el
mismo concepto.
La efectividad ha estado asociada a la evidencia científica y esta
última se apoya en diseños epidemiológicos que se fundamentan en
el cumplimiento de criterios para juzgar y valorar la validez de la
información producida: representatividad de la muestra, aleatoriedad,
selección de grupos de control, valoración según pruebas de significancia estadística, precisión de instrumentos de medición y control
de factores de confusión, entre otras condiciones y supuestos que no
necesariamente pueden ser cumplidos en las intervenciones descritas
y, por tanto, pueden conducir a resultados errados.
El factor político y ético de evaluación de efectividad se relaciona
con quién determina qué se considera como evidencia de efectividad,
con cuáles son los indicadores apropiados, y los estándares de comparación. Por otro lado, la otra pregunta es ¿cómo lograr consenso acerca
de los criterios para establecer evidencia, cuando hay varios actores con
diferentes expectativas y racionalidades?
Cuando existe un interés en establecer la asociación causal (atribución) entre los resultados observados y la intervención se aplican
criterios cuyo cumplimiento depende de factores que muchas veces
están fuera del control del investigador; de allí que la cuestión central a resolver, no sea la eterna dicotomía entre métodos cualitativos
o cuantitativos, sino entre los criterios para juzgar la efectividad y la
pertinencia y relevancia de aplicar los diseños de estudio.
La atribución de los resultados a una determinada intervención
debe ser establecida no solamente por la confirmación de asociaciones
estadísticas, sino por la de asociaciones lógicas, producto del estudio
sistemático del proceso y de la interacción de los factores que influencian
tanto la implementación de la intervención como los resultados. Esto
100
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
es mandatorio en intervenciones dinámicas que, como señala Pawson
(2001, 2002, 2003), nunca funcionan indefinidamente en todas las
circunstancias ni para toda la gente, ya que estas intervenciones están
inmersas en sistemas sociales.
Al igual que los factores del contexto que influencian tanto la implementación de la intervención como sus resultados, el tiempo para
lograr los cambios es una variable importante. Conocer la prevalencia de
un riesgo o enfermedad nos ayuda a valorar la magnitud del problema,
pero si vamos a intervenir es necesario, también, conocer la evolución
del problema, la efectividad de las experiencias anteriores, así como
los recursos necesarios para darle respuesta.
Finalmente, se ha reconocido que un solo estudio es incapaz de dar
cuenta de la efectividad de una intervención, mucho menos de aquellos
fenómenos sociales en los cuales es inherente la interacción de diferentes variables sociopolíticas y culturales. Este hecho explica, en buena
parte, el creciente interés por los enfoques metodológicos que aplican
análisis multinivel y contextual y no la simple adición de variables a
la red de causación (Diez-Roux, A.V. 1998).
Es contradictorio, por tanto, cuando nos referimos a intervenciones
complejas producidas en sistemas abiertos establecer asociaciones causales entre la intervención y los resultados. Esto se da por la necesidad
de intervenir en varios niveles y porque estas intervenciones tienen más
de un objetivo (existe la intención de alcanzar cambios que pueden ir
desde los comportamentales hasta los estructurales, políticos y sociales); tienen varias intencionalidades; están influenciadas por factores
del contexto que están por fuera del control de quienes los implementan; están orientadas a comunidades o grupos; frecuentemente no son
estandarizables, hay una dinámica de interacción entre sus variables,
las cuales usualmente son desconocidas; y, al mismo tiempo, se tiene
un interés en presentar la evidencia de la efectividad de estas intervenciones, las cuales están soportadas por resultados, frecuentemente
producidos a largo plazo.
101
Ligia de Salazar
El evaluador, por tanto, se enfrenta a situaciones de conflicto cuando
debe decidir el enfoque metodológico más apropiado para responder a la
pregunta de la efectividad y el impacto, de tal forma que la información
producida sea confiable, válida, relevante y oportuna.
En el área de la promoción de la salud y la prevención de enfermedades se requiere un extenso rango de evidencias. La identificación del tipo
específico, las mezclas y la dosis de las estrategias es particularmente
compleja. Por ende, se necesita información sobre la población como
un todo, sobre subgrupos particulares, sobre el impacto del problema
y el potencial de varias intervenciones para hacer la diferencia (Taylor,
Campostrini, Gill, Carter, Dal Grande y Herriot, 2010).
Ha sido reconocido por varios autores que el conocimiento y la
evidencia son necesarios para tomar decisiones, pero cuando se toman
decisiones políticas no se distingue entre estos dos. Respecto a esto
Birn, Zimmerman y Garfield (2000) señalan que independientemente
de cuánta evidencia tengamos nunca removeremos la necesidad de
juicio, o sea, la forma de entender algo en lugar de sólo conocerlo.
Este entendimiento es mucho más viable si la perspectiva local es el
referente de análisis.
Por lo anterior, se exige información que permita responder a las
siguientes preguntas:
• ¿Podemos atribuir los cambios a la intervención?; ¿qué criterios
se tienen?
• ¿Hubo adherencia (fidelidad) al protocolo de la intervención?;
¿qué cambios se hicieron y por qué?
• ¿Qué tan viable es obtener los cambios deseados en el tiempo
estipulado?
• ¿Cuál fue el desempeño durante el proceso de implementación
de la intervención?
102
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
• ¿Se presentaron resultados intermedios relacionados con el objetivo final?; ¿podrían conducir al logro de los objetivos?
• ¿Hubo factores que pudieron influenciar la implementación de
los resultados?; ¿cuáles? ; ¿fueron considerados en el análisis y
en la interpretación de los datos?
• ¿Cuál es la percepción de los “interesados” (stakeholders) en relación con los hallazgos y su utilidad para la toma de decisiones?
El diseño metodológico de la evaluación
debe propugnar por una interpretación y una
comprensión integral de los fenómenos encontrados a partir de un análisis comprensivo del contexto, el proceso y los resultados.
La evaluación, según la
perspectiva de un solo
usuario, puede producir resultados “sesgados”, dado
que la perspectiva de este
usuario no necesariamente
refleja la de otros actores,
aunque sí orienta la evaluación y fija el referente para
comparar y valorar si algo
funciona o es efectivo.
Por ejemplo, al respecto, Hoppe (1999)
afirma que los investigadores han sido calificados de ingenuos políticamente por creer
que pueden producir evidencias libres de la
influencia de la política; y por ello fallan al
sintetizar y presentar la investigación con el
fin de que sea útil a los formuladores de las
políticas. El autor plantea que el modelo mediante el cual los investigadores emplean el enfoque para hallar determinada verdad y que será
informada posteriormente a los tomadores de decisiones, rastreando
la evidencia para luego identificar la mejor solución a un determinado
problema, muestra no solo una comprensión inadecuada del proceso
de formulación de políticas, sino que evidencia la utilización de un
enfoque poco riguroso para producir evidencia.
Esto ha obligado a los evaluadores y los tomadores de decisiones a
debatir el tema, y tener como referentes factores que compiten entre sí,
tales como la precisión, la validez y la oportunidad de la información
versus su sentido, su relevancia y su utilidad para la toma de decisio103
Ligia de Salazar
nes; la temporalidad de la investigación evaluativa versus el proceso
político y gerencial; la información para los promotores del proceso
versus la información para los formuladores e implementadores de las
políticas, y los investigadores interesados en la teoría que fundamenta
la intervención; la evidencia de la efectividad versus la evidencia
de la rentabilidad social; y factores técnicos y económicos versus
los éticos.
Otro aspecto clave que se debe tener en cuenta es la perspectiva
de los evaluadores y, en general, de las personas interesadas en los
resultados de la evaluación. Dado que puede haber muchos interesados que no tengan la misma perspectiva o los mismos parámetros
para valorar el éxito de la intervención, es conveniente indagar sobre
este aspecto y llegar a un consenso.
Sobre lo dicho anteriormente, Gupta (2001) cuestiona la neutralidad al asignar un valor, y señala que en un mundo de ideologías
diversas, es imposible ser completamente neutral cuando se hace un
análisis político. Menciona que “debemos aceptar la existencia de
normas, valores e ideologías sin permitir que ellas nos impidan usar
el análisis sistemático. Si nosotros reconocemos estas limitaciones
externas las podemos incorporar en nuestro razonamiento científico”.
La cuestión de la perspectiva se vuelve crítica en el análisis
político cuando consideramos el análisis desde la perspectiva de
un solo “cliente” o usuario de la información, ya que los analistas
pueden subordinar la metodología a los intereses de ese cliente. Es
interesante reflexionar sobre dos preguntas que hace Gupta (2001)
en relación con la selección de la perspectiva de análisis: ¿cómo la
ideología y la percepción afectan la interpretación de los resultados
de la evaluación?, y ¿puede esta disputa ser resuelta con herramientas
analíticas objetivas?
Es necesario tener presente que las diferentes perspectivas, en
lugar de contradecirse u oponerse, son parte de un proceso de cons104
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
trucción y de acuerdos, en el cual el énfasis de la evaluación y los
indicadores para valorar su efectividad dependen frecuentemente
del momento o ciclo de vida de la intervención y, por tanto, de la
viabilidad de observar los resultados de interés. Así, un modelo
de evaluación esclarecedor debe ser aplicado, de tal modo que los
resultados de la investigación se filtren en la forma como los problemas son abordados y la influencien, y se establezca un diálogo
permanente entre investigadores y formuladores de políticas, con
el fin de que ambos aprendan de cada uno y construyan respuestas
colectivamente.
Se propone que se tengan criterios no sólo para juzgar causalidad
basada en asociaciones estadísticas, sino también, consideraciones
sobre la evidencia que añade credibilidad a la interpretación. Se debe
invertir en interpretación tanto como en recolección de datos, pues pasa
que muchos de éstos son recogidos con un alto costo y hay una poca
interpretación o análisis.
Herramientas metodológicas
A continuación se describen brevemente algunos diseños de estudios
que, al contrario de los anteriores, se caracterizan por un interés en valorar la efectividad según los resultados finales o el cumplimiento de
los objetivos más que por el proceso y los resultados intermedios. Al
final de la sesión se hará énfasis en el uso de métodos alternativos, los
cuales combinan enfoques cualitativos y cuantitativos para dar cuenta
de los aspectos señalados anteriormente.
•
Los métodos epidemiológicos tradicionales. A continuación se des-
criben brevemente y se analizan críticamente la viabilidad y
la conveniencia de aplicar diversos diseños de estudios para la
evaluación de la efectividad de las intervenciones. Algunos se
caracterizan por su interés en valorar la efectividad de la intervención a través de resultados intermedios o resultados finales,
que den cuenta del cumplimiento del objetivo de la intervención;
otros, por la efectividad de los mecanismos que hicieron posi105
Ligia de Salazar
ble los cambios o hallazgos encontrados; y, finalmente, los que
consideran importante y necesario valorar ambos aspectos. Hay
un llamado, entonces, a orientar la perspectiva de la calidad de
los métodos empíricos a una que incluya la teoría para conocer
hasta dónde un mecanismo teórico fue definido y probado.
•
Estudios analíticos: experimentales, cuasiexperimentales y observacionales. Si bien el diseño metodológico, que ha sido identificado
como “prueba reina” para establecer la evidencia de efectividad
en salud pública han sido los estudios aleatorios controlados –
RCT–. Varios autores (Waters, E., Doyle, J., Jackson, N. et al.,
2006, abril) han señalado que estos estudios son inapropiados,
innecesariamente costosos y engañosos cuando se pretende establecer asociaciones entre variables que no siguen los supuestos
en los cuales se soporta su validez.
Tenemos el caso de la interacción de múltiples niveles para lograr el objetivo, y la dificultad para identificar las variables que
interactúan e influencian los resultados, con el fin de controlarlas;
las dificultades para encontrar apropiados grupos control, que se
diferencien de la población intervenida, sólo por el hecho de haber
recibido la intervención; la dificultad para controlar o impedir
la influencia de factores del contexto, que cambian el protocolo
de la intervención como también los resultados.
En muchas ocasiones estos factores (mecanismos) más que ser
controlados, deben ser identificados, comprendidos y tenidos en
cuenta en el análisis y en la interpretación de resultados. Aquí la
lógica del control no parece tener razón de ser. Al respecto, Loomis y Wings (1990) afirman que esta complejidad refleja mejor la
realidad que los modelos multicausales que prevalecen hoy en día.
106
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
•
Revisión sistemática. Se refiere a la síntesis de la recolección com-
prensiva de información sobre un tópico en particular (Brownson,
R.C. et al., 2003). La revisión sistemática inicia con la necesidad
de integrar la información existente con el fin de proveer información confiable y suficiente para una toma racional de decisiones
(Campostrini, E. 2007; Mulrow, C.D. 1994; Greenhalg, T. 1997).
•
Meta-análisis. Usa la síntesis de resultados de múltiples estudios de
investigación mediante un enfoque cuantitativo en cuatro pasos:
identificación de estudios relevantes; identificación de criterios
de inclusión y exclusión; procesamiento de datos; y análisis
estadístico, que incluye la exploración de la heterogeneidad de
los estudios (Brownson, R.C. et al., 2003). Con estos estudios
se pretende aumentar el tamaño de la muestra para incrementar,
a su vez, probabilidad de encontrar diferencias estadísticamente
significativas.
•
Series de tiempo y tendencias usando los resultados de los sistemas de
vigilancia en la salud pública. Los sistemas de vigilancia en la salud
pública permiten el acopio y el análisis de datos sobre variables
de interés en forma rutinaria, y señalan los cambios de dichas
variables (prevalencias). Esta información puede convertirse en
evidencia de la efectividad cuando las intervenciones tienen que
ver con variables rutinariamente recogidas y con información
del proceso y el contexto que está asociada con los cambios de
prevalencias. Se ha resaltado el valor de la vigilancia en la salud
pública para proveer información de calidad que sea confiable,
y que permita no sólo pensar sino actuar en diferentes niveles y
especialmente a nivel local, el cual está basado en necesidades
y prioridades.
•
Enfoques metodológicos alternativos: combinación de enfoques cuantitativos y cualitativos. Hasta aquí hemos descrito tres enfoques
metodológicos; los primeros se soportan en los supuestos que
fundamentan los estudios epidemiológicos y consideran como
107
Ligia de Salazar
única evidencia científica aquella que es resultado de las ciencias biomédicas y naturales. Los segundos, los enfoques cualitativos, reconocen que los diferentes tipos de ciencias requieren
diferentes clases de metodologías de investigación, como es el
caso de aquellas que provienen de las ciencias políticas y sociales. Finalmente, los terceros, valoran las fortalezas de cada enfoque y, más importante aún, reconocen y aceptan la necesidad
de combinar los enfoques y los métodos de cada metodología
para responder a preguntas de investigación relacionadas con
la efectividad y el impacto de las intervenciones complejas,
como es el caso de las intervenciones en salud colectiva y en
promoción de la salud.
A continuación presentamos dos propuestas metodológicas
para brindar respuestas a varios de los desafíos anteriormente
planteados, con el ánimo de contribuir a la discusión sobre la
combinación de enfoques metodológicos y las técnicas para la
evaluación de intervenciones complejas o que, por su naturaleza,
resulta irrelevante tratar de establecer asociaciones causales
(lineales).
Estos enfoques parten del aceptar que no hay verdades universales, porque a causa de la influencia del contexto y de diversas
formas y procesos de implementación una misma intervención se
comporta de manera diferente y produce, igualmente, resultados
distintos. De allí que combinen métodos para la búsqueda interactiva de respuestas con base en los procesos y los mecanismos
que hicieron posible unos determinados resultados.
•
Síntesis realista: Este enfoque centra su análisis en la teoría de la
intervención (unidad de análisis), en lugar de la intervención por
sí misma (resultados y cumplimiento de los objetivos). Pawson
señala otros argumentos para justificar este enfoque de estudio
al indicar que los programas complejos consisten en una serie de
vínculos, los cuales rara vez se fundamentan en el conocimiento
108
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
de su funcionamiento, y por tanto, dichos programas pueden fallar debido
a que hay poca comprensión sobre
cómo seleccionar opciones durante
su implementación. En resumen, este
enfoque además de tener en cuenta
los resultados, se orienta a identificar los mecanismos que los hicieron
posibles.
La síntesis realista demanda una explícita definición
de los supuestos acerca de
cómo una intervención
funciona (teoría de la intervención) y recoge en
forma sistemática, evidencia para probar y redefinir
esta teoría.
Si bien una secuencia similar es utilizada para las revisiones sistemáticas
cualitativas y cuantitativas, Pawson La síntesis realista es un
(2002,2004) señala algunas diferencias enfoque para revisar la
en las revisiones tradicionales y las evidencia de intervenciones
realistas en relación con el énfasis, complejas, el cual provee
la duración, el ordenamiento y, sobre explicaciones de cómo y
todo, con el contenido metodológico por qué una intervención
de cada etapa. El enfoque de síntesis funciona en diferentes conrealista, según el autor, es un nuevo textos. Pawson, 2004
modelo que sintetiza los resultados
de la investigación, el cual es compatible con la complejidad de
los sistemas de salud y con el uso de la evidencia multimétodo
y multidisciplinaria. El método se focaliza en las teorías que
subyacen a las intervenciones sociales, y aduce al hecho de
que las intervenciones son teorías que inician como ideas de
los tomadores de decisiones y que después pasan a manos de
los gerentes o funcionarios y a los usuarios y participantes de
la intervención; es este proceso de implementación de la teoría
(estrategias, relaciones interpersonales, infraestructura, etc.) el
que contribuye al éxito o el fracaso de la intervención.
El método comprende seis pasos: 1) identificación de la pregunta
de evaluación; 2) búsqueda de estudios de fuentes primarias,
109
Ligia de Salazar
El enfoque de síntesis realista ayuda a contestar
preguntas relacionadas con
las circunstancias o con las
condiciones (mecanismos)
que aumentan la probabilidad de que la intervención
funcione o, por el contrario, falle, y qué podría
hacerse para incrementar
las probabilidades de éxito.
3) valoración de la calidad; 4) obtención de
datos; 5) síntesis de datos; y 6) diseminación
de información. En ambos enfoques, sobre
revisiones sistemáticas tradicionales y revisiones realistas, hay consenso acerca de la
transparencia o la auditabilidad del proceso
de revisión; también es posible que en ambos,
los investigadores, tomadores de decisiones
y los otros interesados puedan verificar qué
hay detrás de la revisión, con el fin de valorar
el rigor, la validez, la confiabilidad, y la verificación de los hallazgos y las conclusiones.
Invertir tiempo suficiente para definir la pregunta a responder es
clave para iniciar el proceso de búsqueda, análisis y comprensión
de los resultados de la revisión. En el enfoque realista, como ya
fue indicado, hay un interés por descubrir el porqué, cuándo y
cómo una intervención funcionó. Es así como la pregunta general
se orienta a descubrir los mecanismos que hicieron posible un
determinado resultado, y por ello hay preguntas complementarias
que se relacionan con la pregunta general: ¿para quién funcionó
la intervención; en qué circunstancias; de qué forma y por qué?
Las preguntas iniciales se refinarán periódicamente a medida que
el nuevo conocimiento surja como producto de la revisión y el
análisis conjunto de los interesados.
•
La Efectividad y los sistemas de vigilancia en la salud pública. Uso de
resultados de los vigilancia en la salud pública y de otras fuentes de información: El diseño de la evaluación que valora la efectividad
de las intervenciones en la salud pública y en la promoción de la
salud, que articula la vigilancia en salud pública (distribución de
prevalencias y tendencias) con cambios en el contexto y factores
que influencian los resultados –como cambios políticos, organizacionales, comportamiento, capacidad de actuar, entre otros–,
es recomendado por las siguientes razones:
110
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
-- Los estudios ecológicos, según algunos autores (Kelsey, Thompson y Evans, 1986), son más apropiados cuando hay interés en
procesos sociales y culturales. Los estudios con un enfoque
ecológico consisten en encuestas transversales cuya unidad de
análisis son poblaciones o grupos, y los individuos estudiados
son vistos como miembros de una comunidad en un determinado
contexto (Valente, 2002; Jekel, Elmore y Katz ,1996).
-- Campostrini, E. y McQueen, D. (2007) resaltan el valor de
la vigilancia en la salud pública para proveer información de
calidad y confiable, que permita no sólo pensar, sino actuar
en diferentes niveles y especialmente local, basado en necesidades y en prioridades.
-- En la evaluación de intervenciones complejas es necesario
no sólo conocer si la intervención alcanzó el objetivo, sino
también comprender la teoría (las teorías) del programa, o
los mecanismos que hicieron que éste funcionara o fallara,
y no sólo precisar si éste funcionó. En este modelo dicha información será obtenida mediante métodos cualitativos que
den cuenta de la calidad del diseño y de la implementación
de la intervención.
-- Dos estrategias podrían incrementar la validez y la credibilidad
de este tipo de estudios: 1) Varias mediciones para identificar
las tendencias del cambio, y 2) Información sobre el proceso
de implementación de la intervención para obtener no sólo
asociaciones estadísticas, sino asociaciones lógicas que se
fundamenten en los resultados de la interacción entre variables
(mecanismos). Este enfoque puede ser fortalecido al combinar
los resultados de la vigilancia con la información cualitativa
sobre el diseño y la implementación de la intervención.
-- Un ejemplo del uso de sistemas de vigilancia para evaluar
intervenciones en la salud pública y en la promoción de
111
Ligia de Salazar
la salud es la evaluación de la efectividad y el costo de la
efectividad de las intervenciones escolares, que se combina
técnicas cuantitativas y cualitativas para valorar tendencias
de prevalencias de factores de riesgo en esta población con
técnicas para identificar y comprender los procesos de cambio,
tales como la documentación y sistematización de experiencias
(PAHO, 2007; De Salazar, L. 2004b).
-- Basado en resultados de sistemas de vigilancia en salud pública (de Salazar, 2011), el modelo de evaluación de la efectividad
de las intervenciones para controlar y prevenir enfermedades
crónicas no transmisibles, ECNT, y los factores de riesgo asociados, es otro ejemplo mediante el cual se evaluaron diversas
intervenciones latinoamericanas en la salud pública y en la
promoción de la salud.
Modelo
Evaluación de efectividad de
intervenciones para controlar y
prevenir enfermedades cronicas no
transmisibles
Enfoque Cualitativo
Enfoque Cuantitativo
Sistematización
• Fundamentación
• Suficiencia
• Coherencia
• Desempeño
Vigilancia-Encuestas-Registros
• Validez
• Fuerza de asociación
• Importancia de los cambios
Jerarquía de la evidencia
Asociación
Contribución (Correlación)
Atribución
Gráfico 1: Modelo de evaluación de la efectividad de las intervenciones para controlar
y prevenir ECNT.
112
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Los componentes del modelo de evaluación incluyen la valoración
de la calidad del diseño de la intervención; la valoración de la calidad
de la implementación, la adherencia al protocolo y la interacción de los
componentes del programa; la importancia y significado estadístico de
los cambios; las tendencias de prevalencia de los eventos de interés; y
la atribución de los cambios a la intervención. Para cada componente
se establecieron variables de estudio e indicadores para valorar su
cumplimiento.
Matriz de variables e indicadores
Calidad
del diseño
Calidad
del proceso de
implementación
Fundamentación
teórica
Recursos.
Suficiencia/viabilidad del diseño/
Protocolo
Identificación
completa de
actividades y
recursos
Valoración de los
Valoración de la
cambios en la
coherencia entre los
prevalencia de even- enfoques cualitatitos de interés
vos y cuantitativos
Metodología
utilizada para
valorar los
cambios en
los eventos de
interés
Componentes y
mecanismos
Cumplimiento de
actividades
Asociación
Contribución
Factores de
contexto
Significado e
importancia de
los cambios
Indicadores de
logro
113
Atribución
Ligia de Salazar
La prueba del modelo de evaluación se realizó en cuatro ciudades
latinoamericanas Cali y Medellín (Colombia), Mar del Plata (Argentina)
y Estado Lara (Venezuela) y se encontró que si bien su uso es altamente
deseable, puede ser inoperante en la práctica si no se establecen condiciones relacionadas con la definición precisa de la intervención, basada
no sólo en el protocolo propuesto sino en los cambios como resultado
de la práctica y el contexto en que se realiza; la disponibilidad de información de calidad sobre el proceso de implementación y los factores
que han influenciado tanto la intervención como los resultados, como
es el caso de los determinantes sociales; y las estrategias y los mecanismos que favorecen la articulación entre la vigilancia, la evaluación
y la política pública.
3.3 Evaluar costo efectividad
La evaluación económica es el conjunto de técnicas orientadas a
examinar y seleccionar las mejores opciones en términos de sus costos
y consecuencias; por consiguiente, las tareas básicas de este tipo de
evaluación son: identificar, medir, valorar y comparar costos y resultados (Drummond, M., O´Brien, B., Stoddart, G. y Torrance, G., 1997).
Esta definición tiene dos aspectos fundamentales que la caracterizan:
el primero, la consideración de los costos y los beneficios en un solo
análisis; y el segundo, el uso de los resultados para la toma de decisiones, al considerar la escasez de los recursos como un limitante para
producir los resultados deseados.
Este tipo de evaluación se preocupa por aplicar los conceptos básicos de la economía al establecimiento de prioridades, y por orientar
la inversión hacia el máximo beneficio, según las preferencias de la
comunidad. La búsqueda de la eficiencia es la base de la evaluación
económica; éste es un criterio económico que revela la capacidad de
producir el máximo de resultados con el mínimo de recursos.
Es importante tener en cuenta que la mejor opción no es necesariamente la que genere la mayor productividad económica, pues en la
114
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
mayoría de los casos el objetivo no es obtener rentabilidad financiera,
sino elegir la alternativa que resuelva mejor un determinado problema
con la menor inversión de recursos.
La evaluación económica es una herramienta analítica que permite
poner en una balanza las ganancias y las pérdidas, o en términos más
estrictos, los costos y los beneficios de una intervención, para la asignación de recursos en la dirección más eficiente. Todo ello la convierte
en una herramienta vital para la toma de decisiones.
Como métodos más comunes de la evaluación económica están el
análisis costo-efectividad y el análisis costo-beneficio y sus derivados.
El primero sirve para resolver el problema de la eficiencia técnica, al
determinar la forma menos costosa de obtener unos resultados deseados. El segundo procura resolver el problema de la eficiencia en la
asignación, al determinar cuál es el resultado más deseado (valorado)
por la sociedad. Del análisis costo-efectividad se derivan el análisis
costo-utilidad y costo-consecuencia.
115
Ligia de Salazar
BIBLIOGRAFÍA
Abma, T. (2005), “Responsive evaluation: Its meaning and special contribution
to health promotion”. En: Evaluation and program planning, vol.
28, págs 279–289.
Beaglehole, R., Bonita, R. y Kjellstrom, T. (1994). Epidemiología básica.
Publicación científica. núm.551, OMS, Ginebra.
Birn, A-E., Zimmerman, S. y Garfield, R. (2000), “To decentralize or not to
decentralize, is that the question? Nicaraguan health policy under
structural adjustment in the 1990”. En: International Journal of
health services, vol. 30, núm. 1, pp. 111-28.
Brownson, R., Baker, E., Leet, T. y Gillespie, K. (2003). Evidence-based
public health. New York, Oxford University Press.
Campostrini, E. (2007). “Measurement and effectiveness. methodological
considerations, issues and possible solutions”. En: McQueen, D.,
Jones, C. (edits.). Global Perspectives on Health Promotion Effectiveness. New York, Springer.
Cerda, G. (1994). La investigación total. La unidad metodológica en la
investigación científica. Mesa redonda MAGISTERIO. Colombia.
116
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Cronbach, L. et al. (1980). Toward reform of program evaluation: Aims,
methods, and institutional arrangements. San Francisco, Jossey-Bass.
De Salazar, L., Díaz, C. y Magaña, A. (2002). Municipios y comunidades
saludables. el reto de la evaluación, Cali, Colombia, CEDETES.
Universidad del Valle.
De Salazar, L. (2004a) “Promoción de la Salud y Evidencias de su Efectividad: Un Reto Metodológico y Político”. En: Arroyo, H. (edit.). La
promoción de la salud en América Latina: modelos, estructuras y
visión crítica, Universidad de Puerto Rico.
De Salazar, L. (2004b), “La Sistematización de Experiencias en Promoción
de la Salud”. En: Efectividad en promoción de la salud. Guía de evaluación rápida. CEDETES – Universidad del Valle. Cali, Colombia.
De Salazar, L., (2011) ¿Funcionan y son efectivas las intervenciones para
prevenir y controlar las Enfermedades Crónicas? ¿Qué dice la evaluación? Programa Editorial Universidad del Valle. Cali, Colombia.
De Salazar, L. y Gómez, S. (2011) (comps). Abordaje de las enfermedades
crónicas. Lecciones de la práctica, Programa Editorial. Universidad
del Valle. Cali, Colombia.
Diez-Roux, A. (1998), “Bringing context back into epidemiology: variables
and fallacies in multilevel analysis”. En: American journal of public
health, vol. 88, Issue 2, págs 216-222.
Diez Roux, A. (2004), “Genes, individuos, sociedad y epidemiología” en
Spinelli, H. (comp) Salud Colectiva. Cultura, instituciones y subjetividad. Epidemiología, gestión y políticas, Buenos Aires, Lugar
Editorial, págs 71-81.
Drummond, M.; O´Brien, B.; Stoddart, G. y Torrance, G. (1997). Methods
for the economic evaluation of health care programmes. Segunda
edición. New York, Oxford Medical Publications, pp: 233.
Earl, S.; Carden, F. y Smutylo, T. (2001). Outcome Mapping: Building Learning and Reflection into Development Programs. Canadá. International Development Research Centre, IDRC.
Fundesalud/CEDETES (2008). Guía para la sistematización de intervenciones
en salud pública y promoción de la salud. UIPES.
117
Ligia de Salazar
Green, J. y Keith, T. (1999), “Towards a secure evidence base for health
promotion”. En: Journal of public health medicine, vol. 21, núm.
2, págs 133- 139.
Greenhalgh, T. (1997). “How to Read a Paper: Assessing the Methodological
Quality of Published Papers”. En: British medical journal, vol.315,
pp: 305-308.
Guba, E. y Lincoln, Y. (1981). Effective evaluation. Beverly Hills, Sage.
Guba, E. y Lincoln, Y. (1989). Fourth generation evaluation. Beverly Hills,
Sage.
Gupta, D. (2001). Analyzing public policy: concepts, tools, and techniques.
San Diego State University, CQ Press A Division of Congressional
Quarterly Inc Washington D.C.
Hoppe, R. (1999), “Policy analysis, science and politics: from ‘speaking truth
to power’ to ‘making sense together’”. [En línea], disponible en:
http://www.cddc.vt.edu/tps/e-print/s&pparticle.pdf Recuperado: el
2 de marzo de 2011.
House, R. (1981). “Tres perspectivas de la innovación educativa: tecnológica,
política y cultural”. En Revista de Educación, vol.286, núm.1988,
págs 5-34.
Jara, O. (2006), “Sistematización de experiencias y corrientes innovadoras
del pensamiento latinoamericano. Una aproximación histórica”. En:
Revista La Piragua, núm. 23.
Jekel J, Elmore, J y Katz, D (1996). Epidemiology Biostatics and Preventive
Medicine. WB Saunders Company, págs 11- 67.
Kelsey, J., Thompson, D. y Evans, A. (1986). Methods in observational epidemiology. Oxford University Press, págs 187.
Kane, S., Gerretsen, B., Scherpbier, R., Dal Poz, M., Dieleman, M. (2010),
“A realist synthesis of randomized control trials involving use of
community health workers for delivering child health interventions
in low and middle income countries” En BMC Health services research, vol. 10, núm.286.
118
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Kemm, J. (2006, junio). “The Limitations of ‘Evidence-Based’ Public Health”.
En: Journal of evaluation in clinical practice. vol. 2, págs 319.
Lincoln, Y. S. y Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, Sage.
Loomis D, Wing S. (1990).”Is molecular epidemiology a germ theory for the
end of the twentieth century?”. En: International journal of epidemiology. vol. 19, págs l-3.
Marmot, M. (2004). “Evidence Based Policy or Policy Based Evidence?”.
En: British medical journal. vol.328, págs. 906-907.
McQueen, D. y Anderson, L. (2000). “What counts as evidence: issues and
debates on evidence relevant to the evaluation of community health
promotion programs”. En: Rootman, I., Goodstadt, M., McQueen, D.,
Potvin, L., Springett, J. y Ziglio, E. (edits.) Evaluation in Health Promotion: Principles and Perspectives, Copenhagen, WHO (EURO).
McQueen, D. (2007). “Evidence and theory. continuing debates on evidence and effectiveness”. En McQueen, D., Jones, C. (edits.) Global
perspectives on health promotion effectiveness. New York, Springer.
Mulrow, C. (1994). “Rational for systematic reviews”. En: British medical
journal, vol.309, pp:597- 599.
OPS/OMS (2005). “Guía de evaluación participativa para municipios y comunidades saludables”. [En línea], disponible en: http://www.bvsde.
paho.org/bvsdemu/fulltext/guiaeval/guiaeval.html Recuperado: 13
de junio de 2008.
Organización Mundial de la Salud [OMS], (2004). Promoción de la salud
mental. conceptos, evidencia emergente, práctica. Informe compendio, OMS: Ginebra.
Pan American Health Organization (PAHO), (2007). Guide to economic
evaluation in health promotion. Washington, Pan American Health
Organization.
Pawson, R. (2001). “Evidence and policy and naming and shaming”, ESRC
UK Centre for Evidence Based Policy and Practice.
Pawson, R. (2002). “Evidence-based policy: the promise of ‘realist synthesis’”.
En: Evaluation vol. 8, núm. 3, págs 340-358.
119
Ligia de Salazar
Pawson, R. (2003). “Nothing as practical as a good theory”. En: Evaluation,
vol. 9, núm 4, págs 471-490.
Pawson, R. (2004, agosto). Realist synthesis: an introduction submitted to the
ESRC research methods programme. Working Paper Series.
Potvoin, L. (2007, 11 de julio). “Evidence in public health and health promotion: a debate; a response under construction; a key aspect in the
research agenda” [conferencia], Seminario taller internacional de
evaluación de efectividad en salud pública. Un enfoque desde los
determinantes sociales y la promoción de la salud. Cali, Colombia.
Stake, R. (1975). “To evaluate an arts program”. En: Stake, R. (edit.) Evaluating the arts in education: A responsive approach. Colombus, Ohio.
Merrill, págs 13–31.
Stake, R. y Abma, T. (2005). “Responsive evaluation”. En: Mathison, S. (Edit.),
Encyclopedia of evaluation, Thousand Oaks: Sage, págs 376–379.
Smutylo, T. (2001). “Impacto latente, atribución oculta: Cómo superar las
amenazas al aprendizaje en los programas de desarrollo”. Unidad
de evaluación, centro internacional de investigaciones para el desarrollo, IDRC, Ottawa, Canadá.
Susser, M. (2001) “Glossary: Causality in public health science”. En: Journal
of epidemiology and community healt,. vol.55, págs 376-378.
Taylor, A., Campostrini, S., Gill, T., Carter, P., Dal Grande, E. y Herriot, M.
(2010, agosto). “The use of chronic disease risk factor surveillance
systems for evidence-based decision-making: physical activity and
nutrition as examples”. En: Int J Public health, vol. 55, núm. 4, págs
243-9.
Valente, T. (2002). Evaluating Health Promotion Programs, Keck School of
Medicine University of Southern California. Boolmberg Hopkings
University, Oxford University Press Inc.
Waters, E.; Doyle, J.; Jackson, N. et al. (2006, abril). ����������������������
“Evaluating the effectiveness of public health interventions: the role and activities of the
Cochrane collaboration”. En: Jech.bmjjournals.co
120
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
IV.
Comunicación, puente entre la
evaluación, la política y la práctica
PRESENTACIÓN
Este capítulo brinda elementos para identificar
y reflexionar sobre los alcances, posibilidades y
estrategias que ofrece la comunicación para fortalecer los procesos de toma de decisiones a través
de la persuasión, el empoderamiento y la toma de
decisiones
Se sugieren algunas estrategias y metodologías
estándar, que podrían ayudar a desarrollar una organizada y efectiva labor comunicativa; sin embargo,
se recomienda al evaluador tener flexibilidad para
adaptarlas a cada situación particular.
121
Ligia de Salazar
122
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
INTRODUCCIÓN
La comunicación en salud pública tiene el doble papel de informar
y persuadir. Aunque estas dos intenciones están íntimamente interrelacionadas hay diferencias en la forma y los mecanismos utilizados para
conseguir el objetivo.
Es frecuente que quienes comunican resultados de la investigación,
en este caso de evaluaciones, lo hagan como respuesta a la demandas
de agencias financiadoras, o a su propio interés, como es el caso de los
informes y artículos científicos para dar cuenta de los hallazgos y avances
de la investigación. En los casos anteriores se comunica pero hay dos aspectos adicionales para poder cumplir el objetivo de persuadir: el primero
es que los resultados incluyan al público en general y segundo, que se
amplíe el contenido y la forma (medios) para comunicar los resultados
de la evaluación, de tal forma que podamos tener una influencia real en
las decisiones que de ella se deriven.
Nelson y colaboradores hacen la distinción entre datos e información. Los datos en salud pública se refieren a cifras, porcentajes,
tasas y poblacionales. La información hace alusión a datos y cifras
interpretados con el conocimiento científico. En esta publicación
123
Ligia de Salazar
comprendemos que el dato se convierte en información cuando la
interpretación de las cifras se realiza según las características sociales, económicas, culturales y políticas en donde estas fueron producidas, en otras palabras, contextualizando los hechos. Igualmente,
la contextualización incluye el análisis de coyunturas específicas
relacionadas con el uso que se quiera dar a la información.
Continuamente hay que informar, educar, persuadir y empoderar al
público sobre aspectos relacionados con la salud, cuya intencionalidad
gira en torno a su mejoramiento. Se requiere concienciar de esta intencionalidad, del alcance y del principal propósito de la comunicación
para así reconocer los escenarios y coyunturas que tienen lugar, y definir
las técnicas y mecanismos apropiados para acercar los resultados de la
evaluación a la toma de decisiones y la acción.
Frente al proceso de formulación de políticas y toma de decisiones, la evaluación debe reflejar las expectativas e interrogantes de los
usuarios potenciales de la información: los formuladores de políticas,
el público, los proveedores de servicios, los académicos, los gerentes
y los administradores. Debe trascender la presentación del informe y
la publicación de resultados para convertirse en insumo primario de las
dinámicas de reflexión de la evaluación.
Un desafío por resolver es contemporizar los tiempos políticos con
los de la evaluación sin afectar la calidad de la investigación evaluativa. Así, lejos de reducir la comunicación a la diseminación, entrega y
eventual publicación del informe final, se debe considerar la comunicación como una actividad que debe ser planificada desde el principio
de la evaluación y producirse en diferentes momentos del proceso y
no sólo al final, lo cual demanda la utilización de diversas estrategias
y medios (Tiana, 1997).
La expectativa es que la evaluación proporcione información,
evidencias y recomendaciones que sirvan para resolver un problema
o, al menos, para disminuir la incertidumbre sobre la mejor opción
124
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
a la luz de ciertos criterios relacionados con los beneficios y el cumplimiento de principios éticos. Los tomadores de decisiones tienen
una orientación práctica y valorarán los resultados de la evaluación
en la medida que éstos sean instrumento para ayudar a resolver dicha
incertidumbre. Es igualmente necesario darle énfasis a procesos de la
comunicación de resultados y generación de dinámicas participativas
que recojan la opinión del público, los decisores, los proveedores y
los administradores, de tal forma que se aumente la probabilidad de
adopción de las recomendaciones y éxito en su aplicación.
La comunicación efectiva de los resultados de la evaluación no requiere que se utilicen todas las oportunidades y canales. Por el contrario,
necesita que se seleccione o se creen estratégicamente las oportunidades
y canales apropiados en las circunstancias apropiadas. En el empeño
de vincular la evaluación a la política, el diseño de estrategias.culturalmente idóneas de comunicación no garantiza que se tomen mejores
decisiones, pero sí maximiza la probabilidad del uso de los resultados
en los procesos decisorios.
Se deben considerar recomendaciones generales,
pero también atender al hecho de que la mejor comunicación se obtiene al aplicar una receta. La tarea de
cada evaluador es proveer la mejor, la más oportuna y
la más relevante información posible sobre el programa
evaluado; para esto, se debe identificar quiénes son los
interesados y los usuarios de su información, adaptar
las estrategias de comunicación al contexto y principalmente al mensaje que se quiere enviar, las características de los beneficiarios y el objetivo que se pretende
alcanzar al comunicar.
1. Fundamentación
Hechos
• En salud pública la comunicación tiene un alcance mayor al que
tradicionalmente se le ha dado, pasa de ser sólo instrumental para
hacer parte de una estrategia y de un proceso de cambio; de allí
125
Ligia de Salazar
que el papel de la comunicación debe ser coherente con ello. En
otras palabras, las estrategias y los medios de comunicación están
estrechamente ligados y son influenciados por la intencionalidad
al comunicar.
• El debate sobre la utilidad de la investigación en los procesos de
formulación de política continúa hoy, en un contexto en el cual
muchos investigadores y evaluadores piensan que su papel termina cuando el conocimiento se produce, y muchos tomadores de
decisiones enfatizan en que los investigadores nunca contestan sus
preguntas. Ante esto, se requiere identificar qué tipo de arreglos
más constructivos pueden hacerse entre ambos actores. De hecho, la
relación entre conocimiento y acción es, en sí misma, un problema
de investigación (De Pouvourville, 1999).
• Hay una evidente necesidad de conocer mejor a los diversos actores involucrados en la toma de decisiones, así como las fuentes de
información que más utilizan, sus motivaciones para tomar decisiones y sus interlocutores, competidores y aliados. Así mismo, los
evaluadores deben desarrollar habilidades políticas y de comunicación, además de sus capacidades científicas, lo cual no contradice
la exigencia de estructuras y mecanismos más formalizados para
cumplir estas funciones.
• Se reconoce que en procesos de comunicación de la evaluación
la información no es asimilada, entre otras razones, por la gran
cantidad de informes e información que los decisores deben leer y
generalmente se les provee de conocimiento generado por un solo
tipo de enfoque metodológico, aquel que provee cifras precisas
(investigación positivista).
• Sin embargo, observamos en la práctica que muchas veces el proceso de toma de decisiones y de formulación o gestión de políticas
poco o nada tiene en cuenta las evidencias. De igual manera, en
caso de que existan estas evidencias, su difusión está limitada a
126
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
publicaciones e informes dirigidos a la comunidad académica,
que escasamente toma partido en la formulación de las políticas
y en su implementación (De Salazar, 2000).
• Se tiende a estandarizar las soluciones-recomendaciones al
considerar que arrojan resultados iguales en todos los contextos,
sin considerar el ambiente político o la apertura al cambio de las
instituciones, a sabiendas que el contexto político e institucional
es el aspecto más crítico para lograr la articulación de la información con la política y finalmente con la acción.
• Los procesos de comunicación deben ser planeados estratégicamente para que sean efectivos. La mera diseminación no
ha demostrado eficacia en la adopción y aplicación de nuevos
resultados de investigación, al tiempo que la recepción del conocimiento no implica su “uso”. Los procesos de comunicación
deben tener en cuenta el público al cual se quieren dirigir, los
mensajes que manejarán, deben considerar las características,
los intereses y las expectativas de los interlocutores –emisores
y receptores– e identificar el canal de transmisión más indicado
para obtener resultados efectivos.
• Generalmente hay una sobrevaloración de las publicaciones
científicas como el único medio para transferir el conocimiento,
y de las tecnologías como los únicos medios de comunicación. Es
indispensable desarrollar permanentes estrategias que permitan
indagar y conocer los procesos decisorios y sus motivaciones,
de tal manera que las estrategias que se diseñen para comunicar
los resultados, en este caso de la evaluación, respondan a dichas
motivaciones y expectativas.
• Se debe considerar la relevancia de la fuente de información.
Aunque la comunicación es un proceso interactivo en el que cada
uno de sus componentes influye en los demás, la fiabilidad de
la fuente es una de las condiciones imprescindibles para que las
127
Ligia de Salazar
estrategias sean efectivas; entonces, es necesario que el receptor
reconozca como experto al emisor.
Debate
• La información y la toma de decisiones políticas no son procesos
lineales. Durante las últimas dos décadas se han realizado grandes
esfuerzos para aproximar la investigación y las políticas, pero
muchos han fracasado por basarse en expectativas no realistas
y por la incomprensión del proceso de definición de políticas,
sujeto a múltiples fuerzas. El proceso de toma de decisiones poco
o nada tiene en cuenta las evidencias científicas fruto de la investigación o la evaluación. De igual manera, en caso que existan
estas evidencias, su difusión se limita a las publicaciones y a los
informes dirigidos a la comunidad académica, que escasamente
participa en la formulación de las políticas y su implementación.
Por tanto, aún están sin responder interrogantes sobre ¿cómo
volver más productivas y relevantes las interacciones entre los
investigadores y los formuladores de las políticas para responder a los problemas de la sociedad?; ¿por qué algunas ideas que
circulan en las redes de investigación y algunas políticas son
recogidas y se actúa con base en ellas, mientras que otras son
ignoradas y por eso desaparecen?
• Cambiar un comportamiento relacionado con la salud o tomar
una determinada decisión no se consigue con una campaña o
mediante una estrategia de comunicación. De la misma manera,
el disponer de la información adecuada, o desarrollar una estrategia integral de comunicación no garantiza que se logre llegar al
plano de la actuación ni que se tomen decisiones en política. El
proceso de decisiones es mucho más complejo y está atravesado
por otra serie de fenómenos que lo determinan, que van más allá
de los alcances de las estrategias de comunicación. Una vez que
la decisión técnica entra en el terreno de la decisión política,
ingresa a un contexto interactivo donde operan múltiples racio128
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
nalidades, que responden a distintos grupos de interés, cada uno
tiene información parcial, y actúa en un medio incierto.
Desarrollos
La comunicación efectiva de los resultados de la evaluación no
requiere que se utilicen todas las oportunidades y todos los canales.
Por el contrario, necesita de una selección o creación estratégica de
oportunidades y de canales apropiados, en las circunstancias apropiadas. En el empeño de vincular la evaluación a la política, el diseño de
estrategias de comunicación culturalmente apropiadas no garantiza que
se tomen mejores decisiones, pero maximiza la probabilidad del uso de
los resultados en los procesos decisorios.
La producción científica y el uso de la evidencia incrementan la
probabilidad de contar con mejores y más acertados procesos de formulación y de reorientación de las políticas, al tiempo que permite elaborar
políticas más racionales, acordes con los actuales requerimientos del
gasto y el logro de la rentabilidad social. Pero esta probabilidad mantiene
su curso cuando entran en interacción todos los actores involucrados
en la formulación e implementación de las políticas: los políticos, que
toman las decisiones y cumplen con la función derivada de su poder; los
investigadores o científicos, que supuestamente proveen información
relevante y válida; y la comunidad, que además de ser también responsable de proveer información clave, recibe el impacto de una buena o
una mala decisión, y simultáneamente debe estar preparada y ejercer
presión a favor o en contra de las políticas que se estén debatiendo.
Contar con información exacta no siempre es el interés de quienes
toman las decisiones. Muchas veces son más importantes las estimaciones que los ayuden a entender si el problema es pequeño o grande, si
empeora o mejora, en cuánto tiempo tendrá que resolverse y qué puede
hacerse al respecto. Estas aproximaciones tienen mayor probabilidad
de ser consideradas, pues se cuenta con que en las decisiones entran
en juego, además de los insumos técnicos, las diversas circunstancias
129
Ligia de Salazar
y oportunidades, la influencia de los grupos de presión y algunas limitaciones psicosociales –o “momentos de debilidad”-. (White, 1998).
Se ha identificado que los formuladores de políticas actúan y responden a nuevas ideas según su educación, sus actitudes, sus ideas
prevalentes, su disponibilidad de tiempo, su personalidad y poder (posición, autonomía, acceso a formulación de política); sus intereses, ya
sean individuales (valores-preferencias) u organizacionales (incentivos
institucionales, responsabilidad, consenso); sus normas individuales
(socialmente construidas); su sistema de valores y creencias; y su historia y dependencia.
2. Comunicación de la evaluación, políticas y toma de decisiones
Según Fagen (1969), toda la realidad y la coherencia que los acontecimientos tienen para nosotros se debe, en parte, a la manera en que
fueron comunicados. Este planteamiento es reafirmado por Sánchez
(2005), quien dice que la “legitimidad y la eficiencia de las decisiones
y acciones políticas, hoy en día, depende en mucho de estrategias comunicativas y de los insumos suficientes y eficientes de información”.
Si en tiempos no muy lejanos la política era una cuestión de unos
pocos y se decidía en habitaciones y pasillos de palacios a los que la población no tenía ningún acceso, hoy la conversación y la comunicación
de los asuntos públicos, especialmente de políticas públicas, implica a
toda la sociedad, que es espectadora pero también agente, receptora y
emisora de mensajes y periódicamente instancia decisoria.
Estudios han mostrado que uno de los aspectos fundamentales que
mayoritaria y consistentemente han explicado el fracaso de diversas iniciativas políticas y de desarrollo es, entre otros, la falta de información;
el instrumentar decisiones sin explicar a la población afectada lo que
se hace; la falta de comunicación entre el gobierno y la ciudadanía y la
exclusión de la población de los procesos de formulación de políticas
y programas y de la toma de decisiones (Rota, 2000).
130
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Así, para adentrarnos en los conceptos y métodos que nos permitan tender el puente entre la evaluación, las políticas y la práctica
debemos empezar por reconocer que la comunicación, más allá del
uso de los medios, las técnicas y las tecnologías y de ser la invitada
de última hora, está articulada estructuralmente al proceso de gestión
de políticas. De hecho, la gestión de políticas públicas es vista como
un proceso eminentemente comunicativo, en la medida en que éstas
se constituyen en expresiones de la construcción colectiva de sentidos, intereses y significados. La importancia de la comunicación en
la política se nutre de los flujos informativos al proceso de toma de
decisiones, y desde el entorno social. Los gobernados exigen cada
vez más ser informados de procesos y sus resultados, pero también
exigen ser escuchados cuando de definir los problemas, los temas y
las prioridades se trata (Sánchez, 2005).
La comunicación impregna la actividad política pública, hasta el punto
de que un fracaso en la comunicación de un proyecto político acarrea
el fracaso del proyecto mismo; incluso, para algunos autores, se pueden
describir muchos aspectos de la vida política como procesos o tipos de
comunicación (Fagen, 1969). Sin embargo, como escribe Deutsch (1985),
muchas clases de transacciones políticamente relevantes no pueden abordarse desde la comunicación. Pero ese aspecto de la política que guarda
relación con los procesos de comunicación. Supone un aspecto estratégico
de la política, porque incluye las áreas de la atención, la percepción, la
orientación, los valores, la evaluación, la búsqueda de metas y la toma de
decisiones. Es sabido que todo proceso que implica decisiones colectivas
se enfrenta al problema de la comunicación y del diálogo con la ciudadanía
y con los demás actores de una sociedad.
En nuestro tiempo, la comunicación es considerada fundamental en
los procesos de decisiones políticas y se ha puesto en primer plano de
la atención el problema de la información, de los valores, de los símbolos, y su influencia en los receptores de los mensajes de los medios
de comunicación social. La información ha dejado de ser un elemento
131
Ligia de Salazar
más en la sociedad para que su generación, su procesamiento y su
transmisión se convierta en fuentes fundamentales de la productividad
y del poder (Castells, 1999).
Las agendas de los organismos políticos y de los medios de comunicación develan la distribución de una forma de poder. Este poder -control
de la agenda- se traduce en la capacidad para asignar relevancia a un
problema social, atribuirle prioridad y fijar sus posibles soluciones,
descartando otras alternativas (Sampedro Blanco, 1996).
Por su parte, las políticas públicas –un conjunto conformado por
uno o varios objetivos colectivos considerados necesarios– se pueden
definir como los medios a través de los cuales se expresa la acción del
Estado hacia la sociedad; son el “Estado en acción”. La política pública
se entiende, así, como un conjunto de objetivos, decisiones y acciones
que lleva a cabo un gobierno para solucionar los problemas que, en un
momento determinado, los ciudadanos o el propio gobierno consideran
prioritarios. Eso significa que no es posible pensar una política pública
ajena de la capacidad de intervención y participación de los diversos
actores sociales, en su gestión (Figueroa, 2006).
Un concepto con el que se define el ámbito conceptual y operativo
de las políticas públicas tiene que ver con los “flujos de decisión”. De
esta manera, la política pública es el flujo de decisión en torno a un
problema que ha sido considerado público,
La opinión pública es en- que ha ingresado en la agenda del Estado y
tendida como la interac- que debe ser enfrentado de acuerdo con las
ción entre los puntos de competencias constitucionales y legales de
vista del individuo y los que los gobiernos (Cuervo, 2007).
él atribuye a su entorno.
(Noëlle Neuman, 1995)
Según el significado que les atribuye Majone (1997), las políticas son instrumentos de
construcción de opinión pública y de diálogo democrático; por tanto,
son también una actividad de comunicación pública y no sólo una decisión orientada a la ejecución de acciones para el cumplimiento de unos
132
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
objetivos. Majone incorpora, además de la intencionalidad estratégica,
otra de tipo comunicativo, que es fundamental para la construcción
de un clima democrático de discusión, que facilite la articulación del
Estado con los ciudadanos.
El concepto de agenda
El término agenda se utiliza para indicar “el conjunto de problemas percibidos que necesitan un debate público” (Pardioleau, 1982). Por agenda se conoce el espacio en el que diferentes
cuestiones o temas apelan a la acción pública. De manera que el paso por la agenda se convierte
en requisito para el desarrollo de políticas, especialmente en países democráticos. En una determinada sociedad hay muchas agendas, tantas como grupos de interés, afinidad o presión, que
pretenden poner ítems de su agenda en agendas más poderosas como la agenda mediática y la
gubernamental. El espacio mediático pretende ser, y probablemente es, una representación de
la agenda social; es decir, el conjunto de temas que en un determinado momento mueven a la
sociedad a actuar. Los medios de comunicación se comportan como porteros que pueden o no
dejar pasar un tema al espacio mediático. La agenda gubernamental se ve influida, como todas las agendas en una sociedad, por la
agenda mediática; aunque no existe una relación inmediata y exacta. Hay políticas que desarrolla
un gobierno sobre temas que nunca han estado en la agenda mediática, y viceversa: temas que
están reiteradamente en la agenda mediática sin conseguir entrar en la agenda gubernamental.
El concepto de agenda es una de las bases del trabajo en salud pública y promoción de
la salud. Conseguir poner la salud en el espacio mediático es el objetivo de las actividades en
defensa de la salud, y la influencia en las agendas gubernamentales es la base para la mediación
en el desarrollo de políticas públicas saludables. Igualmente, se podrían caracterizar dos fases
o funciones de la defensa de la salud: una consistiría en llamar la atención sobre el problema y
la otra, en llamar la atención sobre una determinada respuesta al problema.
Álvarez-Dardet (s.f)
Hay todavía grandes desafíos para lograr la articulación entre la
investigación y la formulación de políticas en salud, y para tender
puentes efectivos que cumplan con este propósito. Son tantas las razones para creer que la relación entre evaluación y política es un desafío,
que nos vemos obligados a adentrarnos en un análisis de la relación
misma con el fin de entender sus posibilidades y perspectivas. En este
análisis se evidencia la necesidad de conocer mejor a los diversos actores involucrados en la toma de decisiones, así como sus fuentes de
información, sus motivaciones para tomar dichas decisiones y tanto
133
Ligia de Salazar
sus interlocutores como sus competidores y aliados. Así mismo, el
evaluador debe desarrollar habilidades políticas y de comunicación
además de sus capacidades investigativas, lo que no contradice la necesidad de estructuras y mecanismos más formalizados para cumplir
estas funciones (Segura B, 2000).
No es equivocado señalar que, en muchas ocasiones, la base de las
decisiones en la salud y de la acción política es una información incompleta; y por ello, la decisión de actuar se torna en una situación de
relativa incertidumbre. A lo anterior se suma que la realidad va también
más rápido que el conocimiento.
La urgencia con la que hay que tomar determinadas decisiones tiene,
por ende, el riesgo del error y sus consecuencias, que recaen sobre quien
las adoptó, pero también sobre la sociedad que recibe los beneficios
o las consecuencias. Demorarse en adoptar una decisión no es menos
arriesgado que tomarla con urgencia. Así, quienes toman las decisiones,
otros actores e inclusive los medios de comunicación, están llamados a
comparar el costo del error con el costo de la demora, y decidir siempre
en situaciones de relativa incertidumbre (Del Rey Morató, 1998).
Algunos autores afirman que los tomadores de decisión y los investigadores viven en distintas esferas de referencia (De Pouvourville,
1999). La diferencia más notoria parece estar en sus concepciones sobre
incertidumbre y riesgo. De Pouvourville hace la distinción entre incertidumbre radical –como sinónimo de ignorancia- y riesgo –en el cual es
posible construir probabilidades- y plantea que para el investigador la
ignorancia significa la necesidad de más investigación, pero que para
el tomador de decisión esto no necesariamente significa esperar para
tomar una decisión. Los tomadores de decisiones tienen una presión
adicional, tienen que anticiparse a la consecuencia de una decisión o de
una política dada, y establecer estrategias para convencer a las personas
de la necesidad de actuar.
134
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Weiss (1986) planteó una serie de modelos con los que se explica la
articulación entre investigación y políticas, que son adaptables a la situación entre evaluación y toma de decisiones. Unos modelos establecen
una relación unívoca y racional entre la investigación y las políticas; y
otros, apuntan hacia una interacción más aleatoria de las conclusiones,
la definición de los problemas y soluciones de las políticas. A continuación, los puntos más importantes de estos modelos explicativos:
Modelo de solución de problemas y toma de decisiones: Sugiere
una relación directa entre la investigación y la formulación de políticas.
Supone que los responsables de la toma de decisiones tienen una visión
clara del problema y un esquema de las soluciones alternativas, pero
carecen de ciertos elementos factuales o de comprensión. Por lo general,
en estos casos se requiere una investigación que responda al problema,
y se supone que la investigación generada por esta modalidad influirá
en las políticas. Frente a esto, Weiss (1986) señala que en algunos casos
la investigación precede el problema, y los responsables de la toma de
decisiones pueden buscar información en investigaciones ya existentes.
Modelo de búsqueda de conocimientos: Supone también una relación
lógica entre la investigación y el uso de los resultados en las políticas;
pero, a diferencia del anterior, no se orienta a resolver un problema específico, sino a develar alguna oportunidad que pueda ser aprovechada.
Estos dos modelos anteriores han sido objeto de crítica, porque se
basan en los supuestos, aún no comprobados, de que el análisis es esencial en la definición de las políticas, y que estas políticas constituyen un
proceso racional.
Modelo interactivo: Este tipo de aplicación plantea que los resultados
de una investigación pueden penetrar en el terreno de las políticas como
parte de una búsqueda interactiva de conocimientos. Los planificadores
de políticas buscan información no sólo a través de los investigadores
sino también de un conjunto de otros actores, como administradores,
técnicos, políticos, planificadores, periodistas, clientes, grupos de
135
Ligia de Salazar
interés, colaboradores y amigos. El modelo reconoce que se adoptan
ciertas decisiones cuando las circunstancias políticas lo exigen, y no
necesariamente cuando la investigación ha completado y tabulado sus
resultados.
Modelo político: Este modelo sostiene que se puede usar la investi-
gación como un arma política para recabar apoyo para una determinada
posición política, para neutralizar a los opositores de esa posición o
convencer a los indecisos. Sin embargo, hay perspectivas opuestas a este
modelo, e incluso muchos investigadores se niegan a aplicar sus trabajos
con fines de propaganda y autojustificación. Este tipo de aplicación
hace bajar a la investigación de su pedestal y la lleva a la negociación
política, donde se convierte en una fuente más de conocimientos.
Modelo táctico: Este modelo se refiere a aquellos casos en que los
organismos de gobierno u otras instituciones utilizan la investigación
como respuesta táctica para demostrar que se está realizando algo a
propósito de un tema específico. La clave de este modelo de aplicación
táctica y burocrática está en que se ordena hacer un estudio como respuesta a la opinión pública, y no por los beneficios que podrían brindar
las conclusiones de ese estudio.
Modelo de clarificación: Este tipo de aplicación puede contribuir a
aumentar o disminuir el nivel de figuración de un problema en el programa de las políticas públicas. Como tal, puede servir para convertir
un problema existente en uno inexistente, lanzar al dominio público
y político temas hasta entonces privados o silenciados o, bien sea,
introducir un enfoque nuevo en la manera de pensar de la sociedad
sobre determinados problemas.
De acuerdo con Auriat (sin fecha), ninguno de los modelos ofrece
una respuesta satisfactoria a cómo proceden los responsables de la toma
de decisiones para movilizar las conclusiones de las investigaciones y
utilizarlas en su proceso de formulación de las políticas. Sin embargo,
la comprensión de las diversas perspectivas sobre este tema contribuye
136
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
a acabar con el mito de que la investigación tendría un importante impacto en las políticas si los responsables de dichas políticas prestaran
una mayor atención a los resultados de la investigación.
3. Uso de los resultados en la toma de decisiones
La comunicación es un eslabón fundamental de la cadena que relaciona las decisiones individuales con la acción y la política pública.
Las conexiones que los individuos son capaces de establecer entre sus
problemas o experiencias políticas personales y el contexto político
general dependen de numerosas variables, entre las cuales los medios
de comunicación parecen jugar un papel decisivo.
El evaluador tiene la responsabilidad de crear e implementar estrategias de información, comunicación y abogacía que alcancen las
diferentes audiencias comprometidas con el futuro de su intervención
o acción. Si en el proceso de evaluación se ha logrado involucrar al
tomador de decisiones desde la definición de la pregunta, y en general
desde el inicio de la evaluación, probablemente éste comprenderá mejor los resultados y acogerá con mayor facilidad las recomendaciones.
Es importante recordar que los decisores o responsables de la
elaboración de las políticas o los programas se enfrentan no sólo a la
dificultad de tratar que sus decisiones se apoyen en la opinión pública
o sobre criterios racionales sino también a las presiones que provienen
del sistema político, normales en las distintas sociedades.
En cualquier caso, hay que tener en cuenta, como principio básico,
que seleccionar estrategias apropiadas y elaborar información, para
responder a las características de las audiencias, puede mejorar los
esfuerzos de comunicación de la evaluación y su paso a la acción y la
política en forma significativa (Trostle, Bronfman y Langer; 1999).
Un principio fundamental de la comunicación en la evaluación es
tomar en cuenta los usos que los decisores harán de los resultados de la
evaluación. Los procesos de comunicación deben ayudar a los decisores
137
Ligia de Salazar
y hacedores de política a identificar en el concepto y la práctica en qué
consiste una determinada solución, y si la solución o alternativa que se
plantea corresponde con un sentido general de bienestar. Es innegable
que la solución para un grupo puede suponer un problema para otro.
En suma, se trata de una identificación de los valores que están de por
medio en la elección, y éste es el desafío al que se enfrenta aquí la
comunicación.
¿Cómo aumentar la probabilidad de utilización de la información?
Weiss (1984) señaló algunos aspectos para aumentar la probabilidad de utilización de los
resultados de estudios, sobre todo los evaluativos:
•
Desarrollar la evaluación teniendo en cuenta los intereses de los usuarios de la información y si es posible, contar con su participación.
•
El evaluador debe estar cerca de los escenarios y de los hechos.
•
Concentrar el objeto de la evaluación en situaciones que puedan ser cambiadas.
•
Producir informes claramente escritos y que sean oportunos.
•
Formular recomendaciones según el contexto y el análisis conjunto para lograr un
consenso.
•
Diseminar los resultados a través de un resumen corto, bien escrito, dirigido a todos
los que tengan relación con la política o la intervención.
•
Incorporar los resultados de los estudios evaluativos en un contexto más amplio que
considere otros estudios.
•
Realizar una evaluación de buena calidad.
4. Algunas limitantes a tener en cuenta
Sabemos que distintos esfuerzos para aproximar la evaluación a la
toma de decisiones y la acción a la política no han sido exitosos por
basarse en expectativas poco realistas en varios sentidos: muchos evaluadores esperan que otros descubran usos de sus resultados o esperan
que la publicación de estos resultados sea suficiente para ponerlos en
práctica.
Muchos tomadores de decisión desean resultados inequívocos,
positivos o inmediatos, y no aceptan estimativas de probabilidades o
138
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
resultados poco halagadores para sus intervenciones cuando requieren
predicciones rápidas para direccionar sus decisiones. Por otro lado, se
debe tener en cuenta que quienes han buscado estudiar el impacto de
las evaluaciones en la definición de políticas trataron de hacerlo en un
tiempo poco realista (Pellegrini, 1998).
De otra parte, también se observa que las evaluaciones que arrojan
conclusiones potencialmente importantes son comunicadas o transmitidas en un lenguaje técnico, poco comprensible para quienes están en
el campo político y de las decisiones, que generalmente no tienen una
formación en investigación ni el manejo del lenguaje técnico.
Así mismo, los resultados tampoco llegan
al nivel formativo de quienes recibirán el
impacto de una buena o una mala decisión, y
cuando llegan, generalmente, el lenguaje o la
forma de presentar los resultados se convierte
en una barrera para su comprensión. Lo anterior, de hecho, limita la participación en las
decisiones de uno de los actores de mayor relevancia en la construcción de políticas públicas
en sociedades democráticas: la comunidad.
Los tomadores de decisiones son todos aquellos que
pueden decidir acerca del
proyecto o la intervención.
Existen diversos niveles,
dependiendo de la decisión
a tomar. Hay personas
con responsabilidad para
decidir sobre los aspectos
técnicos del proyecto, sobre
la aplicación de las recomendaciones en su vida
cotidiana; y otros, sobre
lo político, en términos de
enfoque, asignación de
recursos y continuación,
extensión a otras áreas y
poblaciones, o finalización
del mismo.
Hay otro gran obstáculo para los planificadores de políticas en promoción de la salud para usar los resultados de la evaluación:
la premura del tiempo. Los responsables de
la toma de decisiones necesitan resultados
con rapidez, debido, en parte, a la intensa
presión pública a la que están sometidos.
Muy a menudo sucede que cuando los resultados “exactos” han pasado por todo un
proceso exhaustivo de revisión por pares, al
momento de utilizarlos ya se ha perdido la oportunidad y pierden su
relevancia en la toma de decisiones (White, 1998).
139
Ligia de Salazar
También es una limitante importante en nuestros países la falta
de recursos y la escasa o nula voluntad política para asignarlos a la
investigación aplicada en salud y a validar estrategias que conlleven
una articulación más productiva entre conocimiento y política.
Otros aspectos resaltados por Weiss (1984), como limitantes para
que los resultados de la evaluación sean considerados en la toma de
decisiones son:
• Los formuladores de políticas tienen dificultad para identificar
tempranamente sus necesidades de información.
• La tendencia a ver los problemas en términos de conceptos y
métodos, con los cuales los académicos están familiarizados,
reduce su capacidad para formular preguntas alternativas de
mayor receptividad.
• La mayoría de los resultados de las investigaciones evaluativas
son ambiguos o brindan conclusiones inconsistentes.
• Los resultados de un solo estudio son de dudosa extrapolación
a otras situaciones o en el futuro.
• Las limitaciones en recursos son una barrera para la implementación de los resultados, especialmente los que implican
reestructuraciones fundamentales.
5. Identificación de los decisores y sus intereses de información
Con el fin de que el evaluador tenga insumos para orientar los objetivos de comunicación y así seleccionar una estrategia efectiva deberá
identificar los intereses de los usuarios principales de la evaluación y
las preferencias de comunicación. Como las variadas audiencias tendrán
también expectativas distintas y requerirán probablemente información
diferente sobre la intervención evaluada (Rossi y Freeman, 1993), el
evaluador deberá conocerlas ampliamente, con el fin de ser más espe140
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
cífico y certero en la selección tanto de la estrategia de comunicación
como de la información que se le entregará a cada una de ellas.
El evaluador debe tener en cuenta los siguientes aspectos para la
identificación de los decisores o de los públicos involucrados y facilitar su análisis en la evaluación:
• Un inventario de involucrados o interesados en la evaluación: El
evaluador deberá hacer un listado con las personas e instituciones
involucradas, voluntaria o involuntariamente, tanto con la intervención o el problema que aborda dicha intervención, como con
las posibles soluciones y su control. Debe ser sistemático en su
relación. Es aconsejable que comience por identificar los actores
afectados por el problema; debe proseguir con aquellos involucrados en la fase de formulación de las propuestas de solución;
y en la financiación de los recursos requeridos, la aprobación o
legitimación de posibles propuestas de política, la ejecución o la
implementación de las medidas, la utilización de los beneficios
obtenidos y la evaluación.
• Un interés particular en tomar una decisión o llevar a cabo una
acción relacionada con la intervención o el problema que aborda.
El evaluador debe identificar el posible interés que el actor analizado o el involucrado pueda tener en la situación o el problema
identificado y caracterizarlo. Debe tener presente que no todos
los actores explicitan sus intereses en el problema ni en sus posibilidades de solución. Ignorar este hecho puede significar un
riesgo importante de resistencia y fracaso cuando se divulgen y
se extiendan los resultados de la evaluación. Por el contrario, la
confluencia de intereses puede ser uno de los factores que garantice
el éxito en el uso de los resultados de la evaluación.
Lo anterior implica no sólo saber quiénes son los grupos de involucrados o los públicos potenciales de la evaluación, qué intereses tienen
en ella y en qué lugar se ubican dentro de la toma de decisiones, sino
141
Ligia de Salazar
saber qué información necesitan y cuál es la mejor forma de comunicárselas. En la siguiente tabla se han ubicado las preguntas de mayor
importancia para esta tarea; el evaluador puede agregar otras:
PREGUNTAS
RESPUESTAS REQUERIDAS
¿Quién necesita la infor- Lista de tomadores de decisiones y otras audiencias a quienes se
mación?
orientará su estrategia de comunicación. Posicionamiento frente
a la intervención evaluada y a las decisiones que de ella resulten.
¿Qué necesita saber?
Tipo de información. Proceso, resultados, impacto, eficiencia, eficacia, efectividad, costos de tecnologías e intervenciones, beneficios.
¿Cómo requiere saberlo? Tipos de medios. Formatos: escritos, visuales, audiovisuales, interactivos, orales (presentaciones, reuniones, etcétera).
¿Por qué necesita sa- Posicionamiento frente a la intervención. Intereses y expectativas,
berlo? conflictos.
¿Para qué necesita sa- Decisiones que requiere tomar. Quiere empezar, mejorar o terminar
berlo? un programa. Necesita orientar/persuadir una acción. Conocer
beneficios. Ejercer abogacía y opinión pública.
¿Cuándo necesita sa- Oportunidad de la información. Período de inicio, medio o finaberlo?
lización de un programa. Finalización de un periodo de gobierno
o dirección.
• Una fase en la cual el actor o el grupo de interés puede actuar
o intervenir. El evaluador identificará para cada actor o grupo
de interés las diferentes acciones, decisiones, fases o momentos
que considere que puede y debe intervenir en el proceso de articulación evaluación-política; por ejemplo, podría hacerlo en la
fase de formulación del problema, posicionamiento del problema
o del tema en la agenda pública, formulación de la política; de
legitimación o aprobación formal, financiación, ejecución o en
la evaluación de la misma.
• Una actitud potencial frente a la acción o la decisión. Con base
en la información disponible es preciso formular hipótesis, y
valorar cualitativamente la actitud de cada actor social como:
muy desfavorable, desfavorable, indiferente, favorable o muy
favorable, frente a las recomendaciones o resultados obtenidos y
con respecto a la intervención en promoción de la salud evaluada.
142
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
6. Definición de los objetivos de comunicación
Los objetivos de comunicación no deben confundirse con los objetivos de evaluación, pero deben desprenderse de su propósito y responder a las necesidades o intereses potenciales de quienes, de una u
otra manera, estén relacionados o se vean afectados por los resultados
de la evaluación y de los posibles usos que los tomadores de decisión,
incluyendo las comunidades, puedan dar a dicha evaluación.
De acuerdo con la Comisión Europea (2003), una comunicación efectiva de la evaluación puede conducir a otros usos y beneficios adicionales:
• Lograr el interés de gobiernos nacionales, autoridades regionales
y locales y otros públicos en las intervenciones, así como de
fuentes de financiación alternativas, que apoyen la ampliación
o extensión de intervenciones exitosas.
• Hacer visible la labor de las organizaciones o de las instituciones
participantes, e incluso la del grupo evaluador, en la intervención
local, nacional e internacional.
• Promover el uso de los resultados de la evaluación en los diferentes organismos y los tomadores de decisión.
• Fomentar buenas prácticas en la promoción de la salud, que sean
el resultado de evaluaciones serias de la efectividad.
7. Selección de la estrategia de comunicación
Una selección adecuada de la estrategia determina el éxito de la comunicación. La estrategia incluye la escogencia de medios, productos o
canales de comunicación y la elaboración de la información en productos
de comunicación con sentido y utilidad para los públicos identificados.
Se debe reconocer que el ambiente para comunicar asuntos de salud
e incidir en políticas ha cambiado significativamente. Esta comunica143
Ligia de Salazar
ción puede darse en una variedad de contextos, usando diversos canales
a través de múltiples mensajes, y por muchas razones. Los cambios
también incluyen aumentos considerables en el número de canales de
comunicación, de asuntos de interés en salud y de políticas que rivalizan por la atención del público, al tiempo que las comunidades y los
diferentes grupos exigen más información, de mejor calidad y, por lo
tanto, mejores y sofisticadas técnicas de mercadeo. En estos contextos, las personas no pueden prestar atención a toda la información que
reciben, sino que lo hacen selectivamente.
Dado que el objetivo final
de la evaluación es proveer
insumos para la toma de
decisiones, será útil que el
evaluador lleve a cabo actividades de comunicación
dirigidas a tomadores de
decisiones, con las fases
preliminares de la evaluación. Sin embargo, el
mayor desafío será hacer
que las recomendaciones
que se hagan sean tenidas
en cuenta.
Es recomendable ser creativo y desarrollar
una estrategia multimedios –mix-communication-, teniendo en cuenta que los decisores
y otras audiencias requieren información variada, que se entregue de diferentes formas y
en distintos momentos. Igualmente, el evaluador preparará su estrategia de comunicación
teniendo en cuenta los niveles y los tipos de
decisiones que se deberán tomar –decisiones
operativas, políticas, o económicas, entre
otras–.Esto implica considerar, también, los
momentos apropiados para la comunicación
y su frecuencia o periodicidad.
También es necesario hacer abordajes
multiestratégicos, que involucren diferentes
medios y modos de comunicación, y que tengan en cuenta los intereses,
las necesidades y el uso de la información por los diferentes grupos de
interés y tomadores de decisiones, deben ser considerados claves. Complementar con actividades de comunicación interpersonal, estrategias de
alfabetización en salud a grupos específicos y con enfoque combinado
de cambio de comportamiento y cambio social, es también relevante.
Lo más recomendable es emplear estrategias de comunicación
que puedan definirse por actores; es decir, diseñarlas de acuerdo con
144
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
los intereses y las motivaciones de los públicos potenciales, al igual
que las de incidencia. Estas últimas estrategias son el conjunto de
acciones concretas destinadas tanto a persuadir, convencer, como
a negociar con el público la implementación de una determinada
decisión o acción en política. Las dos primeras tienen más que ver
con las estrategias de publicidad y seducción. La negociación y el
diálogo son actividades propias de la comunicación social. En ese
sentido, algunos autores hablan de tres tipos de estrategias de incidencia: de comunicación, de persuasión y de presión (Fundación
Chasquinet, 2004).
En el diseño de estrategias de comunicación de los resultados de
la evaluación es necesario tener en cuenta las audiencias, un rango de
actividades según sus características y los medios. Así mismo, se deben
tener en cuenta variables que pueden ser categorizadas en: fuentes de
información (origen y credibilidad); características de los receptores o
usuarios potenciales; canales para la diseminación de la información;
y manejo de la información misma, es decir, el mensaje y sus atributos, según el canal utilizado –por ejemplo, tono de voz, características
visuales, colores, discursos persuasivos, entre otros-.
Las estrategias de persuasión y de presión pueden dirigirse a los
actores que estén indecisos sobre el curso de una decisión o política,
o a quienes la han rechazado. Los mecanismos de movilización social
pueden ser utilizados, aunque deben ser abordados cuidadosamente, ya
que se requiere una base social sólida y fuerte para que los esfuerzos
no sean infructuosos o contraproducentes.
Selección de medios o canales apropiados
De acuerdo con las características de los tomadores de decisiones y
sus preferencias de información, el evaluador puede optar por una serie
de medios o canales que le permitirán que su mensaje llegue tal como
se quiere y como se ha planificado.
145
Ligia de Salazar
Sin embargo, el evaluador debe tener en cuenta las diversas limitaciones que pueden obstaculizar esta tarea, entre ellas, el que para
muchos políticos y otros tomadores de decisiones no es común utilizar
este tipo de información, y el solo envío de publicaciones y algunas
presentaciones sin contexto puede resultar insuficiente para lograr el
objetivo (Zandbergen y Petersen, 1995). Por tanto, deberá hacer una
cuidadosa selección de los medios.
Las publicaciones que incluyen revisión de pares, sitios web especializados y congresos o eventos científicos son a menudo los principales medios de comunicación de los resultados de muchos estudios y
evaluaciones (Comisión Europea, 2003). No obstante, hay que tener
presente que su audiencia no es predominantemente científica y que
se debe optar por la utilización de medios para públicos diferentes,
especialmente políticos. De acuerdo con la información que obtuvo
al identificar sus decisores y sus audiencias, así como sus intereses
y preferencias, analice con su grupo los medios, canales o productos
–escrito, visual, audiovisual, oral, interactivo, lúdico, informal– más
pertinentes. Aunque podrán seleccionar los que consideren más apropiados, para esta tarea le sugerimos:
• Planificar un producto de comunicación escrito, que sea breve,
de rápida producción y distribución. Esto le ayudará a que la
información llegue con mayor periodicidad a los tomadores de
decisión, durante las diferentes fases del proceso de evaluación.
• Seleccionar un medio escrito para llegar con la información de
los resultados de la evaluación a políticos y otros decisores. Un
reporte de evaluación con información relevante o un informe
ejecutivo conciso y preciso son buenas opciones. El evaluador
debe convertir sus datos en información con sentido para los
decisiores, y presentarlos creativamente (tablas resúmenes, tablas
comparativas, infografías, etc).
146
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
• Concertar reuniones ejecutivas con los decisores en las que se
presenten y expliquen los resultados y las recomendaciones fruto
de investigación, con la ayuda de medios audiovisuales. Para
esto, es preciso que elabore presentaciones visuales o audiovisuales atractivas, de máximo quince minutos, para dar tiempo a
preguntas y respuestas.
• Emplear otros medios interpersonales complementarios. La
comunicación cara a cara con algunos decisores clave puede
resultar una oportunidad inigualable. El grupo de evaluación
debe seleccionar un vocero permanente, con habilidades para
realizar este tipo de actividad. Para muchos tomadores de decisiones los contactos informales resultan más importantes que
los intercambios de boletines y reuniones (Trostle, Bronfman y
Langer; 1999).
• Identificar “emisarios” como medios alternos para reforzar
los mensajes. Se deben considerar como emisarios al público
en general, a un personaje con alta credibilidad, a personas que
no constituyan amenaza política y a los medios masivos de comunicación, entre otros, que puedan ejercer abogacía (Comisión
Europea, 2003). Si amerita, el evaluador puede crear opinión
pública en torno a un resultado específico, una decisión determinada o una acción a seguir. También puede movilizar a las
comunidades, de modo que sirvan como fuente de información
y evidencia (Bates, 2004).
• Valorar el papel de los medios de comunicación, especialmente
los llamados masivos, y su utilidad para hacer que el público
ubique el tema entre sus prioridades y en las agendas de discusión. La radio, la prensa y especialmente la televisión son
medios contundentes para influir sobre grupos de interés en las
esferas políticas y en las demás autoridades (Popham, 1993), y
para “mantener en el foco” el tema que se necesite, gracias a la
posibilidad de la repetición permanente de la información. El eva147
Ligia de Salazar
luador debe tener en cuenta que los políticos son muy sensibles
a estos medios y que la opinión pública puede ayudar a moldear
su comportamiento. También, diversos estudios han coincidido
en que alrededor del 60% del público en general, incluyendo los
políticos, obtiene información y conocimiento especializado en
periódicos, programas de televisión, radio, y cada vez se amplía
también el papel de la Internet en la creación de conciencia y
opinión pública (Comisión Europea, 2003). A través del trabajo de los medios de comunicación se puede
dirigir la atención pública hacia determinado problema o asunto. La atención pública puede concebirse en dos puntos de vista
diferentes: el del individuo expuesto a ella o ignorado por ella, y
desde la perspectiva del acontecimiento colectivo, cuando cientos
de miles o millones de personas observan su medio y hablan o
se quedan callados, creando así la opinión pública.
Aunque la influencia real de los medios sobre la opinión es
mucho más compleja y aún es motivo de discusión, lo que sí se
puede esperar es que los medios ayuden a poner en el “foco”
de la atención los asuntos o problemas. Ésta es la función de la
agenda-setting de Luhmann (2000); la selección de lo que debe
ser atendido por el público, de lo que debe considerarse urgente
o de los asuntos que deben importar a todos.
Reconocemos que la sociedad organiza sus pensamientos sobre
los objetos sociales según la configuración que los contenidos
mediáticos les dan (Del Rey Morató, 1998). Es decir, la relación
que los individuos mantienen con los objetos sociales aparece
mediada por la comunicación. Una vez capturada la atención del
público los medios de comunicación consiguen polarizar la atención y el pensamiento en torno a los objetos y temas propuestos.
Por consiguiente, el evaluador debe tener en cuenta que antes que
cambiar valores y actitudes los medios cambian la distribución
148
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
de la atención. Los medios de comunicación interfieren en la
conformación de la agenda política, es decir, condicionan sobre
el “qué” y el “qué no”, y afectan también el “cómo” (Durán Muñoz, 2002). Pero el tan mentado efecto de la “agenda-setting”, es
decir de la configuración de la agenda política, no es un proceso
que los medios puedan definir por sí mismos de forma unilateral.
Ninguno de los grandes temas políticos fue inventado por los
medios sino que llegaron a éstos a través del debate social de los
acontecimientos que se van produciendo.
Es una realidad que los medios están más interesados en el raiting
que en la influencia política. Por ello, es fundamental valorar las
capacidades para tener algo interesante qué decirle a los medios,
en sus propios códigos y en respuesta a sus intereses, y que al
mismo tiempo responda a los propósitos del posicionamiento
del tema.
Con respecto a lo anterior, el evaluador debe considerar las ventajas y las desventajas. Es verdad que los medios pueden lograr
ciertos efectos en la imagen que el político tiene de determinada
situación o programa, pero no se puede olvidar por ser formas
indirectas de comunicación generalmente no tienen la posibilidad
de alcanzar públicos específicos, de conocer inmediatamente su
reacción, de explicar alguna información compleja ni de mantener el control de lo que se comunica. Al utilizar estos medios el
evaluador está obligado a presentar sus resultados de una manera
interesante, clara, precisa, sin ambigüedades, corta, en el lenguaje
y periodicidad de los medios, como oportuna y fácil; pero también
debe considerar las posibles consecuencias políticas de que los
datos se conviertan en algo público.
• Aprovechar oportunidades alternas de comunicación, tales
como presentaciones en diferentes reuniones, eventos científicos
e información en prensa especializada y no especializada. De
acuerdo con sus necesidades usted puede optar por otros canales
149
Ligia de Salazar
de comunicación (artículos, foros, poster, boletines, conferencias,
entrevistas, Internet, etc).
Recomendaciones para elaboración de contenidos y discursos comunicativos
• Responder a la pregunta ¿qué debo hacer? El evaluador
puede ayudar a orientar y tomar la decisión. Puede mostrar si
está alentando a los decisores a hacer algo, a realizar una intervención diferente o a darle un abordaje distinto a la intervención
evaluada. Debe responder al tomador de decisiones qué hacer, y
recomendarle si lleva a cabo o no la intervención y por qué, y qué
debería hacer si ya la está implementando (Potvin y McQueen,
2008). La estrategia de comunicación debe especificar claramente
cuál es la acción que se sugiere que los decisores tomen, qué
beneficios traería o qué consecuencias deberán experimentar,
si fuera el caso.
El análisis del contexto de la intervención debe ser también
considerado para enmarcar la presentación, la explicación y la
comprensión de los resultados. Las recomendaciones que se le
den al tomador de decisiones deben considerar los posibles escenarios tanto positivos como negativos para la implementación
de la acción sugerida. Un cambio drástico de escenario o de
contexto dificultará adoptar una decisión.
• Hacer recomendaciones prácticas y mostrar que son factibles de implementar. El evaluador mostrará no sólo evidencia
convincente, sino implicaciones claras. Puede detallar en sus
resultados, por ejemplo, si hay ventajas relativas –comparar lo
de antes y lo de ahora–, compatibilidad –si lo hecho se ajusta a
las necesidades–, complejidad –si es fácil de adoptar los cambios
que se sugieren– y si hay posibilidades de visibilidad de lo hecho,
entre otros aspectos. Debe prestar atención a la viabilidad no solo
técnica, sino política del uso de los resultados y mostrarla en su
mensaje. También es necesario establecer referencias o situaciones que muestren que los resultados son pertinentes y útiles para
150
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
la definición de políticas. Debe referirse a problemas concretos
que enfrente el tomador de decisiones, no a áreas de decisión
irrelevantes para éste, y hacer recomendaciones ideológicamente
aceptables y que no violen las restricciones políticas específicas
que enfrenta aquel tomador.
El evaluador no tiene por qué extenderse para llegar a una recomendación. Es preferible exponer primero la acción que debe ser
tomada y luego las explicaciones que le precedan. El evaluador
puede estructurar su texto y sus párrafos en orden de importancia;
es decir, dejar para el final del texto narrativo lo que considere
menos relevante.
• Tratar de llenar vacíos de información sobre el tema o la intervención objeto de la evaluación. El evaluador debe mostrar
los factores que han contribuido a los resultados, y construir el
cuerpo de evidencias o señales de efectividad relevantes. Así
mismo, es recomendable que escriba información que muestre
si la intervención funciona y logra lo que se pretende, cuándo y
en qué condiciones lo hace, qué cambios surgen en esos logros,
en los cuales se observan más claramente sus resultados y sus
beneficios.
•
Ser preciso y coherente en los resultados y hacer énfasis en
los que se relacionen con los objetivos de la intervención. El
evaluador revisará cómo se respondió la pregunta de evaluación
y redactará claramente la respuesta; debe comunicar no sólo
aquellas partes con resultados positivos o halagadores para el
programa evaluado, sino que también debe decir si los resultados
arrojaron evidencia insuficiente, para así poder determinar que la
intervención es efectiva, o si la intervención no logra los efectos
deseados, y los factores que han intervenido. Debe indicar si se
requieren estudios futuros y cuáles serían los más apropiados
para alcanzar la información que se desea obtener.
151
Ligia de Salazar
Detalles prácticos
• Sea claro(a). Utilice términos que le den más ventaja comunicativa con su audiencia; es decir, que sean comprendidos
fácilmente por personas no expertas en el tema. No utilice
jergas y opte por “renombrar” algunas palabras en su discurso,
evitando términos técnicos.
• Sea oportuno(a) en su información y téngala disponible. Identifique productos intermedios que puedan utilizarse más rápidamente y los momentos de oportunidad para intercambiar y proveer
conocimiento a tiempo. Esto es muy importante en el caso de
decisiones que deban ser tomadas a corto plazo.
• Recuerde incluir en sus productos de comunicación los créditos
y los reconocimientos a las instituciones u organizaciones que
hayan apoyado técnica y financieramente la evaluación, así como
identificar quién asume la responsabilidad por la evaluación y
sus resultados; es decir, el autor o autores.
• No descuide el buen estilo de sus discursos, ya sea mediante
medios audiovisuales o productos orales, escritos o de otra
naturaleza. Seleccione un mensaje principal y desprenda de él
mensajes primarios y secundarios; esto evitará que usted se “vaya
por las ramas”. Evite la retórica y la demagogia, usted debe no
sólo persuadir y convencer, sino hacer que se comprenda lo que
quiere decir.
• Evite caer en las siguientes tentaciones cuando comunique los
resultados de la evaluación: convertir la evaluación en un elogio
a quien la patrocina o la realiza, y utilizar la evaluación como
instrumento de dominación o control (Santos Guerra, 1993).
8. Valoración de los resultados de la estrategia
Un proceso de comunicación no termina cuando la información es
entregada. Para valorar qué tan efectiva es la estrategia el evaluador
152
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
debe identificar qué resultó exitoso y qué se debe mejorar; así mismo,
debe establecer mecanismos que le permitan dialogar con las audiencias para conocer sus percepciones sobre la información entregada, los
canales utilizados y el interés del mensaje, saber cómo la procesaron, la
motivación para su uso, entre otros aspectos, para así completar el ciclo
de la comunicación. Una medida básica es caracterizar y cuantificar
los productos de comunicación e identificar los resultados primarios
obtenidos. Del mismo modo, debe realizar un archivo organizado de
los productos de comunicación, y que esté disponible.
153
Ligia de Salazar
BIBLIOGRAFÍA
Alvarez-Dardet, C. (s.f.). Las bases de la promoción de la salud. España.
Auriat, N. (s. f.). “Las políticas sociales y la investigación social: reapertura
del debate”. [En línea], disponible en : http://www.unesco.org/issj/
rics156/auriatspa.html Recuperado: el 21 de marzo de 2001.
Bronfman, M.; Langer, A. y Trostle, J. (2003). De la investigación en salud a la
política: la difícil traducción. Editorial El Manual Moderno. México.
Castells, M. (1999). La sociedad red. México. Madrid: Siglo Veintiuno.
Comisión Europea (2003). A guide to successful communications. European
research. Sixth Framework Programme.
Cuervo, J. (2007). “Las políticas públicas: entre los modelos teóricos y la
práctica gubernamental”. En: Ensayos sobre Políticas Públicas.
Universidad Externado de Colombia.
De Pouvourville, G. (1999, octubre - diciembre). “Public Health Research:
between science and action?”. En: Cad. Saúde Pública, vol.15, núm.
4. Río de Janeiro.
De Salazar, L. (2004). Evaluación de Efectividad en Promoción de la Salud.
Guía de Evaluación Rápida. Universidad del Valle. CEDETES, Cali.
De Salazar, L. (2000). Evaluación de Tecnología en Salud: Vínculo crítico
entre ciencia y política. Centro para el desarrollo y evaluación de
154
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
tecnología en salud pública. CEDETES. Universidad del Valle. Cali,
Colombia.
Del Rey Morató, J. (1998). Democracia y Posmodernidad. Teoría General
de la Información y Comunicación Política. Editorial Complutense.
Madrid, España.
Deutsch, K. (1985). Los nervios del gobierno. Medios de comunicación y
control político. Editorial Paidós Mexicana. México.
Durán Muñoz, R. (2002). La mediatización de la democracia en la sociedad
de la información. Universidad de Málaga.
Fagen, R. (1969). Política y comunicación. Editorial Paidos, Buenos Aires.
Figueroa, H. (2006). Las tecnologías de información y comunicación en la
facultad de ciencias sociales. UPR-RRP. Río Piedras: Cuadernos
Adelantos de Investigación. Centro de Investigaciones Sociales.
Facultad de Ciencias Sociales. Recinto de Río Piedras de la Universidad de Puerto Rico.
Fundación Chasquinet (2004). “Manual práctico para telecentros comunitarios
sobre políticas públicas y regulación en materia de tecnologías de
información y comunicación, TIC”. [En línea], disponible en: www.
tele-centros.org/politicas/manualpoliticaspublicas.htm Recuperado:
10 de enero de 2009.
Lasswell, H. (1958). Who gets what, when, how. World Publishing Co.,
Cleveland
Luhmann, N. (2000). La realidad de los medios de masas. Anthropos, Madrid
Majone, G. (1997). Evidencia, argumentación y persuasión en la formulación
de políticas. México. Fondo de Cultura Económica. El Colegio de
México.
Noëlle-neuman, E. (1995). La espiral del silencio. Opinión pública: nuestra
piel social. Paidos. Barcelona.
Roth, A-N. (2004). Políticas Públicas. Formulación, implementación y evaluación. Bogotá, Ediciones Aurora.
155
Ligia de Salazar
Pellegrini, A. (1998). “La cooperación técnica entre países en información en
ciencias de la salud”. En: Packer, A. y Castro, E. (edits.), Biblioteca
virtual en salud. São Paulo: Bireme, BC Gráfica Editora.
Pellegrini, A. (2000). Ciencia en pro de la salud. Notas sobre la organización
de la actividad científica para el desarrollo de la salud en América
Latina y el Caribe. Publicación científica y técnica No 578. Organización Panamericana de la Salud. Washington, D.C.
Popham, W. (1993). Educational Evaluation. Boston: Allyn and Bacon.
Pool, I. (1974). “Comunicación Política I. Introducción”. En: Sills, D. (Director) Enciclopedia internacional de las ciencias sociales. Volumen 2.
Aguilar de Ediciones, Madrid.
Potvin, L. y McQueen, D. (2008). Health promotion evaluation practices in
the americas values and research. New York.
Rossi, P. y Freeman, H. (1993). Evaluation: A systematic approach. Sage
Publications, Newbury Park, Calif.
Rota, J. (2000). “Comunicación, gobierno y ciudadanía. CLADE, Venezuela”.
[En línea], disponible en: www.clad.org.ve Recuperado: el 11 de
enero de 2009.
Sampedro Blanco, V. (1996). “Batallas de papel. Medios de comunicación y
nuevos movimientos sociales”. En: Revista de estudios de comunicación. Komunikazio Ikasketen Aldizkaria. Abendua Sánchez, E. (2005). Medios de comunicación y democracia. Grupo Editorial
Norma. P.23.
Segura, A. (2000). “La influencia de la investigación en las políticas de salud
y en la práctica sanitaria”. En: Revista Española de salud pública,
vol. 74 (monográfico).
Tiana, A (1997). “Tratamiento y usos de la información en Evaluación. Uned”.
[En línea], disponible en: http://www.campus-oei.org/calidad/tiana.
htm Recuperado: el 20 de marzo de 2009.
Trostle, J., Bronfman, M. y Langer, A. (1999). “How do researchers influence
decision-makers? Case studies of mexican policies”. En: Health
policy plan, vol. 14, núm.2, págs103–114.
156
Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas
Weiss, C. (1984). “Increasing the Likelihood of Influencing Decision”. En:
Rutman, L.: Evaluation Research Methods: A Basic Guide. Segunda
edición. Age Publication, págs 159-190.
Weiss, C. (1986). “The Many Meanings of Research Utilization”. En: Social
science and social policy, págs 30-40 M. Bulner (comp.).
Auriat, N. (s.f.) “Las políticas sociales y la investigación social: reapertura
del debate”. [En línea], disponible en: http://www.unesco.org/issj/
rics156/auriatspa.html Recuperado: el 20 de marzo de 2009.
Weiss, C. (1991). “Policy research: data, ideas or arguments?”. En: Wagner,
P., Weiss, C., Wittrock, B. y Wollman, H. (comps.) Social sciences
and modern states.Cambridge University Press. Págs 307-332.
Weiss, C. (1999). “The Interface Between Evaluation and Public Policy”.
En: Evaluation: the international journal of theory, research, and
practice.
White, F. (1998, julio). “De la evidencia al desempeño: cómo fijar prioridades
y tomar buenas decisiones”. En Revista panamericana de salud
pública, vol. 4, núm. 1,Washington, D.C.
Zandbergen, P. y Petersen, F. (1995). The role of scientific information in policy and decison-making. Resource Management and Environmental
Studies. University of British Columbia, Vancouver, BC, Canadá.
157
Ligia de Salazar
158