Download Guía de evaluación y monitoreo de GMCR para proyectos en

FY2012
Guía de evaluación y monitoreo de GMCR
para proyectos en comunidades de la
cadena de abastecimiento
© 2012 Green Mountain Coffee Roasters, Inc.
Meryl Breton Olson
Ursula Georgeoglou, M.S.
V. Ernesto Mendez, Ph.D.
Marcela Pino 0
Guía de evaluación y monitoreo de GMCR para
proyectos en comunidades de la cadena de
abastecimiento
2012
Índice
Índice ............................................................................................................................................................. 1
Prólogo .......................................................................................................................................................... 3
1.
2.
3.
Introducción ...................................................................................................................................... 5
1.1
Objetivos: ¿Por qué monitorear y evaluar? .............................................................................. 6
1.2
Definiciones............................................................................................................................... 6
1.3
¿Quién debería participar en el monitoreo y la evaluación? .................................................... 8
1.4
¿Con qué frecuencia se deberá ejecutar el monitoreo y la evaluación? .................................. 9
1.5
¿Qué tipo de información debe ser recolectada? .................................................................. 10
1.6
Resumen de indicadores que se utilizarán para el monitoreo y la evaluación....................... 11
Métodos de Recopilación de Datos para el Monitoreo y la Evaluación ......................................... 12
2.1
Entrevistas ............................................................................................................................... 13
2.2
Grupos Focales ........................................................................................................................ 18
2.3
Periodicidad para la recolección de datos .............................................................................. 20
2.4
Diseño de Línea de Base ......................................................................................................... 21
Indicadores Cuantitativos de Resultados ........................................................................................ 23
3.1
4.
5.
Indicadores de resultados requeridos para todos los proyectos............................................ 24
Evaluación cualitativa de proyectos a través de la técnica del Cambio Más Significativo ............. 26
4.1
Introducción ............................................................................................................................ 27
4.2
Proceso para la técnica del Cambio Más Significativo ........................................................... 27
4.3
Recomendaciones prácticas para el proceso de MSC............................................................. 33
4.4
Adaptando MSC a su organización.......................................................................................... 33
Indicadores Cuantitativos de Impacto ............................................................................................ 35
5.1
Introducción ............................................................................................................................ 36
5.2
Objetivo del proyecto: Capacitación ...................................................................................... 36
5.3
Objetivo del Proyecto: Creación de oportunidades de empleo.............................................. 37
5.4
Objetivo del proyecto: Aumento de la seguridad alimentaria ............................................... 37
5.5
Objetivo del Proyecto: Mejorar el rendimiento de los cultivos .............................................. 47
© 2012 Green Mountain Coffee Roasters, Inc.
1
Guía de evaluación y monitoreo de GMCR para
proyectos en comunidades de la cadena de
abastecimiento
2012
5.6
Objetivo del proyecto: Mejorar el acceso al crédito............................................................... 48
5.7
Objetivo del proyecto: Aumentar los ingresos ....................................................................... 49
5.8
Objetivo del proyecto: Mejorar el acceso a la educación ....................................................... 50
5.9
Objetivo del proyecto: Mejorar la calidad educacional .......................................................... 52
6.
Pauta Para la Presentación de Informes ......................................................................................... 61
7.
Referencias y Lectura Adicional ...................................................................................................... 64
Apéndice 1: Ejemplo del formato para la recolección de las historias del Cambio Más Significativo.... 69
Apéndice 2: Ejemplo de guía de facilitación para la selección de la historia MSC ................................. 71
Apéndice 3: Ejemplo de informe de evaluación a GMCR ....................................................................... 72
© 2012 Green Mountain Coffee Roasters, Inc.
2
Guía de evaluación y monitoreo de GMCR para
proyectos en comunidades de la cadena de
abastecimiento
2012
Prólógó
Queridos amigos,
Es con placer que publicamos La Guía de Evaluación y Monitoreo de Green Mountain Coffee
Roasters (GMCR) para proyectos en comunidades de la cadena de abastecimiento.
Esta jornada comenzó en el laboratorio del Grupo de Agroecología y de Medios de Vida Rurales
de la Universidad de Vermont, donde Rick Peyser y el profesor Ernesto Méndez comenzaron a discutir
cómo GMCR podria comprender mejor el impacto de la financiación comunitaria de extensión del café y
al mismo tiempo, apoyar a nuestros beneficiarios a participar en los procesos de evaluación participativa
y recoger datos que serían valiosos para sus organizaciones. La idea era crear un protocolo estándar de
monitoreo y de evaluación que incluyese indicadores de impacto cuantitativo y cualitativo y que fuese
útil y factible de implementar en toda nuestra cartera de proyectos financiados.
Debido a que somos aficionados a la investigación participativa, sabíamos que serían
necesarios más cerebros para llevar a cabo este trabajo. La primera reunión para el informe colaborativo
de GMCR se llevó a cabo en mayo de 2010 en nuestra sede en Waterbury, Vermont, donde una docena
de profesionales con experiencia, representando organizaciones de todos los tamaños que han recibido
fondo de GMCR se reunieron para ayudarnos a elaborar un amplio sistema de M & E para los proyectos
financiados por GMCR. Aprovechando la experiencia del grupo y el debate que surgió, UVM desarrolló
un borrador de la Guía de M & E el cual fue puesto a prueba en campo por el grupo piloto en el primer
semestre del 2011. Nos volvimos a reunir para el informe colaborativo en junio del 2011 para recaudar
opiniones de las pruebas piloto y para hacer mejoras finales de la guía, que se reflejan en la presente
versión de FY2012.
Creemos que la aplicación de este protocolo M & E ofrecerá a GMCR una forma estándar y
significativa para medir nuestro impacto, al mismo tiempo que proporcionará datos útiles para la
reflexión y la reacción de nuestras organizaciones asocidas en esta causa. Vamos a utilizar la información
que recibimos en los informes para tres propósitos: (1) Comunicación - proporcionar información
agregada para nuestros grupos de interés (nuestra junta directiva, empleados, consumidores,
proveedores, socios) a través de una creciente cartera de proyectos, (2) Toma de Decisiones - la
identificación de experiencias exitosas, priorizar los resultados de más impacto (3) – Colaboración compartir esta información con los beneficiarios y otros actores de desarrollo en un espíritu de
aprendizaje colectivo.
Somos muy afortunados de poder colaborar con algunas de las organizaciones más innovadoras
y eficaces en el desarrollo rural humano y económico en las tierras del café. Honramos el tiempo que
invierten en la evaluación de sus programas y el esfuerzo realizado para reflejar su compromiso con el
impacto y la mejora continua de nuestro enfoque al financiamiento de de la cadena de abasto.
Gracias,
Rick Peyser, Director de Promoción Social y la cadena de suministro Alcance Comunitario
Colleen Bramhall, Gerente de Relaciones de la comunidad del café
Mary Beth Jenssen, Auxiliar Administrativa de la cadena de suministro Alcance Comunitario
© 2012 Green Mountain Coffee Roasters, Inc.
3
Guía de evaluación y monitoreo de 1 Introducción
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Agradecimientos
En primer lugar, nos gustaría agradecer al Dr. V. Ernesto Méndez, profesor asociado en la Universidad
de Vermont en el Grupo de Agroecología y de Medios de Vida Rurales (ARLG) por su visión y liderazgo en
el desarrollo de este programa de monitoreo y evaluación.
También nos gustaría agradecer a Meryl Olson, estudiante de doctorado en el laboratorio ARLG, por la
creación de la guía a través de varios borradores y por incorporar comentarios diversos por parte del
equipo y la literatura. También valoramos las contribuciones que hicieron los otros miembros del
laboratorio ARLG incluyendo Marcela Pino, Ursula Georgeoglou, y Margarita Fernández. Nuestro más
sincero agradecimiento a todos aquellos que participaron en el informe colaborativo con su tiempo,
energía y experiencia para el desarrollo de esta guía:Michael Sheridan, Shriver Jefferson y Sarah Cashore
(Catholic Relief Services), José Luis Zárate (Coffee Kids), Chris Bacon, Roberta Jaffe, Heather Putnam
(Comunidad Red de Agroecología), August Burns, Elisa Vandervort y Kayla Moore (Cultivando la Salud)
Alvaro Cobo (Heifer International); Lindsay Palazuelos, Daniel Palazuelos, y Hugo Flores (Partners in
Health); Beth Merril y Darryl Bloom (Sembrando Esperanza), Patty Devaney (Root Capital), Rafael
Makonnen y Mario Roa Romero (Save the Children); Vincett Joanne (Tuck School of Business) y Shauna
Alejander Mohr (facilitadora de las dos sesiones). Esta guía se ha beneficiado también de un extenso
equipo de revisión, en cada una de las organizaciones mencionadas, incluyendo personal en las oficinas
centrales así como de campo, que se han involucrado en este diálogo reflexivo sobre monitoreo y
evaluación. ¡Gracias por su apoyo!
© 2012 Green Mountain Coffee Roasters, Inc.
4
Guía de evaluación y monitoreo de 1 Introducción
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
1. Introducción
© 2012 Green Mountain Coffee Roasters, Inc.
5
Guía de evaluación y monitoreo de 1 Introducción
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
1.1
Objetivos: ¿Por qué monitorear y evaluar?
El objetivo principal de esta guía es facilitar la presentación de informes estandarizados de la
evolución, los impactos, los cambios y / o necesidades de los proyectos financiados por el equipo de la
cadena de abastecimiento y extención de GMCR. Sin embargo, los protocolos detallados aquí, no tienen
la intención de ser un conjunto de requisitos complejos para crear más papeleo para las actividades
financiadas por GMCR. Al contrario, estos protocolos están destinados a ser flexibles para que las
organizaciones financiadas puedan incorporarlos en los actuales programas de monitoreo y evaluación
(M & E), o utilizarlos para crear un programa de M y E simple pero efectivo si es que no existe ninguno
en dicho proyecto u organización. El monitoreo y la evaluación no es sólo una manera de informar a los
organismos de financiación. Un monitoreo y evaluación bien hechos deben facilitar la reflexión y el
crecimiento dentro de una organización, promoviendo los programas más eficaces.
Otro de los objetivos de este protocolo, y del proceso que lo creó, es proporcionar una mayor
comunicación entre GMCR y las organizaciones financiadas, así como la colaboración entre estas
organizaciones. La información obtenida de las actividades de M & E será de utilidad para GMCR para
comunicar mejor a sus empleados, accionistas, la industria del
café y el público en genera su criterio en lo que concierne a las
El proceso del monitoreo y la
financiaciones de proyectos. Esperamos que esto, en última
evaluación "auxilia a los equipos de
instancia conduzca a impactos más sostenibles en la práctica y
los programas de ayuda a identificar
un mayor reconocimiento de los posibles efectos positivos y de
lo que funciona y lo que no funciona
la eficacia del compromiso
y la responsabilidad social
en sus esfuerzos por superar la
corporativa. Lo ideal sería que este tipo de responsabilidad
pobreza y el sufrimiento y también a
social corporativa fuese visto no como una práctica "exótica" de
adaptar sus programas de acuerdo a
algunas empresas, sino como la forma estándar de hacer
lo que encuentran" (Oxfam, 2).
negocios.
1.2
Definiciones
Participante en el proyecto: Un participante en el proyecto (también conocido como beneficiario) es
una persona que se beneficia de alguna manera (o tiene la intención de beneficiarse de) de un proyecto
o programa.
Indicador: Un indicador es una variable cuantitativa o cualitativa, o factor que proporciona una manera
de medir los logros, evaluar el desempeño, o reflejar los cambios resultantes de una actividad del
programa (Fretheim, Oxman, Lavis, y Lewin, 2009). Los indicadores pueden medir los cambios en forma
directa o indirecta, los indicadores indirectos se conocen como indicadores "proxy" (Oxfam). Los
indicadores deben estar vinculados a los objetivos específicos del programa. En el monitoreo y la
evaluación participativa, los indicadores a menudo se desarrollan con o por los participantes del
programa para permitirles a ellos mismos definir el éxito del programa (Estrella y Gaventa, 1998).
© 2012 Green Mountain Coffee Roasters, Inc.
6
Guía de evaluación y monitoreo de 1 Introducción
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Indicadores de resultados: Los indicadores de resultados muestran cómo el proyecto está
avanzando. Miden la cantidad de trabajo que se realiza (por ejemplo, número de personas
alcanzadas por un programa, el número de sesiones de
capacitación realizadas) y también puede indicar si el
trabajo fue de alta calidad y completado según el
El monitoreo evidencia los logros
calendario previsto (Oxfam). Indicadores de producción o
de los objetivos del proyecto
de resultados también son llamados "indicadores de
("¿Hemos hecho lo que dijimos que
proceso" o "indicadores de desempeño."
íbamos a hacer?"). Por lo general
Indicadores de impacto: indicadores de impacto miden
asociados con los indicadores de
el impacto final del proyecto sobre los beneficiarios o de
resultados o de rendimiento.
los participantes (por ejemplo, cambio en el nivel de
ingresos o la nutrición). Estos indicadores pueden ser
cuantitativos y / o cualitativos, y pueden medir los
cambios positivos o negativos (Oxfam). Los indicadores
de impacto son también llamados "indicadores de
resultados”.
La evaluación determina el valor
de la intervención ("¿Nuestro
esfuerzo habrá hecho alguna
diferencia?"). Por lo general
asociados con los indicadores de
resultado o impacto.
(Mathie y Foster)
Monitoreo: El monitoreo se refiere a la recolección
permanente de información sobre las actividades de un
proyecto, el rendimiento y los resultados. Su objetivo es
determinar si el proyecto funciona como se esperaba, si
los fondos se asignan correctamente, y si deben hacerse
ajustes (Fretheim et al, 2009; Oxfam). Los datos recogidos durante las actividades de monitoreo pueden
incluir más indicadores de resultados que indicadores de impacto (Oxfam).
Evaluación: La evaluación se refiere a una valoración más formal y detallada de los resultados de un
proyecto en determinado momento en el tiempo. Es un complemento de control pues trata de
determinar por qué las cosas suceden de determinada manera. Una evaluación puede ocurrir en
cualquier momento durante el proyecto, pero por lo general se presenta con menos frecuencia que el
monitoreo (Oxfam). Tiende a centrarse más en los indicadores de impacto.
Métodos cuantitativos: Métodos cuantitativos de investigación se utilizan para evaluar empírica y
objetivamente las condiciones y procesos. Los métodos cuantitativos de colecta de datos suelen utilizar
preguntas específicas y concretas para recoger los datos numéricos de los encuestados.
Los métodos cualitativos: Los métodos cualitativos de recolección de datos están diseñados para
evaluar las condiciones y procesos que son percibidos por las personas involucradas en el proyecto. Los
métodos cualitativos tienden a ser más abiertos y flexibles. Los datos cualitativos a menudo no son
"cuantificables", pueden, por ejemplo, ser historias o ejemplos de los cambios resultantes del proyecto.
Sin embargo, en algunos casos se puede cuantificar, por ejemplo, obteniendo valores dados por los
© 2012 Green Mountain Coffee Roasters, Inc.
7
Guía de evaluación y monitoreo de 1 Introducción
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
beneficiarios del proyecto en una escala numérica, dando su opinión sobre un determinado asunto.
(Baker, 2000).
Malnutrición: La malnutrición es un trastorno nutricional como resultado de una nutrición deficiente o
inadecuada (Cogill, 2003). Algunos investigadores no distinguen entre la malnutrición y la desnutrición,
agrupando todo el conjunto de los trastornos de la nutrición por insuficiencia de energía y nutrientes
como "desnutrición" (Svedburg, 2000).
Desnutrición: la desnutrición se refiere a los resultados de una deficiencia en la energía proveniente de
los alimentos, durante un largo período (Svedburg, 2000). Se distingue de la malnutrición que indicaría
una cantidad insuficiente de alimentos, ya que es posible consumir suficientes calorías de alimentos y
aún así ser desnutridos si la dieta es de calidad insuficiente. La desnutrición también puede ser resultado
de alguna incapacidad del cuerpo en absorber los alimentos que se consumen, debido a una
enfermedad o deficiencia de nutrientes.
Bajo peso: El bajo peso, es una condición en la que el peso es menor que el peso promedio para
determinada edad. Esto puede resultar de la desnutrición aguda o crónica (Cogill, 2003).
El retraso del crecimiento: El retraso del crecimiento se refiere a una desaceleración del crecimiento del
esqueleto dando lugar a una reducción de estatura o medidas corporales. Esto es consecuencia de
largos períodos de alimentación inadecuada y / o enfermedades, especialmente durante la primera
infancia (Cogill, 2003). El retraso del crecimiento se mide por la altura para determinada edad (ver
sección 5.4).
Emaciación: Este es una condición que resulta de la pérdida de grasa corporal y tejidos del cuerpo. Por
lo general, indica el consumo actual gravemente inadecuado de alimento y también presencia de
infección (Cogill, 2003). La emaciación se evalúa midiendo el peso con relación a la altura (ver sección
5.4).
1.3
¿Quién debería participar en el monitoreo y la evaluación?
Incentivamos a los administradores de proyectos a que realicen un proceso de monitoreo y
evaluación participativa. El monitoreo y la evaluación participativa pretende involucrar a todas las
personas que participan o que son afectados por un proyecto para evaluar el éxito del proyecto (Mathie
y Foster). Específicamente, los beneficiados por el proyecto deben tener voz en la definición de éxito del
proyecto, en contraste con el enfoque más "convencional", en el que representantes de los donantes o
consultores externos determinan lo que se entiende por un proyecto efectivo (Shah, Kambou, Goparaju,
Adams y Matarazzo, 2005). En el M & E participativo, el personal de campo y los beneficiarios del
proyecto ayudan a recopilar, discutir, y analizar los cambios resultantes del proyecto. Los enfoques
participativos también hacen hincapié en la transparencia del monitoreo y evaluación mediante el
intercambio de los resultados de las actividades de M & E con el personal de campo y los beneficiarios
del proyecto. Estos criterios permiten que el proyecto evolucione en torno a las necesidades de la
© 2012 Green Mountain Coffee Roasters, Inc.
8
Guía de evaluación y monitoreo de 1 Introducción
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
comunidad beneficiaria, promueve un sentido de propiedad por parte de la comunidad del proyecto, y
fortalece la capacidad del personal de campo y de los beneficiarios del proyecto como tomadores de
decisiones (Mathie y Foster).
Los enfoques participativos, sin embargo, tienden a ser más demandantes en cuanto al tiempo y
recursos que los enfoques más convencionales, y por lo tanto puede que no estén al alcance de todos
los proyectos financiados por GMCR. Además, al tratar de estandarizar la presentación de informes, esta
guía probablemente elimina algunas oportunidades de participación de los beneficiarios del proyecto en
el diseño del monitoreo y la evaluación. Sin embargo, esta guía, tiene la intención de ser lo
suficientemente flexible como para que las organizaciones financiadas por GMCR, puedan encontrar un
equilíbrio entre los métodos participativos y los convencionales. Por lo menos, GMCR, espera que las
organizaciones compartan los resultados de las actividades de monitoreo y evaluación con el personal
de campo (que a menudo son quienes recolectan los datos de M & E) y los beneficiarios del proyecto.
Esto puede ser en forma escrita o verbal. También es muy importante informar a los participantes
durante el proceso de recolección de datos, por qué se está recogiendo la información y lo que se irá a
hacer con dicha información (véase el recuadro 2.1).
El personal de campo involucrado en el monitoreo y la evaluación generalmente requerirá capacitación
sobre cómo realizar entrevistas y recopilar datos. Esta guía es un buen punto de partida, y también
existen otras guías excelentes para la realización de entrevistas y grupos focales, como Flick (2007) y
Stewart et al. (2007). La financiación de esta capacitación podrá ser incluida en las propuestas de
proyectos enviados a GMCR.
1.4
¿Con qué frecuencia se deberá ejecutar el monitoreo y la evaluación?
El monitoreo consiste en contabilizar los resultados y las actividades realizadas por el proyecto.
Como tal, el mantenimiento de registros de las actividades de monitoreo se deben realizar de forma
continua. El análisis de los datos para examinar si el proyecto está alcanzando sus metas se debe realizar
por lo menos cada seis meses, empezando seis meses después de la fecha de la carta de aprobación. Un
breve informe sobre los resultados y las actividades deberán presentarse a GMCR a cada intervalo de
seis meses.
La evaluación examina si el proyecto está teniendo los efectos deseados o los resultados dentro
de la comunidad beneficiada. Esto requiere un proceso más profundo de recolección y análisis de datos,
a menudo a través de entrevistas con los participantes del proyecto. La evaluación debe realizarse de
forma anual, con un informe de evaluación presentado a GMCR cada año, comenzando un año después
de la fecha de la carta de aprobación. El informe del monitoreo de resultados semestral que coincide
con la evaluación anual deberá incluirse en esta última en lugar de presentar informes por separado.
Como el año fiscal GMCR termina a fines de septiembre, la información recibida de las
organizaciones antes de septiembre se puede tomar en cuenta para incluirlas en el informe anual de
© 2012 Green Mountain Coffee Roasters, Inc.
9
Guía de evaluación y monitoreo de 1 Introducción
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Responsabilidad Social Corporativa. Informes de M & E recibidos después de septiembre serán
consideradas para el informe del próximo año.
1.5
¿Qué tipo de información debe ser recolectada?
En esta guía se pide que los proyectos financiados por GMCR colecten dos tipos de información:
información cuantitativa y cualitativa. Ambos tipos de información son importantes para evaluar el éxito
del proyecto. La información cualitativa, como las historias de los beneficiarios del proyecto pueden
explicar los resultados de los indicadores cuantitativos y revelar impactos inesperados del proyecto. Los
datos cuantitativos pueden ser utilizados para corroborar la información cualitativa.
La información cuantitativa que debe recopilarse para M & E se puede desglosar en información
sobre los resultados del proyecto e información sobre los impactos del proyecto. La sección 3 describe
los indicadores de resultados cuantitativos para las solicitudes GMCR de todos los proyectos, si son
aplicables. En la Sección 4 se describe la metodología del Cambio Más Significativo, que es el proceso
por el cual GMCR pide que los beneficiarios evalúen cualitativamente el éxito de sus proyectos. La
sección 5 describe conjuntos de indicadores de impacto específicos para diferentes objetivos del
proyecto. Los líderes del proyecto deben seleccionar indicadores de impacto como parte del proyecto a
ser sometido para financiación a GMCR y utilizar los indicadores aplicables a los objetivos de cada
proyecto. Si ninguno de los indicadores mencionados son aplicables a su proyecto, esto deberá ser
discutido con el equipo de GMCR antes de presentar el proyecto, con la intención de definir cuáles
serían las alternativas aceptables. Para proyectos que comenzaron anteriormente a FY2012 favor
contactar a Colleen Bramhall si siente que no pueden cumplir con los requerimientos de informe
propuestos en este documento.
© 2012 Green Mountain Coffee Roasters, Inc.
10
Guía de evaluación y monitoreo de 1 Introducción
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
1.6
Resumen de indicadores que se utilizarán para el monitoreo y la
evaluación
Objetivo del Proyecto
Todos los proyectos
Indicadores requeridos
 Número de beneficiarios directos e
indirectos
 Número de actividades de
capacitación
 Inversiones directas (número,
dolares)
 Historias del Cambio más
Significativo
Capacitación
 Uso continuo del nuevo
conocimiento
Indicadores Opcionales
Creación de oportunidades  Número de empleos creados por
de empleo
actividades de los proyectos
Aumento de la seguridad
alimentaria
 Meses de disponibilidad de la
cantidad adecuada de alimentos
 Diversidad en la dieta
 Deficiencias nutricionales entre niños
 Estratégias de enfrentamiento
Aumento del rendimiento
de los cultivos
 Rendimiento de los cultivos
Mejora del acceso al
crédito
 Ingresos totales de las empresas
financiadas
 Ingresos netos de las empresas
financiadas
 Tasas de devolución de préstamos
Aumento de ingresos
 Nuevo ingreso generado por
actividades de los proyectos
 Ingreso anual del hogar
 Ahorros del hogar
Mejora deI acceso a la
educación
 Porcentaje de niños en edad
escolar (elegibles) en la escuela
 Porcentaje de mujeres en edad
reproductiva en la escuela
 Grado alcanzado
Mejora de la calidad de la
educación
 Desenpeño en las pruebas de fin de año
 Tasa de alfabetización
Mejora del acceso a
servicios de salud
 Tratamiento y solución (afecciones
agudas)
 Detección, tratamiento y pérdida de
seguimiento (enfermedades crónicas)
 La durabilidad de los trabajadores de la
salud
 Eficiencia de trabajadores de la salud
© 2012 Green Mountain Coffee Roasters, Inc.
11
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
2. Métodos de Recopilación de Datos para el
Monitoreo y la Evaluación
© 2012 Green Mountain Coffee Roasters, Inc.
12
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
No todos los indicadores de monitoreo y evaluación requieren hablar con los participantes para
obtener la información. Indicadores de resultados y algunos indicadores de impacto, como las tasas de
reembolso del préstamo sólo pueden ser controlados por el personal del proyecto. Sin embargo, en
algún momento, la mayoría de las organizaciones tendrán que recoger información de los beneficiarios
con el fin de evaluar el éxito del proyecto. Los
Recuadro 2.1: La ética en la
métodos en esta sección están destinados
recolección de datos
principalmente a la recopilación de datos para los
indicadores de impacto cuantitativo, la metodología
Los aspectos éticos deben tenerse en
para la evaluación cualitativa a través del método el
cuenta en el momento de recolectar
Cambio Más Significativo se explican con más detalle
la información de los participantes del
en la sección 4.
proyecto, tanto para los datos
Hay muchos métodos para recoger datos de
monitoreo y evaluación. Dos de los métodos
principales son las entrevistas y los grupos focales.
Hay otras maneras de recolectar esta información,
así como la observación de los participantes mientras
se trabaja con ellos, sin embargo, las entrevistas y
grupos focales son los dos métodos más simples y
más adecuados de recolección de datos para
nuestros propósitos.
2.1
Entrevistas
2.1.1
Diseño y validación de una entrevista
Las entrevistas se refieren a las discusiones
cara a cara o en grupo con un beneficiario o
participantes del proyecto. Estas, pueden ir desde un
estilo más "periodístico" donde el entrevistador ya
conoce la información que él o ella desea y trata de
obtener información en particular de la parte
entrevistada, a la más "etnográfica" donde el
entrevistador sabe muy poco al principio y explora un
conjunto de temas con el entrevistado en una
conversación abierta (Leech, 2002). El estilo que
GMCR recomienda, es un punto intermedio, un estilo
llamado entrevista semi-estructurada. Este estilo de
entrevista tiene la ventaja de que puede obtener
información concreta y fiable que se puede comparar
© 2012 Green Mountain Coffee Roasters, Inc.
cuantitativos como para los
cualitativos. Es necesario asegurarse
de que la persona que recoge la
información tenga el consentimiento
para hacer la entrevista, así como
para la publicación de la historia si
fuese el caso. Una manera de hacer
esto, es incluir una casilla en el
formulario de la entrevista indicando
si el entrevistador ha obtenido dicho
consentimiento. Para la colecta de
testimonios o historias, también se
hace necesario saber si la persona
que cuenta la historia está de
acuerdo con que su nombre aparezca.
De lo contrario, los nombres deberán
ser eliminados. Por último, se debe
poner especial cuidado cuando se
obtiene información acerca de
menores. El consentimiento de los
padres debe ser obtenido antes de
que se proceda con la entrevista. En
algunos países esto es requerido por
ley. (Davies y Dart, 2005).
13
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
entre los hogares, así como historias y experiencias desde el punto de vista del entrevistado. Este estilo
tiende a combinar las preguntas cerradas pidiéndole al entrevistado que elija entre una o más
respuestas con preguntas abiertas en las que se le pide al entrevistado que describa una condición o
evento en sus propias palabras.
Transformar a los indicadores en preguntas de entrevista no es un proceso simple. Se hace
necesario pensar cuidadosamente como se desea analizar los datos y con qué propósito podrían ser
utilizados futuramente. Por ejemplo, para evaluar la eficacia de las actividades de capacitación, se
podría preguntar a los entrevistados: "¿Le ha sido útil la información aprendida en la capacitación que
asistió el mes pasado?" Esto da una respuesta afirmativa o no, que pueda ser útil, pero también puede
proporcionar detalle con el cual comparar de un año a otro. Además, los encuestados pueden ser
propensos a decir "sí" sólo por cortesía. Una manera mejor de obtener esta información sería la de
identificar los comportamientos específicos o herramientas que su organización desea que los
participantes aprendan, a partir de la formación y preguntar con qué frecuencia, en un período de
tiempo específico, llevaron a cabo esas conductas, tales como "En la semana pasada, ¿cuántas veces se
lava las manos antes de preparar alimentos?” o "En la última semana, ¿cuántas transacciones
comerciales ha realizado? ¿De cuántas de esas transacciones tiene prueba? "En estos ejemplos, los
encuestados tienen más probabilidades de dar una respuesta verdadera, y el entrevistador tiene acceso
a más detalles sobre el grado en que se está utilizando la información aprendida. Estas preguntas
pueden ser seguidas con otras como, "¿Por qué o por qué no utiliza las habilidades que aprendió en el
entrenamiento?"
En cuanto a la organización de la entrevista, es una buena idea poner las preguntas menos
sensibles primero y las preguntas más sensibles (por ejemplo, sobre los ingresos o los asuntos
personales de salud) al final de la entrevista (Leech, 2002). Esto permite que el entrevistado se sienta
cómodo con el entrevistador, y también hace las preguntas parecer menos sobre el entrevistado y más
sobre los temas tratados en la entrevista (Leech, 2002).
Una vez que la entrevista ha sido escrita, debe ser validada con un grupo de encuestados de
prueba. Estos deben ser personas similares en los antecedentes culturales y educativos a los del grupo
de muestra, pero no deben ser parte del grupo de muestra. Esto le permitirá al entrevistador evaluar si
las preguntas son claras y si los encuestados las interpretaran según lo previsto. También permite que el
entrevistador desarrolle mas "indirectas verbales " si es probable que una pregunta requiera una
explicación adicional para obtener la información deseada. Por ejemplo, si en respuesta a la pregunta:
"¿Qué hace cuando no tiene ningún alimento o dinero para comprar más alimentos?" El entrevistado
responde: "Siempre tratamos de conseguir más alimentos", el entrevistador tendrá que seguir
indagando para obtener más detalles. El entrevistador puede preguntar, "¿De dónde trata de conseguir
alimentos?" O "¿Cómo consigue más comida?" Se debe evitar poner palabras en la boca del
entrevistado. Y no caer en casos como este ejemplo, "Así que pide más comida?" Esto sería un error en
© 2012 Green Mountain Coffee Roasters, Inc.
14
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
la elaboración de más indagación, teniéndose que evitar. Más información sobre el diseño de preguntas
de la entrevista puede encontrarse en Fowler (1995).
Recuadro 2.2: Preguntas premeditadas
Hacer preguntas que pre-suponen una cierta respuesta no es generalmente una buena idea,
pero hay situaciones en las que puede ser la única forma de obtener la información que es
delicada o estigma. Leech (2002) relata una experiencia de su trabajo de campo recogiendo
historias sobre reproducción de las mujeres en Kenia:
"Empecé pidiendo a las mujeres que simplemente me hablaran de todos sus embarazos. Me
quedó claro desde las primeras entrevistas que no irían a mencionar las pérdidas de embarazo,
niños nacidos muertos o muertes de niños, me di cuenta entonces que mis datos no estarían
correctos. Por eso traté de sondear: "Hábleme de algún niño que haya muerto." Ésa fue la
única vez que he utilizado esa pregunta pues causó que la entrevistada se sobresaltara, ,
murmurara que debe ir a ver a las cabras, y saliera corriendo por la puerta. Después de un poco
de ayuda de un especialista en lenguaje, hice dos cosas. Elaboré mi lenguaje para que fuera
menos amenazante, e hice la pregunta suponiendo. "¿Cuántos niños se perdieron?"Las caras
de mis entrevistados se ponian serias, suspiraban, y luego me decían los detalles que yo estaba
buscando (Leech, 2002, 666).
2.1.2
Selección de los beneficiados para las entrevistas
Surgen muchas preguntas cuando se selecciona a los beneficiarios que van a ser parte de las
entrevistas de evaluación de proyectos. En primer lugar, ¿Cuál es el número de participantes que debe
ser entrevistado? Una muestra de 20 se considera suficiente para examinar los cambios en una variable
(Dytham, 2003). Sin embargo, para proyectos muy grandes, o para un indicador binario (por ejemplo,
tener ahorros o no), 20 pueden no ser suficientes para asegurar una muestra representativa de todos
los participantes. Para los indicadores cuantitativos, GMCR pide que los proyectos financiados recopilen
información de por lo menos el 10% de los participantes directos (véase la sección 3.1.1), con un mínimo
de 25 personas o familias. El tamaño de la muestra para la metodología del Cambio Más Significativo es
diferente, véase la sección 4.1. Una muestra más grande es casi siempre preferible, pero el tamaño de la
muestra debe ser equilibrado con los recursos disponibles para el monitoreo y la evaluación.
En segundo lugar, ¿Cómo se seleccionarán a los participantes o beneficiarios? Idealmente, los
participantes deben ser seleccionados al azar. La selección aleatoria significa que cada participante tiene
la misma oportunidad de ser seleccionado para su inclusión en la muestra. Generalmente, esto se logra
© 2012 Green Mountain Coffee Roasters, Inc.
15
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
mediante un generador de números aleatorios automático (por ejemplo, www.random.org / enteros)
que le asigna un número a cada participante, en lugar de elegirlos caprichosamente “a mano”. Los
estudios han demostrado que cuando se intenta seleccionar una muestra al azar, sin ayuda de un
programa, se tiende a ser más sistemático que verdaderamente aleatorio (Gotteli y Ellison, 2004). En
algunos casos esto, puede ser útil para estratificar la muestra. La estratificación significa la selección de
una muestra aleatoria de cada sub-unidad de una población mayor. Por ejemplo, si hay un proyecto de
obras con tres cooperativas, el personal del proyecto podría optar por tomar una muestra aleatoria de
25 participantes de cada cooperativa en lugar de agrupar a todos los participantes juntos y tomar una
muestra aleatoria de 75 personas. Esto asegura una muestra representativa de todos los participantes.
En algunos casos se ha demostrado que es preferible este sistema a una muestra aleatoria simple
(Dytham, 2003).
Recuadro 2.3: Consejos para la entrevista
• Programar tiempo suficiente para la entrevista, decir al entrevistado de antemano cual será
aproximadamente la duración de la entrevista..
• Elejir un lugar con mayor privacidad y menor posibilidad de interrupciones posibles.
• Obtener el consentimiento.
• Saludar de una manera culturalmente apropiada, presentarse y exponer el propósito de la
entrevista.
• Establecer la relación con el entrevistado dando información sobre lo que ocurrirá durante
la entrevista y pedirle que comience por describir experiencias de carácter no controversial.
• Utilizar breves indicaciones verbales o lenguaje corporal que indique que está escuchando y
está interesado en lo que el entrevistado está diciendo.
• Antes de pasar a la siguiente pregunta, hacer un breve resumen de lo que el entrevistado ha
dicho, para indicar que usted entiende lo que se dijo.
• Conceder tiempo suficiente para responder a la pregunta. Trate de evitar anticipar la
respuesta, si el entrevistado hace una pausa para pensar.
• Al final de la entrevista, pregunte si hay algo más que quiera comunicar. También, Informar
como puede ponerse en contacto para más información o si hay algo más que le gustaría
decir.
(Leech, 2002; Pawar, 2004
2.1.3
Organización y análisis de datos de la entrevista
La gestión y el análisis de datos son tan importantes como la recolección de los mismos, pero
convertir un montón de hojas de entrevista en información significativa puede ser abrumador. Parecerá
© 2012 Green Mountain Coffee Roasters, Inc.
16
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
menos abrumador si se comienza con un conjunto de tablas de entrada de datos bien diseñadas. Esto
puede ser una hoja simple de cálculo Excel, aunque las organizaciones que recopilan datos más
extensos, posiblemente utilicen un programa de base de datos relacionados como Microsoft Access.
Cada fila de la tabla correspondería a un participante en el proyecto que fue entrevistado. Para datos
pertenecientes a familias, empresas o alguna otra unidad, cada fila correspondería a un miembro de la
familia o miembro del negocio. Cada columna corresponde a una variable o una pieza de información
acerca de las empresas participantes / miembro del hogar /beneficiario. En general, estos también
corresponden a las preguntas de la entrevista (Fig. 2.1). Además, es una buena práctica mantener una
tabla separada que muestre todas las variables (encabezados de columna) con las descripciones de lo
que significan, junto con los "códigos" que se utilizó para introducir los datos (Fig. 2.2). Un ejemplo de
"codificación" podría ser el utilizar 0 para representar un "no" como respuesta y 1 para representar un
"sí". Esto se hace comúnmente para hacer más fácil sumar las respuestas sí y no.
Figura 2.1. Ejemplo de tabla para ingreso de datos y análisis
Notar que en la figura 2.1, cada individuo se identifica mediante un código de familia (PAB indica
que estas familias son de la ciudad de Panajab) y un número para cada miembro. Cada combinación de
código de familia y el número de miembro crea un identificador único para cada individuo. Aunque
también sería posible identificar a cada individuo por su nombre, los problemas potenciales con la
ortografía de los nombres y las diferentes preocupaciones de confidencialidad hacen que sea más
práctico el uso de algún tipo de código. El código puede ser emparejado con el nombre de cada persona
en una tabla diferente, separada de los datos asociados con esa persona.
© 2012 Green Mountain Coffee Roasters, Inc.
17
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Figura 2.2. Ejemplo de Tabla para descripción de variable
Una vez que los datos estén en este formulario, es posible responder a las preguntas y calcular
las estadísticas sobre el grupo que fue entrevistado. Por ejemplo, usando los datos anteriores,
podríamos saber qué porcentaje de niños menores de 18 años asisten a la escuela, el nivel promedio de
calificaciones para los adultos que han asistido a la escuela y el porcentaje de estudiantes que están en
el grado apropiado. Estas estadísticas pueden ser incorporadas en los informes de GMCR.
2.2
Grupos Focales
2.2.1
La facilitación de los grupos focales
Los grupos focales comprenden a un grupo de beneficiarios que discuten temas en común con
un facilitador para dirigir la conversación. Los grupos focales son particularmente útiles para la
investigación exploratoria cuando se sabe poco sobre un tema, como por ejemplo cuando se quiere
información sobre las necesidades de la comunidad. También son útiles para recolectar historias y
experiencias, también sucede que escuchar historias desencadena más historias por parte de los
participantes. Los grupos focales también se pueden utilizar para aprender cómo los encuestados hablan
de un tema con el fin de informar el diseño de las entrevistas (Stewart et al., 2007).
Los grupos focales no deben durar más de tres horas y se debe orientar únicamente a algunas
preguntas clave (Butler, 1995). En grupos de discusión más largos, talleres de un día de duración o
cuando se necesita mucho tiempo para que los participantes se sientan lo suficientemente cómodos
para compartir sus opiniones, es importante proporcionar meriendas e intervalos para cortar el tiempo
y mantener la energía de todos los involucrados. Limitar el número de temas que se tratan porque una
pregunta que puede responderse en dos minutos en una entrevista cara a cara puede generar una
discusión de 30 minutos en un grupo. Las preguntas deben ser abiertas y por lo general menos
estructuradas que las preguntas de la entrevista. Palabras tales como: cómo, por qué, bajo qué
condiciones y otras dan la pauta de que el entrevistador quiere más detalles y una conversación con más
© 2012 Green Mountain Coffee Roasters, Inc.
18
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
profundidad (Steward y Shamdasani, 2006). Al igual que con las entrevistas semi-estructuradas, es una
buena idea hacer un test previamente y validar las preguntas antes del grupo focal.
De ocho a doce participantes es el tamaño ideal, lo suficientemente grande para generar este
tipo de discusión, pero lo suficientemente pequeño como para que todos los participantes tengan la
oportunidad de hablar. La dinámica de grupo puede tener una gran influencia en el resultado de un
grupo focal, y por lo tanto, el facilitador debe fomentar un ambiente cómodo y no evaluativo. El grupo
de discusión debe comenzar con una "introducción" o "pre-calentamiento" de sesión para darles a los
participantes tiempo para conocerse y para sentirse cómodos en compartir ideas, sobre todo si son
desconocidos. En esta primera etapa del grupo de discusión, el moderador puede buscar historias y
experiencias comunes entre los miembros del grupo antes de pasar a temas más difíciles o
controvertidos. Esto ayudara a la cohesión de grupo y hará que el grupo de participantes se sienta más
cómodo y a gusto (Steward y Shamdasani, 2006). A medida que el grupo de discusión avanza, el trabajo
del moderador es mantener la discusión en curso y promover la participación activa de todos en el
grupo. Al igual que con las entrevistas individuales, el moderador también deberá obtener más
información si la respuesta de un participante no está clara o si se estanca el debate (Steward y
Shamdasani, 2006).
Instrumentos simples visuales tales como una pizarra o carteles de papel pueden ser útiles para
la reflexión o el registro de la información, pero el nivel de alfabetización del grupo se debe tener en
cuenta. El uso de imágenes para transmitir la información, siempre que sea posible, puede ayudar a
superar esta limitación.
Existen varias opciones para la grabación de la información recopilada durante un grupo focal.
Una opción es el grabado de audio o vídeo, pero el equipo debe ser probado antes y se debe utilizar de
una manera no intrusiva por alguien que no sea el moderador. Estos métodos también requieren a
alguien que escuche o vea la grabación después del grupo focal, lo que puede consumir mucho tiempo.
Otra opción, es simplemente tener un tomador de notas, además del moderador, este método siempre
puede ser utilizado por precaución en el caso de que haya problemas con los equipos audiovisuales.
2.2.2
Análisis de datos provenientes de grupos focales
El análisis de los datos de los grupos focales ha sido criticado porque puede ser fácilmente
amoldado para satisfacer a las suposiciones previas. El gran volumen de datos, combinado con su
complejidad, pueden ser abrumadores y también, que sea difícil de que se ejecute un análisis riguroso
(Krueger, 1994). Sin embargo, cuando se analiza de manera sistemática, se puede extraer mucho de los
datos de grupo focales. A continuación, se describe según (Rabiee, 2004) un conjunto general de
medidas para el análisis de dichos datos:
Paso 1: Rever y reorganizar las notas de los grupos focales y seleccionar las respuestas o temas que son
pertinentes por pregunta. Es probable que haya algunas respuestas irrelevantes o poco claras, y es
© 2012 Green Mountain Coffee Roasters, Inc.
19
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
mejor dejar estas de lado por el momento . Esto se puede hacer en un procesador de textos (asegúrese
de guardar una copia original de la transcripción) o a mano con tijeras y marcadores.
Paso 2: Grupo de respuestas o contenidos similares. Si una respuesta en particular es similar a una leída
anteriormente, póngala en una pila (o bajo cierto titulo) con la respuesta. Si no es así, inicie una nueva
pila (o título).
Paso 3: Ahora tiene un conjunto de respuestas relevantes agrupadas por temas, que pueden ser
interpretadas y analizadas como temas e ideas comunes. Considere los siguientes factores en la
interpretación de las respuestas (Rabiee, 2004):
• Palabras utilizadas y su significado. ¿Cómo utilizan los participantes determinadas palabras? ¿Cómo
definen ellos estas palabras?
• Contexto. La forma en que el moderador hizo la pregunta y los comentarios anteriores realizados por
otros miembros del grupo influyen en el contexto en el que los comentarios se han hecho.
• La frecuencia y extensión de los comentarios. ¿Con qué frecuencia fue expresada una opinión en
particular por el mismo participante? ¿Cuántos participantes expresaron una misma opinión en
particular?
• La intensidad de los comentarios. ¿Fue el comentario muy enfático? ¿Parecía el entrevistado estar
agitado o emocionado?
• La consistencia interna. ¿Hubo algún cambio en la opinión o la posición de los participantes?
• La especificidad de las respuestas. Debe darse mayor atención a las respuestas referentes a
experiencias personales que a las que se refieren a situaciones hipotéticas.
• Las grandes ideas. ¿Qué grandes tendencias o conceptos surgen de todas las respuestas? ¿Qué pasa
con las respuestas de otros grupos?
2.3
Periodicidad para la recolección de datos
En las comunidades agrícolas casi nada es constante durante todo el año. Los ingresos a menudo
se presentan en un único pago por la cosecha, la dieta depende de los alimentos disponibles en cada
estación, e incluso algunas enfermedades pueden ser más frecuentes durante la estación lluviosa. Las
consecuencias visibles del proyecto por lo tanto, pueden variar a lo largo del año con las condiciones
creadas por las variaciones estacionales. Por lo tanto, los datos de monitoreo y evaluación deberían ser
idealmente recogidos durante todo el año con el fin de reflejar las condiciones a lo largo de todo el año.
El monitoreo y la evaluación constante, sin embargo, tiene un precio prohibitivo para la mayoría de los
proyectos. La mejor alternativa es escoger alguna época del año en la que se desee llevar a cabo el
monitoreo y la evaluación y recolectar información en ese mismo periodo cada año. Aunque los datos
recogidos de esta manera no pueden reflejar las condiciones a lo largo del año, es probable que de esta
© 2012 Green Mountain Coffee Roasters, Inc.
20
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
manera se capturen los cambios reales de un año a otro de mejor manera que si los datos son
recolectados en diferentes momentos cada año.
2.4
Diseño de Línea de Base
La línea de base o referencia son fundamentales para el monitoreo y la evaluación,
especialmente para proyectos a largo plazo (de más de cinco años). Sin datos recopilados antes del inicio
del proyecto (o poco después), es imposible determinar si los cambios en la vida de los beneficiarios se
deben al proyecto o si han realmente ocurrido cambios (Shah et al., 2004). En esencia, la evaluación sin
una línea de base es como la realización de un experimento sin un grupo "control". Con esto en mente,
las organizaciones contempladas por GMCR deben hacer todo lo posible para decidir sobre los
indicadores a utilizar para el monitoreo y la evaluación antes de que comience el proyecto. Propuestas
que incluyan una línea de base para los indicadores de M&E recopilados en un diagnóstico anterior al
proyecto serán consideradas fuertes candidatos, sin embargo GMCR entiende que esto no es siempre
posible.
La línea de base es esencialmente el comienzo del proceso del monitoreo y evaluación. La línea de base
debe estar cuidadosamente diseñada, pues los futuros esfuerzos de evaluación deberán utilizar la
misma metodología y los mismos indicadores empleados en el estudio de referencia. Tabla 2.1
proporciona un esquema para la realización de una línea de base.
Tabla 2.1. Realizando una línea de base, paso a paso
1. Aclarar los objetivos del proyecto.
2. Determinar la "unidad de estudio" para el monitoreo y la evaluación (por ejemplo, hogares o individuos),
basado en la forma en que dicho proyecto actúa con los beneficiarios.
3. Seleccionar los indicadores que utilizará para el monitoreo y la evaluación basado en los objetivos del
proyecto (véanse las secciones 3 y 5) y los que son lógicos para su uso en una línea de base.
4. Selección de métodos de recopilación de datos (entrevistas, por ejemplo).
5. Identificar el grupo de participantes directos del proyecto. Puede que todavía no sepa quién acabará
participando en el proyecto, pero al menos identificar a la comunidad en la que el proyecto trabajará y el
número posible aproximado de participantes.
6. Seleccionar una muestra adecuada de los participantes del proyecto (véase la sección 2.1.2).
7. Con base en los indicadores que se utilizarán, crear un inventario exhaustivo de datos que deben
recogerse.
8. Utilizar este inventario para crear un cuestionario, guía de entrevista o cualquier otra herramienta de
recolección de datos.
9. Ponga a prueba su instrumento de recolección de datos con una pequeña muestra de los participantes.
Mejore y cambie la herramienta, según sea necesario.
© 2012 Green Mountain Coffee Roasters, Inc.
21
Guía de evaluación y monitoreo de 2 Métodos de recopiliacióde datos
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
10. Determine un método para organizar digitalmente los datos a ser recolectados. Si es posible, establezca
una tabla o banco de datos para la entrada de datos (véase la sección 2.1.3).
11. Aclare los métodos de análisis de datos. Prepare una lista de qué tablas de datos se utilizarán y qué
indicadores se calcularán. Esto proporciona una última oportunidad para cambiar el instrumento de
recolección de datos si la información recopilada no se alinea con los análisis deseados.
12. Reunir un equipo para llevar a cabo la recopilación de datos.
13. Capacitar al equipo de recolección de datos en las maneras más apropiadas para hacer entrevistas o
en métodos de grupos focales. Organizar entrevistas de práctica para el equipo de recoleción bajo la
supervisión de los entrevistadores más experimentados.
14. Establecer un cronograma para la recolección de datos.
15. Llevar a cabo la recopilación de datos. Si es posible, hacer que el equipo de recolección de datos
introduzca la información en un computador inmediatamente después de la realización de la entrevista o
el grupo focal.
16. Una vez que todos los datos son recogidos e introducidos al programa, revisar los datos y "limpiarlos"
desechando las respuestas aparentemente erróneas o ambiguas.
17. Analizar los datos (ver secciones 2.1.3 y 2.2.2). Calcular los indicadores y hacer tablas de análisis de
datos. Crear un esquema de información de tipo narrativo que se incluirá en el informe de la línea de base.
18. Hacer la primera versión del informe de la línea de base.
19. Asegurar que los datos se almacenen de forma segura y respaldada.
20. Consolidar los datos colectados, materiales y herramientas, y planear la próxima iteración.
© 2012 Green Mountain Coffee Roasters, Inc.
22
Guía de evaluación y monitoreo de 3 Indicadores cuantitativos de resultados
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
3. Indicadores Cuantitativos de Resultados
© 2012 Green Mountain Coffee Roasters, Inc.
23
Guía de evaluación y monitoreo de 3 Indicadores cuantitativos de resultados
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
3.1
Indicadores de resultados requeridos para todos los proyectos
Aunque los objetivos entre los proyectos difieren, el monitoreo o el rendimiento de los
resultados de los proyectos pueden llevarse a cabo de una manera similar. Por lo tanto, lo que sigue es
una serie de indicadores de resultados (rendimiento) comunes para todos los proyectos financiados por
GMCR. Los proyectos beneficiados deben informar con relación a todos los indicadores, o hacer
referencia si dicho indicador no se aplica a su proyecto.
3.1.1
Información sobre los beneficiarios directos e indirectos en los proyectos
Todos los proyectos financiados por GMCR deben monitorear el número de personas u hogares
alcanzados por cada actividad del proyecto. Cada proyecto define a los beneficiarios como "directos" o
“indirectos" de maneradiferente. Los beneficiarios directos podrían, por ejemplo, ser las personas que
reciben préstamos de la empresa, y beneficiarios indirectos podrían ser miembros de la familia de estas
personas, que se benefician indirectamente del préstamo. Proyectos que trabajan a nivel del hogar
podrían considerar "directos" a los beneficiarios de hogares que han recibido asistencia en el
establecimiento de un huerto, y beneficiarios indirectos podrían ser miembros de la comunidad que se
beneficiaron por el aumento de disponibilidad de productos en el mercado local. No todos los
proyectos tienen por qué tener ambos beneficiarios directos e indirectos. Le corresponde a cada
organización describir, al informar sobre estos números, cómo define y monitorea su proyecto a los
beneficiarios directos e indirectos. Estas definiciones se deben utilizar de forma consistente para
propósitos de monitoreo y evaluación. Al informar sobre los indicadores de impacto, descritos más
adelante en esta guía, es importante ser claros acerca de si el impacto se refiere al grupo de los
beneficiarios directos o indirectos. GMCR supondrá que los indicadores de impacto se midieron con
respecto a los beneficiarios directos, salvo que se indique lo contrario en el informe de monitoreo y
evaluación del proyecto.
3.1.2
Actividades de capacitación
Los proyectos que proporcionan cursos de capacitación o clases (por ejemplo, capacitación de
profesores, cursos de formación para trabajadores voluntarios de la salud, o talleres en la gestión
financiera o los métodos agrícolas) deben supervisar el tipo de formación impartida, la duración de cada
entrenamiento, el número de participantes, y el número de cursos de capacitación de cada tipo.
Entrenamientos deben ser reportados en la Tabla 3.1
Tabla 3.1. Ejemplo de tabla para el informe de actividades de capacitación
Número de cursos
de formación
Duración en horas
de cada curso
Número de
personas por curso
Curso de Campo
2
6
5
Curso dentro del aula
sobre prácticas de
producción
6
2
25
Tipo de capacitación
© 2012 Green Mountain Coffee Roasters, Inc.
24
Guía de evaluación y monitoreo de 3 Indicadores cuantitativos de resultados
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Visitas a hogares para
discutir la vacunación
20
1
1
3.1.3
Inversiones directas
Los proyectos que ofrecen asistencia financiera directa (becas o préstamos) o en asistencia
(libros o cocinas, filtros de agua, radios, etc) deben supervisar y comunicar el número de préstamos,
becas, o el total de dólares de los artículos desembolsados.
© 2012 Green Mountain Coffee Roasters, Inc.
25
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
4. Evaluación cualitativa de proyectos a través
de la técnica del Cambio Más Significativo
© 2012 Green Mountain Coffee Roasters, Inc.
26
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
4.1
Introducción
Durante el encuentro inicial para el informe colaborativo de GMCR en mayo de 2010 se acordó
que además del monitoreo y la evaluación cuantitativa (es decir, la recoleccion dedatos), es importante
que las organizaciones que trabajan con GMCR recopilen también información cualitativa sobre el
impacto del proyecto. Esto a menudo ocurre en forma de "historias" sobre cómo ha cambiado la vida de
las personas a raíz del proyecto. Las historias son una manera útil e importante de evaluar y comunicar
el impacto del proyecto, a su vez es un método sistemático de recopilación y revisión que permite la
reflexión y el aprendizaje entre el personal del proyecto y los financiadores.
La evaluación cualitativa de los proyectos financiados por GMCR se basará en la técnica del
Cambio Más Significativo (MSC) desarrollada por Davies y Dart (2005). La esencia del protocolo del
Cambio Más Significativo (MSC) para el monitoreo y la evaluación cualitativa (Davies y Dart 2005) es la
recopilación sistemática de historias acerca de cómo la vida de la gente ha cambiado debido al proyecto,
y tras la cual los participantes y el personal del proyecto, en un sistema jerárquico van eliminando
historias y seleccionando las que representan los cambios más significativos resultantes del proyecto. En
cada nivel de selección, las razones para la selección de una historia en particular se comunican de
nuevo al nivel anterior. Mediante este método, el personal en los niveles superiores de la organización
puede enterarse de los criterios y perciben los impactos positivos y negativos de los participantes y del
personal de campo, y viceversa (Davies y Dart, 2005). El objetivo es provocar un nivel más profundo de
reflexión y comprensión de cómo están siendo ejecutados los proyectos en el campo y de los ajustes
que se necesiten hacer.
Las organizaciones sin fines de lucro financiadas por GMCR deben recolectar una historia por
cada 100 beneficiarios directos (como se define en la sección 3.1.1) que participan en el proyecto, con
un mínimo de 10 relatos recogidos. Si los participantes directos incluyen una serie de diferentes
comunidades, cooperativas de café, o los grupos culturales, la muestra debe ser estratificada para incluir
una muestra representativa de los beneficiarios. A partir de las historias recogidas, habrá que elejir tres
historias que representen los cambios más significativos para incluir en el informe de GMCR.
4.2
Proceso para la técnica del Cambio Más Significativo
4.2.1
Paso 1: Definir el periodo de recolección
Cada organización debe evaluar el costo/ beneficio cuando se define un período de recolección
de datos de monitoreo y evaluación. Para el informe de GMCR, sugerimos que las historias sean
recogidas durante un período de tres meses anualmente. Las historias también se pueden recoger de
forma continua, pues los trabajadores de campo interactúan con los beneficiarios. Sin embargo, aunque
las historias se recojan de forma continua, todavía se tendrá que establecer un período de tiempo
definido para la revisión y análisis de las mismas.
© 2012 Green Mountain Coffee Roasters, Inc.
27
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
4.2.2
Paso 2: Recolectar historias sobre cambios significativos
El eje del método cualitativo MSC de monitoreo y evaluación es una pregunta abierta a los
participantes del proyecto, tal como:
"Mirando hacia atrás en el último año, ¿Qué cree que fue el cambio más significativo en la calidad de
vida de las personas en esta comunidad?
Esta pregunta consta de seis partes (Davies y Dart, 2005, 23):
1. "Mirando hacia atrás en el último año..." - Se refiere a un período de tiempo específico.
2. "... ¿Qué le parece que fue ..." - Se pide a los encuestados que ejerzan su propio juicio.
3. "... El más significativo..." - Se les pide a los encuestados que sean selectivos, que no traten de
comentar todo, sino que se enfoquen en un hecho o ejemplo y lo describan.
4. "... El cambio..." - Se pide a los encuestados ser más selectivos cuando describan el cambio en lugar
de describir los aspectos estáticos de la situación, o algo que estaba presente en el período anterior.
5. "... En la calidad de vida de la gente..." - Se pide a los encuestados que sean aún más detallistas, que
no comenten sobre cualquier cambio, sino un cambio en la calidad de vida de las personas. Si una
organización quiere recoger historias MSC en torno a un tema diferente (la participación de las personas
en actividades de esa organización, por ejemplo), esto podría ser modificado ("... en la participación del
pueblo", por ejemplo).
6. "... En esta comunidad?" - Esto establece algunos límites.
Si bien la cuestión no tiene que ser obligatoriamente idéntica a ésta, la documentación de la historia
debe contener la siguiente información (Davies y Dart, 2005):
1. Información acerca de quién recogió la historia y cuando ocurrieron los hechos
2. Descripción de la historia en sí - lo que pasó
3. Importancia (para el narrador o entrevistado) de los eventos descriptos en la historia.
Dependiendo del alcance del proyecto que se evalúa, el cambio más significativo en la vida de las
personas puede no tener nada que ver con el proyecto en sí. Siempre es difícil atribuir la causalidad de
los cambios cualitativos. Con el fin de estimular la reflexión sobre los cambios resultantes del proyecto,
un calificativo adicional puede ser añadido al final de la cuestión, tal como:
"Mirando hacia atrás, en el último año, ¿Qué cree fue el cambio más significativo en la
calidad de vida de las personas en esta comunidad, y cuál ha sido el resultado de este
proyecto?
Se pueden hacer otras modificaciones a la pregunta, véase el recuadro 3.2. Para extraer el significado de
la historia al entrevistado, al final de la historia, se le puede pedir una pregunta adicional, tal como "¿Por
qué es importante para usted?" O "¿Qué diferencia tiene este hecho ahora o tendrá en el futuro?”
La mayoría de las historias deben ser de una a dos páginas de contenido. Historias más cortas
puede ser más rápidas y más fáciles de ser leídas, pero pueden dejar de lado información importante.
© 2012 Green Mountain Coffee Roasters, Inc.
28
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Cambios negativos al igual que los positivos pueden ser documentados, pues se puede aprender mucho
de los cambios negativos. La información acerca de la historia debe ser documentada acompañando la
historia en sí, incluyendo quién recogió la historia, cuándo ocurrieron los hechos, y el significado (para
el entrevistado) de los eventos descritos en la historia. Esto le da un contexto a la historia y permite la
posibilidad de la investigacion recurrente sobre la historia, si fuese necesaria. Un ejemplo del formato
para las historias se puede encontrar en el apéndice 1.
Recuadro 3.2: Problemas con la redacción de la pregunta
Dar lugar a buenas historias no siempre es fácil. Las dificultades, a veces tienen que ver con
cómo ha sido formulada la pregunta. El "significado", por ejemplo, no siempre se traduce
fácilmente. En estos casos puede ayudar el hecho de dividir la pregunta en varias partes. Jess
Dart relata su experiencia de trabajo en Papua Nueva Guinea:
"No me resultó fácil recolectar las historias con la técnica de la pregunta MSC, la gente no
entendia de inmediato adónde estaba tratando de llegar. Esto podría ser mucho más fácil en Tok
Pisin, pero en inglés se necesitan más instrucciones para obtener una respuesta con más
profundidad. Finalmente utilicé una versión modificada de MSC en la que hice las cuatro
preguntas siguientes:
• ¿Cómo ha estado involucrado en el proyecto?
• ¿Cuáles son los cambios importantes que han resultado de este proyecto?
• ¿Qué importantes cambios han ocurrido en la comunidad como resultado de este proyecto?
• ¿Qué problemas se presentaron?
La historia parecía surgir de cualquiera de esas cuatro preguntas dependiendo de la experiencia
de los participantes "(Davies y Dart, 2004, 46).
4.2.3
Paso 3: Escogiendo las historias del cambio más significativo
La metodología de Cambio Más Significativo se basa en un muestreo intencional. Esto significa,
que es selectivo en lugar de inclusivo. No es la intención representar el "promedio" de las condiciones
de los participantes, sino más bien, exponer los casos más inusuales o exitosos y aprender de ellos.
Aunque algunos pueden argumentar que esto no es una metodología de muestreo confiable, esta es
una forma legítima y ampliamente utilizada de recopilación de datos en investigación cualitativa. En
muchos casos, se puede extraer más informacion de un estudio cualitativo en profundidad de algunos
casos ricos en información que del promedio de un grupo (Davies y Dart, 2005).
© 2012 Green Mountain Coffee Roasters, Inc.
29
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
El paso intencional viene una vez que todas las historias se han recogido. MSC utiliza una
jerarquía como proceso de selección. Las personas discuten las historias de cambio significativo dentro
de su nivel y luego envian las más importantes al nivel superior, y éste a su vez hace lo mismo,
pasándolas al siguiente nivel (si existe) (Davies y Dart, 2005). GMCR recomienda el uso de dos niveles de
selección, pero la composición de los grupos de selección puede variar dependiendo de la estructura de
la organización. La mayoría de las organizaciones tienen una estructura jerárquica, por eso tiene sentido
utilizar esta estructura pre-existente para organizar el proceso de selección. El primer nivel de selección,
por ejemplo, podría ser el personal de campo, y el segundo nivel podría ser la oficina en el país o la sede
(Figura 4.1).
Figura 4.1. Flujo de historias y retroalimentación en el MSC (adaptado deDavies & Dart, 2005)
En cada nivel de la selección de la historia, un grupo se sienta con un conjunto de historias y
selecciona una o más historias que creen son las más importantes. El número de historias seleccionadas
en cada nivel dependerá de la magnitud del proyecto y el número total de historias recogidas. El grupo
puede decidir de antemano sobre criterios para la selección de historias, o permitir que los criterios
surjan del proceso. A menudo, el seleccionar historias de cambio más significativo sin criterios
preestablecidos clarifica las prioridades para el proyecto y los cambios que el personal y los beneficiarios
quieren ver. Una forma sencilla de seleccionar las historias es el discutir sobre ellas, pedirle a cada
persona que le atribulla puntos, y sumar los puntos para elegir las historias. Un facilitador puede ayudar
a agilizar el proceso de selección, un ejemplo de una guía de facilitación se puede encontrar en el
© 2012 Green Mountain Coffee Roasters, Inc.
30
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Apéndice 2. Independientemente del método elegido, los ingredientes clave para la selección de historia
son los siguientes:
• Todo el mundo lee las historias
• El grupo discute qué historias deben ser elegidas
• El grupo decide qué historias se perciben como las más importantes
• Las razones por las cuales el grupo optó son documentadas (Davies y Dart, 2005).
El último paso es particularmente importante ya que es fundamental para la reflexión sobre los
objetivos del proyecto y sus logros. Las razones por las que fue hecha la selección de una historia de
cambio significativo deberán ser documentadas durante el proceso de selección (para hacer ésto, ayuda
tener a alguien encargado de tomar notas), porque dejarlo para el final aumenta el riesgo de eliminar o
hacer muy rápido este importante paso. Esta documentación deberá adjuntarse a la historia después de
las explicaciones dadas por las personas que inicialmente documentaron la historia.
Recuadro 3.3: La “Conspiración de la cortesía”
Opiniones sinceras pueden ser difíciles de conseguir. En muchos (quizá la mayoría) de las
culturas, la gente evita decir cosas que pueden ser percibidos como críticas, sobre todo a
gente desconocida. Esto se agrava con la dinámica de poder entre el personal del
programa (que puede ser visto como rico y educado) y los participantes del programa
(que pueden sentirse comparativamente pobres y sin educación). Es posible que Los
benefiarios sepan de algún problema del programa, tal como la corrupción o el bajo
desempeño del personal, pero es probable que se muestren reacios a comentarlo (Bunch,
2000).
Esta cautela puede ser difícil de superar inicialmente, pero es probable que a medida que
los participantes se sientan más cómodos con el personal del programa, éstos sean más
abiertos. Idalmente, el personal del programa que esté recogiendo historias de cambio
significativo deben ser personas bien conocidas y de confianza para los beneficiarios. Lo
más importante es que los beneficiarios sepan que criticar abiertamente el programa no
dará lugar a repercusiones o malos sentimientos, sino que sus sugerencias serán tomadas
en serio y tomadas en cuenta para futuras acciones (Bunch, 2000). Opiniones francas de
los participantes son una señal de que tienen sentido de pertenencia al programa y
quieren ver su mejoría.
© 2012 Green Mountain Coffee Roasters, Inc.
31
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
4.2.4
Paso 4: Informes para GMCR en el Cambio Más Significativo
Las tres historias seleccionadas en el paso 3 deben ser incluidas en el informe de evaluación
anual para GMCR. Estas pueden tener el formato del apéndice 1, con una sección adicional que explica
por qué estas historias fueron seleccionadas y qué proceso se utilizó para seleccionarlas.
4.2.5
Paso 5: Informes de los resultados de retroalimentación del proceso de seleccion
GMCR no requiere este paso, pero es muy recomendable ya que es una parte integral del
proceso de MSC. Una vez que la historia del cambio más significativo (o historias) se elija, los resultados
del proceso de selección (qué historias fueron elegidos como los más significativas y por qué) deben ser
comunicados a aquellos que proporcionan las historias de MSC y a los que llevaron a cabo los niveles
inferiores de la selección. Todas las historias, inclusive aquellas que no fueron seleccionadas, podrán ser
compartidas con los beneficiarios, siendo esta una oportunidad de aprender de todas las historias que
fueron colectadas. Hay varias razones para que esto se haga. Una de ellas es que la información sobre
cuáles historias fueron seleccionadas en los niveles jerárquicos superiores pueden ayudar a orientar al
personal de campo en su búsqueda de historias y aclarar las prioridades de la organización.
Proporcionar retroaimentación también muestra que otros han leído y analizado las historias de cambio
significativo. Para los participantes del proyecto, oír comentarios sobre MSC puede proporcionar
motivación e ideas para satisfacer sus propias metas, así como levantarles el ánimo y hacer que el
proceso de monitoreo y evaluación sea más transparente. Hay un riesgo, sin embargo, y es que el
suministro de información acerca de los cambios que la organización valoriza o no, puede ser
interpretado como si la organización estuviese diciéndole a las comunidades cómo deben desarrollarse
(Davies y Dart, 2005). Dependerá de cada organización si proporcionar retroalimentación de la selección
de historias a los participantes es apropiado para su estructura y su relación con la comunidad. Sin
embargo, proporcionar retroalimentación al personal de campo es en general positivo, y GMCR
recomienda este paso.
Hay varias maneras de proporcionar retroalimentaciónal personal de campo y los
beneficiariarios del proyecto, y GMCR deja que cada organizacion elija el método que mejor se adapte a
sus necesidades. Para proporcionar información al personal de campo, los resultados de MSC pueden
ser comunicados verbalmente, durante una reunión de personal, enviado por correo electrónico o por
escrito en un informe más formal. Algunos usuarios de MSC colocan las historias y los motivos de su
elección en un boletín que se distribuye a todo el personal de campo y / o beneficiarios o participantes.
Si una organización opta por proporcionar información sobre MSC a los participantes, esta información
puede que sea necesario darla en forma verbal, dependiendo del nivel de alfabetización de los
participantes (Davies y Dart, 2005).
© 2012 Green Mountain Coffee Roasters, Inc.
32
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
4.3
Recomendaciones prácticas para el proceso de MSC
¿Cómo deben ser recolectadas las historias? Hay varias maneras de identificar y documentar
las historias de cambio significativo. Los trabajadores de campo pueden escribir historias no solicitadas
escuchadas en el transcurso de su trabajo. Los trabajadores de campo pueden también entrevistar
formalmente a los beneficiarios y escribir sus historias. Este método es más eficaz si el entrevistador lee
sus notas de nuevo al narrador para asegurarse de que se ha capturado con precisión la historia de un
cambio significativo. Los beneficiarios también pueden escribir sus historias directamente, aunque esto
no funcionaría con comunidades analfabetas (Davies y Dart, 2005). GMCR sugiere la incorporación de la
recoleccion de historias en las visitas de campo normal. Las anotaciones deben ser revisadas
inmediatamente después de la visita o entrevista con el fin de capturar todos los detalles que sean
posibles. Apesar de que las historias sean recolectadas, es útil tener a dos personas en el equipo de
recolección de historias: uno para hacer preguntas y otro para tomar notas de manera que toda la
información sea capturada. Otra opción es grabar la entrevista con un grabador de buena calidad, pero
hay que tener en cuenta que esto requiere que cada entrevista sea transcripta después, lo que puede
ser un proceso muy demorado.
¿Quién debe recoger las historias? Dependerá de la naturaleza del proyecto quien recoja las
historias de MSC. Esta guía se ha escrito asumiendo que el personal de campo del proyecto estará
recolectando historias de MSC. Sin embargo, un equipo de fuera del proyecto, o un grupo de
participantes de la comunidad también podrían ser entrenados para recoger historias. En general, lo
mejor es que la gente que recoge las historias hable el idioma local y entienda la cultura local con el fin
de evitar la pérdida de detalle en la interpretación. La sensibilidad de los problemas que puedan surgir
en las historias es también una consideración, si el proyecto trata de ocupaciones sexuales, por ejemplo,
las personas que recogíeran historias MSC deben ser conocidas y de confianza por parte de los
participantes del proyecto.
¿Cómo deben ser seleccionadas las personas para proporcionar historias de MSC? No todos
los participantes tienen una historia que contar. Algunos recolectores de MSC opinan que es interesante
anunciar anticipadamente a la comunidad que el personal del proyecto estará en busca de historias,
haciendo hincapié en que las sugerencias de cosas para mejorar el proyecto también serán bienvenidas.
Esto les da tiempo a los participantes a pensar en sus historias, y permite a aquellos que tienen historias
para contar a presentarse. También es importante pedirles historias a las personas más marginadas,
como las que viven en lugares aislados o a aquellos que son tímidos y que no esperan que se les
pregunte.
4.4
Adaptando MSC a su organización
Las organizaciones beneficiadas por GMCR trabajan con las comunidades de diversas maneras,
no todos los proyectos tienen una estructura de personal jerárquico que se presta fácilmente al método
del MSC. En particular, es posible que los beneficiados de US que no cuentan con personal de campo y
© 2012 Green Mountain Coffee Roasters, Inc.
33
Guía de evaluación y monitoreo de 4 Evaluación cualitativa
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
que dependen de las alianzas con cooperativas u organizaciones locales tengan que capacitar al
personal de las organizaciones para que lleven a cabo MSC. Estas organizaciones pueden optar por
incorporar un nivel adicional en el proceso de selección de MSC, las historias pueden venir de los
participantes, ser seleccionadas primero por el personal de campo de la organización / cooperativas, y
luego por la administración de esa organización / o cooperativa, por último, el personal de la
organización en USA. Es responsabilidad de la organizacion beneficiada por GMCR ofrecer la
capacitación necesaria para que las organizaciones asociadas o cooperativas para que lleven a cabo la
metodología de MSC.
La capacitación es necesaria para llevar a cabo MSC. Un buen punto de partida para comenzar
es leer todo el manual MSC por Davies y Dart (2005) que está disponible en la red de Internet en español
y en inglés. Las organizaciones que no están familiarizadas con MSC podrían, contratar a un consultor
para capacitar a personal de nivel superior y / o personal de campo. Si es necesario, los costos de
capacitación para la técnica del MSC se pueden incluir en el presupuesto de M & E de las propuestas de
proyectos presentados a GMCR.
© 2012 Green Mountain Coffee Roasters, Inc.
34
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
5. Indicadores Cuantitativos de Impacto
© 2012 Green Mountain Coffee Roasters, Inc.
35
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
5.1
Introducción
Los siguientes indicadores deben utilizarse para medir la eficacia con que determinado proyecto
alcanza sus objetivos. Los indicadores están organizados según los objetivos del proyecto. Estos
objetivos tendrán que armonizarse según los criterios de financiación del equipo de relaciones
comunitarias de la cadena de abastecimiento para la responsabilidad social de GMCR. Las
organizaciones contempladas deben identificar el objetivo (s) que está más cerca de los objetivos de su
proyecto y utilizar los indicadores descritos para dichos objetivos para el Monitoreo y la Evaluación.
Algunos objetivos tienen indicadores requeridos asociados a ellos. Otros objetivos requieren que se
seleccione entre algunas opciones de indicadores que estén de acuerdo con los objetivos del proyecto.
5.2
Objetivo del proyecto: Capacitación
5.2.1
Indicador Requerido: Uso contínuo del conocimiento
Casi todos los proyectos financiados por GMCR implican la capacitación en algún sentido. El
objetivo de cualquier actividad de capacitación es enseñarle a alguien una conducta o habilidad que se
va a utilizar en sus actividades personales o de subsistencia. Este indicador se aplica a una amplia gama
de actividades de capacitación, tales como capacitación en gestión financiera de los empresarios o
miembros de las cooperativas, talleres para capacitar a maestros en técnicas de enseñanza nuevas, o las
actividades de promoción de la salud por parte de los proveedores de
salud de la comunidad.
La capacitacion podría
incluir la formación en
Cada programa de capacitación o actividad debe tener objetivos
gestión financiera,
definidos en torno a las habilidades que los participantes deben ser
promoción de la salud, o
capaces de demostrar al final de la formación. Le sugerimos un
la formación del
monitoreo con los beneficiarios después de 3 meses y 1 año luego del
profesorado.
programa de capacitación, para preguntar si se han utilizado (y se
siguen utilizando) las habilidades que se aprendieron en el programa.
Por ejemplo, para un programa de enseñanza de cómo llenar una solicitud de préstamo, sería
conveniente preguntarles a los participantes si han solicitado un préstamo y si lo han recibido. También
se debe informar el porcentaje de participantes que han solicitado un préstamo y el porcentaje de
aquellos que lo han obtenido. Del mismo modo, para las visitas domiciliarias para promover la
vacunación infantil, se debe informar el porcentaje de padres que recibieron visitas domiciliarias y que
llevaron a uno o más de sus hijos a vacunar.
Al igual que con otros indicadores, si el número de beneficiarios que recibieron la capacitación es
muy grande, el monitoreo será a través de una muestra de los beneficiarios directos, utilizando las
directrices en la sección 2.1.2. Si se desea, la información sobre capacitación se puede dividir por tipo de
actividad para el fortalecimiento de capacidad, como se muestra en la Tabla 3.1.
© 2012 Green Mountain Coffee Roasters, Inc.
36
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
5.3
Objetivo del Proyecto: Creación de oportunidades de empleo
5.3.1
Indicador requerido: Número de empleos creados por actividades de proyectos
Las pequeñas empresas no sólo contribuyen a los medios de vida de sus dueños, sino que
también pueden ser un motor para el crecimiento económico a través del empleo de otros en la
comunidad. El número de puestos de trabajo creados por estas empresas es una medida del éxito de los
programas de diversificación de crédito o de granja. Al hacer el informe sobre este indicador, asegúrese
de hacer una distinción entre empleos directos e indirectos generados por el proyecto. Por ejemplo, una
mujer que recibe un préstamo para la apicultura y la venta de la miel representa un trabajo creado
directamente por el proyecto. Si esa mujer emplea a otra persona para ayudar a comercializar la miel,
este trabajo se ha creado indirectamente por el proyecto. En las empresas muy pequeñas, donde el
empleo puede ser informal o esporádico, se les puede pedir a los propietarios de la empresa el número
de personas que trabajaron para ellos en el último mes (en lugar del número de empleados de tiempo
completo) (Dunn, 1999). Empleos generados directamente por el proyecto (es decir, la contratación de
personal local de campo para implementar el proyecto) no deben ser incluidos en este indicador.
5.4
Objetivo del proyecto: Aumento de la seguridad alimentaria
5.4.1
Indicador Requerido: Meses de aprovisionamiento adecuado de alimentos en el hogar
(MAHFP)
Los meses de aprovisionamiento adecuado de alimentos en el hogar (MAHFP) como indicador
fué desarrollado por USAID como una forma de medir el acceso de alimentos de los hogares. La
capacidad de los hogares para acceder a una alimentación suficiente (a pesar de las transferencias de la
producción de cultivos, compra, trueque, o la comida de sus familiares o gobiernos) pueden variar a lo
largo del año debido a factores tales como enfermedades de los cultivos o la pérdida de ingresos
(Bilinsky y Swindale, 2007). Esto es especialmente cierto en las comunidades cafetaleras, donde los
ingresos del café tiende a concentrarse en un corto período de tiempo en vez de distribuirse
uniformemente durante todo el año. El objetivo de los programas de seguridad alimentaria es reducir la
vulnerabilidad a los factores que dan lugar a escasez de alimentos con el fin de aumentar el tiempo
durante el año en que los hogares son capaces de satisfacer sus necesidades alimentarias.
Este indicador se basa en hacerle dos preguntas a la población de la muestra:
1. En los últimos 12 meses, ¿Hubo meses en los que no tuvo alimentos suficientes para satisfacer
las necesidades de su familia?
2. En caso afirmativo, ¿Cuáles fueron los meses (en los últimos 12 meses) en los que no tuvieron
suficiente comida para satisfacer las necesidades de su familia?
Estas preguntas se deben hacer a la persona que es responsable por la preparación de las comidas o a
otro adulto (por ejemplo, el jefe del hogar), si esa persona no está disponible. Las preguntas se refieren
a la familia como un todo, no a una sola persona en el hogar (Bilinsky y Swindale, 2007).
© 2012 Green Mountain Coffee Roasters, Inc.
37
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
La variable de los meses de adecuada provisión alimentaria de los hogares (MAHFP) variable se calcula
para cada hogar como:
(12) - (número total de meses citados en la pregunta 2)
Si el hogar no citó ningún mes, en los que fueron incapaces de satisfacer necesidades
alimentarias, su variable MAHFP es de 12.
El indicador de meses de una provisión adecuada alimentaria es el promedio de la variable MAHFP de
todos los hogares de la población de la muestra. Asegúrese de incluir a los hogares que respondieron
"no" a la pregunta 1 (En los últimos 12 meses, ¿hubo meses en los que no tenían suficientes alimentos
para satisfacer las necesidades de su familia?). De lo contrario la estimación de la inseguridad
alimentaria será demasiado alta (Bilinsky y Swindale, 2007). El indicador MAHFP se monitorear durante
varios años para evaluar los cambios en la durabilidad de los "meses flacos".
5.4.2 Indicador Requerido: Diversidad alimentaria
La diversidad de la dieta es otra medida de acceso a los alimentos que captura la calidad de la
dieta consumida por un individuo u hogar. La diversidad de la dieta se correlaciona significativamente
con la cantidad adecuada de calorías y proteínas en la dieta (Swindale y Bilinsky, 2006) y el estado
nutricional de los niños (por ejemplo, talla por edades) (Arimond y Ruel, 2004). Se trata de "uno de los
indicadores más comunes y válidos del consumo adecuado de nutrientes y / o de energía" (Maxwell,
Caldwell, y Landworthy, 2008, 534). Las medidas de diversidad de la dieta se basan en el número de
grupos de alimentos que una familia o un individuo consume durante un período de tiempo designado.
Con el fin de informar a GMCR, se utilizará una versión modificada de un indicador desarrollado por
USAID llamado la escala de diversidad alimenticia del hogar (HDD).
Los datos para el HDDS se recogen preguntando a los encuestados (de preferencia la persona
que prepara los alimentos) el número de días que consumieron ciertos alimentos durante el período de
referencia. El período de referencia debe ser los siete días anteriores a la entrevista. Las frecuencias de
consumo (número de días que se consume un alimento) son sumadas y divididas por siete para obtener
el puntaje de dieta del hogar que representa el promedio de grupos alimenticios comidos por día. El
multiplicador nutricional es igual para la mayoría de los alimentos, con la excepción de las raíces y
tubérculos debido a su alto contenido de almidón y bajo contenido en proteínas y nutrientes, así como
los aceites y las grasas, y los dulces debido a su falta de proteínas.
La escala de la diversidad alimentaria utiliza 12 grupos de alimentos para estimar la diversidad de la
dieta. Estos grupos de alimentos son:
Grupo
A. Cereales
B. Raíces y tubérculos
C. Vegetales
D. Frutas
E. Carnes, Aves,
© 2012 Green Mountain Coffee Roasters, Inc.
38
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
F. Huevos
G. Pescado y frutos del mar
H. Frijoles/legumbres/nueces
I. Leche y productos lácteos
J. Aceite/grasas
K. Azucar/Miel/dulces
L. Varios
2
El cuadro 5.1 muestra un ejemplo de un cuestionario y la tabla de cálculo para la recopilación de
datos sobre diversidad de la dieta. Este cuestionario debe ser modificado eliminando los alimentos que
no se consumen localmente, e incluyen los alimentos que son más comunes.
Tabla 5.1. Ejemplo de cuestionario de diversidad alimentaria para recolección de datos por hogar
(adaptado de Swindale & Bilinsky, 2006)
Me gustaría preguntarle acerca de los tipos de alimentos que usted
comió durante los últimos 7 días.
(Lea la lista de los alimentos. En el primer cuadro, escriba el número
de días en los últimos siete días que alguien consumió ese alimento en
el hogar)
¿Pan, arroz, fideos, tortillas, o cualquier otra comida a base de maíz,
arroz, trigo, sorgo, maíz, quinoa o (inserte cualquier otro grano
disponibles a nivel local)?
# dias
7
¿Papas, camote, yuca / mandioca, malanga o cualquier otro alimento
hecho de las raíces o tubérculos?
5
¿Algún vegetal?
3
¿Algunas frutas?
4
¿Algún pollo, res, cerdo, cordero, cabra, conejo, caza, pato u otro tipo
de ave o producto animal, como hígado, riñón, corazón, tripas u otras
carnes?
2
¿Algunos huevos?
5
¿Algún pescado fresco o seco, o mariscos?
0
¿Alguna comida preparada con frijoles, lentejas o nueces?
6
© 2012 Green Mountain Coffee Roasters, Inc.
39
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
¿Algún queso, yogurt, leche o algun otro lácteo?
3
¿Alguna comida preparada con aceite, grasa o mantequilla?
5
¿Algo de azúcar, miel, o dulces (galletitas, etc.)?
5
¿Alguna otra comida como condimentos o hierbas, café o te?
7
Total
52
Para el seguimiento de la diversidad alimentaria durante muchos años, el puntaje de diversidad
de la dieta se debe recoger en el mismo mes cada año, preferentemente durante el periodo habitual de
la inseguridad alimentaria ("los meses flacos"). Este indicador puede ser modificado para aplicarse a
nivel de los hogares al comenzar el cuestionario con "Me gustaría preguntarle acerca de los alimentos
que usted o algún miembro de su familia comió durante los últimos siete días."
En su informe de monitoreo y evaluación para GMCR, por favor incluya ambos, el promedio de
punctuación de diversidad de dieta entre los individuos, como también entre los hogares que fueron
entrevistados y el promedio, mínimo y máximo para cada grupo de alimentos, como en la Tabla 5.2.
Tabla 5.2. Ejemplo de tabla para el informe sobre diversidad de dieta
Grupo alimentício
Número de días consumido
Intervalo
Promedio
Mínimo
Máximo
4.2
0
6
Cereales
Raíces y tubérculos
Vegetales
Frutas
Carne, pollo, otros
Huevos
Pescado y frutos del mar
Legumbres, frutos secos
Lácteos o sus productos
© 2012 Green Mountain Coffee Roasters, Inc.
40
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Aceites o grasas
Azúcar, Miel o dulces
Misceláneos
Promedio numérico de la diversidad de
dieta:
8.2
5.4.2
Indicador Opcional: Índice de Estrategias de Afrontamiento (CSI)
Cuando las personas no tienen alimentos suficientes para comer se comportan de determinada
manera para hacer frente a la situación. La forma en que las personas lidian con esta experiencia
depende de la situación local y la gravedad de la escasez de alimentos. El Índice de Estrategias de
Afrontamiento (Maxwell et al., 2003) se desarrolló como una forma de evaluar la gravedad de la escasez
de alimentos basado en la idea de que algunas conductas de afrontamiento son más "extremas" que
otras, es decir, que reflejan la escasez de alimentos más severa. El índice está concebido principalmente
como una herramienta para la evaluación rápida de la escasez de alimentos en situaciones de
emergencia, sin embargo, se correlaciona bien con otras medidas de seguridad alimentaria (Coates et al,
2006; Maxwell et al, 2003) y también se puede utilizar para evaluar la eficacia a largo plazo de los
programas de seguridad alimentaria.
Los hogares con inseguridad alimentaria suelen emplear alguno de los cuatro tipos de
estrategias de afrontamiento. Los hogares pueden
cambiar su dieta por el cambio de los alimentos
“¿Qué hace usted cuando no tienen
preferidos a aquellos que son más baratos. En segundo
suficiente comida, y no tienen
lugar, pueden tratar de aumentar el acceso a alimentos
suficiente dinero para comprar
a través de créditos o préstamos, o por el consumo de
comida?"
alimentos silvestres o reservas de semillas. En tercer
lugar, pueden disminuir la cantidad de personas que se
Esta pregunta es la base de la
alimentan mediante el envío de niños a la casa de un
herramienta de CSI (Maxwell,
vecino para comer o temporalmente la migración a
Watkins, Wheeler, y Collins 2003).
zonas urbanas. Por último, los hogares pueden
simplemente racionar la comida, saltearse comidas,
comer comidas más pequeñas, o incluso pasar días
enteros sin comer nada (Maxwell et al., 2003). El Índice de Estrategias de Afrontamiento sólo incluye las
estrategias de afrontamiento de consumo de alimentos, no las estrategias de afrontamiento que tienen
que ver con otros medios de vida. Estrategias de afrontamiento de consumo son aquellas que:
• Están relacionadas específicamente con el consumo de alimentos
• Se puede hacer de inmediato, no requieren planificación a largo plazo
© 2012 Green Mountain Coffee Roasters, Inc.
41
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
• Son reversibles (es decir, se pueden revertir cuando ya no es necesario)
• Se pueden utilizar de forma continua (la venta de ganado, por ejemplo, es una estrategia que
se utiliza una sola vez y por lo tanto no es una estrategia de consumo)
• No depende de la tenencia de activos inicial de la casa (porque, por ejemplo, un hogar puede
no vender los activos, ya sea porque no es necesario, o porque no tienen nada para vender, y por lo
tanto, éste se torna en un indicador no confiable de la inseguridad alimentaria) (Maxwell et al., 2003)
La gravedad de estas estrategias varía, por ejemplo, el cambio de dieta hacia alimentos más
baratos, se emplea generalmente en los niveles menos severos de inseguridad alimentaria, comparado
a pasar días enteros sin comer. La idea básica del Índice de Estrategias de Afrontamiento consiste en
medir la frecuencia de conductas de afrontamiento (¿Con qué frecuencia se utiliza la estrategia?) Y la
gravedad de las conductas (¿Qué grado de inseguridad alimentaria sugieren?) Y combinar esta
información en una única puntuación (Coates et al., 2006).
Las estrategias de afrontamiento y su sentido de gravedad pueden variar con el contexto
cultural. Idealmente, se utiliza una serie de grupos focales para establecer una lista común de
estrategias de afrontamiento y su gravedad específica en la comunidad. Ver Maxwell et al. (2003) para
obtener instrucciones sobre cómo hacerlo. Sin embargo, una lista semejante requiere una inversión
sustancial de recursos, y las investigaciones han demostrado que la población rural, incluso en países
diferentes, tienden a utilizar estrategias similares para hacer frente a la inseguridad alimentaria (Coates
et al., 2006). GMCR sugiere el uso de la lista validada internacionalmente de estrategias de
afrontamiento y la gravedad de pesos mostrados en la tabla 5.3.
Tabla 5.3. Lista generalizada de estrategias de afrontamiento (Coates et al., 2006; Maxwell et al.,
2003)
¿Cuán seguido en los ultimos 30 días usted?
1. Cambio de dieta
a. Depende de alimentos menos preferidos y menos caros
2. Incremento a corto plazo de la disponibilidad de alimentos en el hogar
a. Pidió comida prestada, o tuvo que aceptar ayuda de amistades o familiares
b. Compró comida a crédito, o sacó prestamo para comprar comida
c. Consiguió comida silvestre, caza, o cosecha de plantaciones inmaduras
d. Consume semillas guardadas para el próximo año
3. Disminuición de número de personas
a. Mandó a los niños a comer a otro lugar
b. Mandó a miembros de la familia a pedir
4. Estrategias de racionalización
a. Disminuición de las porciones de comida
© 2012 Green Mountain Coffee Roasters, Inc.
Severidad
(1=menos severa,
3=más severa)
1.0
1.7
1.7
2.1
2.3
2.0
2.0
1.7
42
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
2.0
2.0
3.0
b. Restringió el consumo de los adultos para que los niños coman
c. Redujo el número de comidas durante el día
d. Saltea días enteros sin comer
Los datos para calcular el Índice de Estrategias de Afrontamiento deben ser recogidos a través
de entrevistas en los hogares, y la mayoría de los médicos recomiendan que sean entrevistadas las
mujeres. GMCR recomienda el uso de un período de referencia de 30 días anteriores a la entrevista. Al
igual que con otras medidas de seguridad alimentaria, el índice dependerá de la época del año en el que
se recoge la información, por lo que es una buena idea reunir la información en la misma época cada
año. La frecuencia de las estrategias se puede contar de distintas maneras, pero la más común es
permitir que el encuestado elija si emplea una estrategia todos los días, con bastante frecuencia (3-6
veces / semana), de vez en cuando (1-2 veces / semana), casi nada 1/semana (<), o nunca. El punto
medio de los rangos de frecuencia se utiliza para la puntuación de frecuencia relativa (Maxwell et al.,
2003).
Tabla 5.4. Tabla de cálculo para el índice de las estrategias de afrontamiento (adaptado de Maxwell et
al., 2003)
En los últimos 30 días, si ha
habido momentos en los que no
tuvo suficiente comida o dinero
para comprar alimentos, con qué
frecuencia su hogar ha tenido
que:
Puntaje frecuencia relativa
¿Dependió usted de alimentos
menos preferidos y más baratos?
Todos
los días
7
3-6
veces a
la
semana
4.5
1-2
veces a
la
semana
<1 vez
a la
semana
Nunca
1.5
0.5
0
X
Tabulación
Frecuencia
Peso de
gravedad
Frecuencia
relative x
severidad
4.5
1.0
4.5
¿Pidió comida prestada, o dependio
de ayuda de amigos o familiares?
X
1.5
1.7
2.55
¿Compró comida a crédito, o pidió
prestado dinero para comprar
comida?
X
1.5
1.7
2.55
0
2.1
0
¿Consiguió comida silvestre o de
caza, o cosechó cultivos inmaduros?
X
¿Consumió semillas guardadas para
el próximo año?
X
0.5
2.3
1.15
¿Mandó a los niños a comer a otros
lugares?
X
0.5
2.0
1
0
2.0
0
¿Mandó a miembros de la familia a
pedir?
© 2012 Green Mountain Coffee Roasters, Inc.
X
43
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
¿Limitó el tamaño de las porciones
de comida?
X
¿Restringió el consumo de comida a
los adultos para alimentar a los
niños?
X
7
1.7
11.9
0.5
2.0
1
¿Redujo el número de comidas en
un día?
X
0
2.0
0
¿Salteó días enteros sin comer?
X
0
3.0
0
Puntaje CSI
Se suma los totales para cada estrategia
individual
24.65
La puntuación para cada frecuencia de conductas de afrontamiento se multiplica por el peso de
la gravedad, y estos valores se suman para calcular el puntaje del Índice de estrategias de
afrontamiento. El puntaje del hogar significa poco en términos absolutos, pero es útil para el monitoreo
de cambios en el tiempo. Por ejemplo, si un hogar tenía una puntuación de 92 en el año 1, una
puntuación de 75 en el año 2, y una puntuación de 63 en el año 3, el nivel de inseguridad alimentaria fue
claramente decreciente (o, dicho de otra manera, su nivel de la seguridad alimentaria va en aumento).
El indicador de CSI es el promedio de las puntuaciones de todos los hogares entrevistados. El uso de este
indicador no se recomienda a nivel individual y sino a nivel de hogar, debido a que las conductas de
afrontamiento son, por definición, realizadas en el hogar y no a nivel individual.
5.4.4
Indicador Opcional: Deficiencias nutricionales entre niños
La antropometría se refiere a la medición del cuerpo humano. Los cambios en las dimensiones
del cuerpo reflejan la salud y el bienestar de la población, los indicadores antropométricos se pueden
utilizar para medir el estado nutricional general de un individuo o grupo. Los indicadores
antropométricos son una herramienta de bajo costo y ampliamente utilizados, especialmente para
evaluar el estado nutricional de los niños pequeños.
Las cuatro piezas básicas de cualquier indicador antropométrico son la edad, sexo, talla (o
longitud de los niños menores de dos años de edad) y peso. Con estas variables, se pueden calcular una
variedad de índices que proporcionan una representación del estado nutricional de una persona.
© 2012 Green Mountain Coffee Roasters, Inc.
44
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Recuadro 4.1: Medición de Edad
Una estimación precisa de la edad del niño es necesaria para el cálculo de los índices
antropométricos. El entrevistador debe preguntar a la madre o tutor primario la fecha del
nacimiento del niño, y comparar con un certificado de nacimiento o de bautismo si está
disponible (Cogill, 2003).
Recuadro 4.2: Medición de altura
Existen numerosos instrumentos disponibles para medir la altura de los lactantes y los niños
en un variado rango de precios. Cogill (2003) ofrece una lista completa de estos
instrumentos. Independientemente del instrumento utilizado, es importante que los
métodos de medición sean uniformes entre los individuos y las edades. Los niños deben
mirar hacia adelante mientras se está midiendo, con los hombros parejos y las manos a los
lados. Se le debe pedir al responsable por el niño que le quite los zapatos y también
peinados (trenzas, por ejemplo) que podrían afectar la medición. Para los niños menores de
dos años de edad, se mide con el niño acostado, la longitud en vez de la altura (Cogill, 2003).
Recuadro 4.3: Medición de Peso
La forma más sencilla para registrar el peso es con una balanza electrónica. El
responsable por el niño se sube a la balanza primero con el niño en sus brazos, el
peso de los dos es registrado. Luego, otra persona sostiene al niño mientras se
registra el peso únicamente del responsable por el niño. Este último (el peso del
responsable) se resta del primer peso para obtener el peso del niño (Cogill, 2003).
A los niños mayores se les puede pedir para que suban a la balanza solos. Existen
también balanzas colgantes (Cogill, 2003).
Será imposible recoger esta información de cada participante menor de edad, por lo tanto
GMCR recomienda tomar una muestra de hogares o personas adultas y recolectar los datos
antropométricos de los niños de hasta 5 años en la casa (o en la familia inmediata de la persona adulta).
Si no se pueden evaluar a todos los niños debido a limitaciones financieras, el hijo menor de cada hogar
debe ser evaluado. Al recoger estos datos, es importante que el propósito y el contenido de la encuesta
antropométrica se expliquen de una manera no amenazadora y culturalmente apropiada, y que la
persona tenga la oportunidad de hacer preguntas y la libertad de declinar su participación (Cogill,
© 2012 Green Mountain Coffee Roasters, Inc.
45
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
2003). Lo mejor es hacer las mediciones antropométricas al final de una entrevista o una encuesta (si se
lleva a cabo) para permitir que el entrevistado se sienta cómodo con el colector de datos antes de que
se toman las medidas.
A partir de estas mediciones, se pueden deducir tres indicadores. Peso por edad identifica la
condición de bajo peso para una edad determinada. Esto puede ser consecuencia de la desnutrición
aguda o crónica, es imposible distinguir entre las dos. Altura para la edad identifica el retraso en el
crecimiento como resultado, la falta de crecimiento en el pasado es un indicador de desnutrición en el
pasado o la desnutrición crónica, aunque no necesariamente actual o aguda. Para evaluar las mejoras en
la seguridad alimentaria, es preferible utilizar este indicador con los niños menores de dos años de edad,
debido a que los efectos del retraso del crecimiento pueden no ser reversibles, por lo tanto utilizar este
indicador con los niños mayores puede subestimar las ganancias en la seguridad alimentaria. Peso para
la altura identifica a los niños que sufren de desnutrición actual o aguda, llamado desgaste. El desgaste
es la condición en la que un niño cae significativamente por debajo del peso esperado para un niño de la
misma altura y puede resultar de la falta de aumento de peso o pérdida de peso real. Como este
indicador no requiere de edad, es útil cuando la edad exacta no se puede determinar (Cogill, 2003).
Para que estos indicadores sean significativos, deben ser comparados con un valor de
referencia. La Organización Mundial de la Salud (OMS) publica internacionalmente estándares validados
de crecimiento de los niños sanos desde el nacimiento hasta los cinco años (Organización Mundial de la
Salud, 2006). La comparación con los estándares de referencia se realizan normalmente usando
unidades de desviación estándar, denominada Z-score. Las tablas de la OMS de crecimiento estándares
proporcionan los valores de corte para peso por edad, altura/ largo por edad, peso por largo/altura / en
la que un individuo es uno, dos o tres desviaciones estándares del promedio. Por ejemplo, un hijo varón
de un mes de edad, que miden 45 cm tendría un Z-score de -2 en el largo para la edad de la tabla de
referencia (Tabla 5.5). Personas de uno a dos desviaciones estándar por debajo de la mediana se
consideran moderadamente desnutridas. Dos o tres desviaciones estándar por debajo de la mediana se
consideran como moderadamente desnutridas, y las personas de tres o más desviaciones estándar por
debajo de la mediana se consideran gravemente desnutridos (Tabla 5.6). Estas clasificaciones deben ser
utilizadas con fines informativos. Los criterios de crecimiento de la OMS se pueden accesar a través del
sitio: www.who.int/childgrowth/standards/en/. Los informes sobre los indicadores antropométricos
para GMCR deben incluir el porcentaje de niños menores de cinco años de edad que presentan leve,
moderado o severo bajo peso, retraso del crecimiento o desgaste. Los equipos de monitoreo y
evaluación deben asegurarse de que la muestra sea suficientemente amplia y representativa de los
grupos de beneficiarios para permitir una comparación significativa atraves del tiempo.
© 2012 Green Mountain Coffee Roasters, Inc.
46
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Tabla 5.5. Ejemplo de Z-score tabla de referencia
Tabla 5.6. Clasificaciones de desnutrición de WHO
Z-escala de puntaje
Peso-por-edad
Altura-por-edad
Peso-por-altura
-2 < Z-puntaje < -1
Medianamente
desnutrido
Retraso mediano
en el crecimiento
Desgaste mediano
-3 < Z- puntaje < -2
Moderadamente
desnutrido
Retraso moderado
en el crecimiento
Desgaste
moderado
Z- puntaje < -3
Severamente
desnutrido
Retraso severo en
el crecimiento
Desgaste severo
5.5
Objetivo del Proyecto: Mejorar el rendimiento de los cultivos
5.5.1
Indicador Requerido: Rendimiento de los Cultivos
Las mejoras en los rendimientos de los cultivos pueden beneficiar a las familias, proporcionando
más alimentos o proporcionando más ingresos para comprar alimentos, enviar a sus hijos a la escuela,
ahorrar o hacer mejoras en las fincas. Los proyectos que tienen incrementos en los rendimientos de los
cultivos como objetivo podrán usar los rendimientos como indicador de impacto. Los rendimientos
deben ser reportados en unidades por hectárea, y el sistema internacional (SI) se debe utilizar siempre
que sea posible. Al igual que con cualquier indicador, los rendimientos deben ser monitoreados durante
muchos años y una muestra representativa de los participantes del proyecto debe ser elegida para
aumentar la probabilidad de que el cambio sea atribuible a las actividades del proyecto y no a factores
externos como el clima.
© 2012 Green Mountain Coffee Roasters, Inc.
47
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
5.6
Objetivo del proyecto: Mejorar el acceso al crédito
5.6.1
Indicador Opcional: las tasas de devolución de los préstamos
Las tasas de reembolso de los préstamos deben ser reportados sobre una base anual como:



El número de préstamos que fueron totalmente pagados o están en proceso de ser pagados, y
con cual el cliente ha estado a tiempo con los pagos
El número de préstamos que fueron pagadoss o están en proceso de ser devueltos, pero con
los que el cliente se ha atrasado con uno o más pagos, y
Número de préstamos para los cuales el cliente no ha pagado
Para informar sobre préstamos que no han sido pagados, usar la definición de falta de pago de su
organización, e incluir en el informe de M & E la definición que se le ha dado.
5.6.2
Indicador Requerido: Los ingresos totales de las empresas financiadas
Para propósitos de monitoreo y evaluación, los ingresos totales de las empresas financiadas
deben ser reportados de acuerdo a los años de financiación o años desde el préstamo, ya que como
empresas recientemente financiadas se espera que tengan menores ingresos que las que tienen varios
años de crecimiento. Se espera que las empresas de mayor tamaño también tengan mayores ingresos
que las más pequeñas. Por lo tanto, sugerimos clasificar a las empresas según el tiempo en el que han
participado en el programa, tamaño y cambios en los ingresos reportados de cada uno de estos seis
grupos (pequeñas empresas, recientemente asistida, las pequeñas empresas en pago de préstamos,
grandes empresas de nueva asistencia, etc) (tabla 5.7).
Tabla 5.7. Categorías para la clasificación de empresas
Tiempo en el programa
Número de empleados
Recientemente asistidos este año
Menos de 10 (pequeña)
En pago de préstamos
10 o más (grande)
reembolso del préstamo
5.6.3
Indicador Opcional: Ingresos netos de las empresas financiadas
El ingreso neto de la empresa se define generalmente como ingresos brutos menos costos de
bienes vendidos, menos los gastos de producción (Hyman y Dearden, 1998). Sin embargo, las diferentes
organizaciones utilizan diferencias métricas para el cálculo de los ingresos netos. Si se elige utilizar este
indicador, por favor, describir en el informe de M & E cómo calcula los ingresos netos su organización. Al
© 2012 Green Mountain Coffee Roasters, Inc.
48
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
igual que con los ingresos totales, los ingresos netos deben ser informados de acuerdo con las
clasificaciones en la Tabla 5.7.
5.7
Objetivo del proyecto: Aumentar los ingresos
5.7.1
Indicador requerido: Nuevos ingresos generados por las actividades del proyecto
Este indicador es apropiado para proyectos que buscan aumentar los ingresos familiares a
través de nuevas actividades económicas tales como la diversificación de los productos agrícolas o por
medio de la asistencia a los participantes con el acceso de sus productos a los mercados. "Nuevo"
ingreso se define como los ingresos resultantes directamente de la actividad económica apoyada por el
proyecto y adicionales a los ingresos del individuo o del hogar antes del proyecto. Para la recopilación
de esta información se requiere que los participantes, con la ayuda del personal de campo, estimen sus
ventas y los precios aproximados que han recibido de sus productos. Si bien los participantes no pueden
realizar un seguimiento de sus nuevos ingresos totales, por lo general se tiene una idea de cuántas veces
en un mes fueron al mercado o estuvieron involucrados en la actividad económica y la cantidad de
dinero traída a casa cada vez. Esto debe ser extrapolado para calcular los ingresos anuales.
Además, GMCR está interesado en las fuentes de ingresos disponibles para los hogares antes y
después del proyecto. La razón para la evaluación de todas las fuentes de ingresos, y no sólo las nuevas,
es que los proyectos de diversificación de ingresos a veces, sustituyen las fuentes de ingresos existentes
por otras nuevas en lugar de aumentar la diversidad global de las fuentes. Las fuentes de ingresos
disponibles para cada hogar antes y después del proyecto deben ser registradas en la Tabla 5.8. Es
necesario informar a GMCR el promedio de las fuentes de ingreso neto agregado por todos los hogares
incluídos en la evaluación.
Tabla 5.8. Ejemplo de tabla para la fuente de ingresos netos
Fuentes de ingresos
Pre-proyecto
Post-proyecto
Miel
X
X
Café
X
X
Venta de frutas
Ingreso neto de Fuentes nuevas
X
1
5.7.2 Indicador opcional: Ingreso anual familiar bruto
La recolección de datos sobre los ingresos es controversial debido a la dificultad de recoger datos
fiables, sobre todo de las familias campesinas rurales. Las medidas absolutas de los ingresos familiares
son difíciles de estimar con precisión, sin embargo con un poco de esfuerzo por parte del entrevistador,
es posible medir los cambios en el ingreso familiar de año en año, siempre y cuando se utilizen los
© 2012 Green Mountain Coffee Roasters, Inc.
49
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
mismos métodos de recolección de datos. Para los proyectos con el objetivo de aumentar los ingresos
del hogar, GMCR recomienda el uso de este indicador.
Los datos de ingresos del hogar serán más precisos si la mayoría de los miembros del hogar están
disponibles durante la entrevista. Pedir que el entrevistado (o entrevistados, dependiendo de quién
está presente) haga una lista de todas las personas en el hogar, coloque sus ingresos y cómo ganan ese
ingreso. Debido a que la mayoría de los ingresos tienden a ser irregulares en lugar de un salario regular,
también es importante preguntar a los encuestados si venden las cosechas durante todo el año,
aproximadamente la cantidad, y aproximadamente a qué precio. Para otros ingresos, tales como el
trabajo ocasional fuera de la finca, por lo general los encuestados pueden recordar cuántos días de
trabajo por semana trabajaron y cuánto ganan por día. En las zonas donde las remesas son comunes,
también pregunten específicamente sobre éstas, ya que los encuestados a veces no cuentan a los
familiares que viven en el extranjero como los miembros del hogar. Es útil si el entrevistador está
familiarizado con los encuestados y la comunidad, ya que él o ella conocerá actividades comunes
generadoras de ingresos en esa comunidad, los precios habituales de los productos y los salarios
habituales de trabajo.
Los ingresos deben ser reportados en dólares y el número de fuentes de ingresos. Si lo desea, los
ingresos de los proyectos financiados por las empresas pueden ser reportados por separado (véase la
sección 5.6.2).
5.7.3
Indicador Opcional: Ahorro de los hogares
Los ahorros son una manera importante de los hogares para amortiguar las crisis financieras y
las variaciones estacionales de los ingresos. Los ahorros pueden ser en forma de dinero ahorrado en
casa o en una cuenta bancaria, así que cuando se pregunta a los beneficiarios si tienen ahorros, el
entrevistador debe preguntarle a los participantes acerca de los dos tipos de ahorro. Los proyectos
deben reportar el porcentaje de hogares en el proyecto (o muestra) que tienen ahorros en el momento
de la evaluación, y el cambio en este porcentaje desde el período de la última evaluación. Al recoger
estos datos, los entrevistadores también pueden preguntar a los entrevistados sobre las razones por las
cuales las familias han sido capaces de guardar los ahorros (o no), ya que esta información le dará
contexto a la cifra numérica.
5.8
Objetivo del proyecto: Mejorar el acceso a la educación
Los indicadores educativos contienen información sobre el estado, el rendimiento o la calidad
de un sistema educativo (Greaney y Kellaghan, 1996). Los indicadores utilizados para evaluar el impacto
del programa puede variar en función de si el objetivo del programa es mejorar la asistencia escolar o
mejorar la calidad educativa (Rodríguez, Sánchez, y Armenta, 2010). Independientemente del indicador
utilizado, es importante recoger información desagregada por género, debido a que a menudo existen
diferencias de escolaridad y rendimiento entre las niñas y los niños (Grant & Behrman, 2010).
© 2012 Green Mountain Coffee Roasters, Inc.
50
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
5.8.1 Indicador requerido: Porcentaje de niños en edad escolar (elegibles) que asisten a la
escuela
Para efectos de informar a GMCR, "los niños elegibles" se define como todos los niños menores
de 18 años que viven en hogares que participan directamente en el proyecto. Como existen diferencias
a menudo entre las niñas y los niños en la matrícula escolar (Grant & Behrman, 2010), y la matrícula
tiende a disminuir con la edad, los datos de asistencia a la escuela deben ser estratificados por sexo, por
edad y nivel escolar, como se muestra en la Tabla 5.9. Proporcionar la estructura de los grados para la
escuela primaria, media y secundaria en el país del proyecto.
El porcentaje de niños que asisten a la escuela es sólo un indicador significativo en comparación
con los datos de la línea de base, porque en la medida que el proyecto gana más participantes (por
ejemplo, en el caso de los proyectos de beca), el porcentaje de niños elegibles que asisten a la escuela
probablemente se mantendrá constante, ya que estos nuevos niños elegibles serán beneficiarios de las
becas.
Tabla 5.9. Categorías para informar sobre la asistencia escolar
Porcentaje de niños elegibles
asistiendo a la escuela
Escuela primaria
Escuela media
Escuela Secundaria
grado escolar (modificar para
el país)
K-5 grado
6-9 grado
10-12 grado
Niñas
92%
55%
44%
Niños
95%
68%
37%
Niñas: Línea de base
85%
33%
34%
Niños: Línea de base
90%
60%
33%
5.8.2
Indicador Opcional: Grado escolar alcanzado
El grado escolar alcanzado se refiere a si los alumnos están en el nivel de grado apropiado para
su edad. Esta información puede ser recogida a través de encuestas de hogares de los participantes,
preguntando a los padres la lista de todos sus hijos y su edad y nivel de grado en la escuela. Asegúrese
de preguntar si cada niño está asistiendo a la escuela ahora, ya que algunos padres pueden informar el
último grado que su hijo completó sin mencionar que el niño ya no está en la escuela.
Informe el grado escolar alcanzado por nivel escolar y sexo, como se presenta en la Tabla 5.9.
Presente dos cifras: el porcentaje de niños que están en el grado apropiado para su edad (según se
define en el sistema educativo en el país) y el porcentaje de niños que han progresado en el nivel de
grado desde el año anterior.
© 2012 Green Mountain Coffee Roasters, Inc.
51
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
5.8.3
Indicador Opcional: Porcentaje de mujeres en la escuela con edad reproductiva
En algunos contextos, las niñas tienen más probabilidades que los niños de abandonar la escuela
después del inicio de la adolescencia (Biddlecom, Gregory, Lloyd, y Mensch, 2008). Esto puede ser
debido a una variedad de factores, incluyendo el aumento de las responsabilidades domésticas, el
matrimonio precoz, el embarazo precoz, o acoso por parte de maestros o compañeros de clase. El
porcentaje de niñas en edad reproductiva (entre las edades de 10 y 18) en la escuela es un indicador de
la eficacia de los proyectos en ayudar a las niñas a superar las barreras para completar su educación.
5.9
Objetivo del proyecto: Mejorar la calidad educacional
Los proyectos destinados a mejorar la calidad educativa en general, se centran en fortalecer las
capacidades de los profesores. Si su proyecto tiene como objetivo mejorar la calidad educativa a través
de la capacitación docente, utilizar los indicadores 3.1.2 como indicador requerido. Debido a que es
difícil medir los cambios en el aprendizaje del estudiante como resultado de las actividades de
capacitación de los docentes, particularmente en las escuelas que no administran pruebas
estandarizadas, otros indicadores para este objetivo son opcionales.
5.9.1
Indicador opcional: Desempeño en las pruebas de fin de año
Los programas destinados a mejorar la calidad de la educación en las escuelas pueden usar las
puntuaciones en las pruebas estandarizadas para evaluar la mejora en el aprendizaje en algunas
escuelas o algunos grupos de estudiantes (Rodríguez et al., 2010). No todos los países o jurisdicciones
locales de educación administran pruebas estandarizadas cada año, pero la mayoría tiene algún tipo de
criterio para avanzar al siguiente grado. Los puntajes promedio en las pruebas estandarizadas (o, en su
defecto, el avance de grado) entre los participantes del proyecto deben ser monitoreados de año a año
para medir las mejoras en el rendimiento escolar. En ausencia de una línea de base, los resultados entre
los participantes del proyecto también se pueden comparar con los promedios de la escuela o
promedios regionales (si estos datos están disponibles) para medir el impacto del proyecto sobre el
rendimiento escolar.
5.9.2
Indicator Opcional: Tasa de alfabetización
La medición de la tasa de alfabetización es particularmente aplicable a los programas de
educación de adultos, y también se puede utilizar para evaluar la calidad de la educación primaria y
secundaria. La Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura define la
alfabetización como "la capacidad de leer y escribir, comprendiendo, una oración breve y sencilla sobre
la vida cotidiana" (Terryn). El Centro Nacional para Estadísticas de Educación define la alfabetización
como "uso de información impresa y escrita para funcionar en sociedad, para alcanzar las metas, y para
desarrollar el conocimiento y el potencial personal" (Kirsch, 2001).
Métodos de evaluación de la alfabetización se pueden clasificar entre evaluaciones hechas en la
escuela y hechas en el hogar. Las evaluaciones hechas en la escuela se basan en las pruebas en el aula
© 2012 Green Mountain Coffee Roasters, Inc.
52
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
de la capacidad de los estudiantes de leer y escribir al nivel del grado. Dependiendo de la disponibilidad
de los resultados de estas pruebas y la fiabilidad de los funcionarios de la escuela al presentar los
resultados, ésta es la forma menos costosa de obtener datos sobre la alfabetización, ya que no requiere
de personal del programa para llevar a cabo la evaluación directa de la alfabetización. Tales métodos de
evaluación son los más apropiados para los programas que funcionan a través o con las escuelas. Los
informes a GMCR deben incluir, como mínimo, el porcentaje de niños que están leyendo y escribiendo a
nivel de su grado.
Las evaluacioes en los hogares requieren la evaluación de la alfabetización por parte del
personal del programa (a menudo en el hogar de los participantes en el programa), y por lo tanto
insume más tiempo y es costoso, pero puede ser la única manera de medir el éxito de los programas de
alfabetización que no están basados en la escuela. La mayoría de las encuestas de hogares utilizadas en
los países en desarrollo obtienen información sobre la alfabetización de una persona pidiendo a la
persona (u otra persona en el hogar) que de su opinión sobre si esa persona está alfabetizada.
Recientemente, la evaluación de la alfabetización se ha alejado de este método, que se cree que es
bastante inexacto, a la evaluación directa de las habilidades cognitivas asociadas con la lectura y la
escritura (Schaffner, 2005). El método más simple de evaluar la habilidad de "decodificación" - que
forman la base para la lectura- es que los encuestados lean en voz alta una frase escrita en una tarjeta .
Esta frase debe ser algo comprensible y universal a través de los contextos culturales, tales como "Los
padres aman a sus hijos." Se debe tener cuidado en el desarrollo, la pre-prueba, y la traducción de la
frase a utilizar (Schaffner, 2005). Si bien este método no captura el espectro de niveles de alfabetización,
es el indicador más comparable a través de contextos; por ese motivo incentivamos su uso, como
estimación mínima, en la evaluación de los proyectos financiados por GMCR y en los que la evaluación
en la escuela no es posible. Mayores mediciones de alfabetización también son posibles; una variedad
de ejemplos de estudios están disponibles en Schaffner (2005) para evaluar la lectura, escritura y
habilidades numéricas (que recientemente han comenzado a incluirse en las pruebas de alfabetización).
5.10 Objetivo del proyecto: Mejorar el acceso a los servicios de salud
Los proyectos de salud en las comunidades cafetaleras difieren en sus objetivos. Algunos se
pueden orientar a la salud materno-infantil, otros pueden lidiar con problemas de salud ambiental, tales
como agua potable y saneamiento, mientras que otros pueden prevenir y tratar enfermedades
específicas, tales como la malaria, el SIDA o el cáncer. Los métodos para lograr esos objetivos también
difieren, y algunos programas se centran en la educación y los comportamientos preventivos, mientras
que otros detectan y tratan la enfermedad. Por lo tanto, los indicadores para evaluar los impactos de los
proyectos de salud difieren de acuerdo a los objetivos y métodos del proyecto. Elegir cualquiera de los
dos siguientes indicadores que más se acerque a los objetivos del proyecto. Para las actividades de
promoción de la salud, el indicador 3.1.2 también se puede utilizar.
5.10.1 Indicador Opcional: Tratamiento y resolución (afecciones agudas)
© 2012 Green Mountain Coffee Roasters, Inc.
53
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Los proyectos de salud que ofrecen tratamiento para las enfermedades agudas deben medir el
éxito de sus esfuerzos por el número de pacientes atendidos que en última instancia se mejoraron. Esta
información debe ser reportada como el número de pacientes que buscan tratamiento para las
enfermedades agudas, el número de pacientes que recibieron tratamiento, y el número de pacientes
cuya enfermedad se ha resuelto. También se debe informar el número de pacientes cuya enfermedad
no se resolvió debido a que el paciente no regresó para el seguimiento del tratamiento y el número de
pacientes cuya enfermedad no se ha resuelto debido a la dificultad de tratar la enfermedad. La atención
a pacientes con enfermedades crónicas, o de difícil tratamiento deben ser evaluadas de acuerdo al
indicador 5.10.2.
5.10.2 Indicador Opcional: Detección, tratamiento y pérdida de seguimiento (enfermedades
crónicas)
El trabajo de prevención de la salud tiene varios componentes. Se analiza la población para
detectar un problema de salud en particular. Luego, el programa tiene como objetivo proporcionar
tratamiento para las personas en situación de riesgo en ese rubro de salud. El éxito del proyecto se mide
por el número de personas que reciben tratamiento. Para este indicador, informar el número de
personas que han recibido detección (que se consideran beneficiarios directos), el número de los que
fueron identificados como necesitados de tratamiento, el número de personas identificadas que
realmente recibieron el tratamiento, y el número de personas que se perdieron durante el seguimiento
del tratamiento. Esto puede ser reportado por rubro de salud si el proyecto funciona con más de un
rubro de salud (Tabla 5.10). Para cada rubro de salud, asegúrese de describir (en forma de narración)
que actividades de análisis y de tratamiento se llevaron a cabo.
Tabla 5.10 Ejemplo de tabla para informar sobre la detección, el tratamiento y la pérdida del
seguimiento
Rubro de salud
Cáncer Cervical
Exámen de Vista
Exámen realizado
1000
1000
Necesitado/a de tratamiento
150
100
Tratamiento recibido
140
90
Pérdida del seguimiento
10
10
5.10.3 Indicador Opcional: Retención de los proveedores de salud
La capacitación de los proveedores de salud de la comunidad, ya sea en forma de instrucción
avanzada en técnicas específicas para los médicos ya existentes o la formación básica de salud
comunitaria para los trabajadores voluntarios, es una parte importante del fortalecimiento de los
sistemas de salud deficientes (Rahman et al., 2010). Sin embargo, a veces es difícil mantener a los
© 2012 Green Mountain Coffee Roasters, Inc.
54
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
trabajadores de la salud en los programas de salud de la comunidad. El primer nivel de evaluación del
impacto del proyecto es la retención de estos trabajadores. Para este indicador, informar el número de
trabajadores de la salud que han recibido capacitación del proyecto y el número que están actualmente
proveyendo servicios de salud a la comunidad. Esta informacios deberá ser estratificada según el rol del
trabajador de la salud en el proyecto o la capacitación que recibió, como en la tabla 5.11.
Table 5.11 Ejemplo de la tabla de retención de trabajadores de la salud para el informe
Enfermera
Médico
Promotor
de clínica
visitante
de salud
No. personas que han recibido capacitación
15
11
26
No. de personas que continua proveyendo servicios
de salud
14
9
19
Tipo de trabajador de la salud
5.10.4 Indicator Opcional: Efectividad de los indicadores de salud de los trabajadores
La eficiencia del personal de salud puede ser evaluada de varias maneras. Un método es a través
de la autoevaluación, mediante el cual los trabajadores de salud ofrecen sus propias opiniones de sus
habilidades, dedicación, apoyo y herramientas. Otros métodos incluyen la evaluación externa de la
competencia de los trabajadores de la salud en el desempeño de ciertas habilidades, y la evaluación de
si los trabajadores de la salud siguen utilizando las habilidades que han aprendido a través del proyecto.
Este indicador se compone de tres partes: la autopercepción, la competencia, y el uso de las técnicas.
Si usted elige utilizar la eficacia de los proveedores de la salud como un indicador, incluya dos de
estas tres partes.
Para los proyectos con un gran número de trabajadores de la salud (más de 25 trabajadores), no todos
los trabajadores de la salud deben ser evaluados. Use las pautas “tamaño de la muestra” en la sección
2.1.2.
Parte 1: La autopercepción
Un cuestionario, como el que se muestra en la Tabla 5.12, se puede utilizar para los proveedores
de salud de la comunidad para evaluar su propio sentido de conocimiento, capacidad y entusiasmo (Kim
et al., 2009). La Tabla 5.12 es sólo un ejemplo, y es específico para promotores de salud comunitaria, el
cuestionario debe ser modificado para su uso con los médicos y los profesionales de la salud, a los que
se les puede pedir que informen sobre su propia percepción de su competencia con una habilidad
particular (por ejemplo, detección de cáncer cervical o de dar vacunas). Una explicación más detallada
de los ítems del cuestionario de ejemplo se puede encontrar en Woodard (2004). Para el informe a
© 2012 Green Mountain Coffee Roasters, Inc.
55
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
GMCR, reporte la puntuación promedio de los trabajadores de salud en cada rubro del cuestionario que
se utiliza para evaluar la autopercepción.
Tabla 5.12. Ejemplo de cuestionario para la evaluación de la autopercepción para los proveedores de
salud (Woodard, 2004)
© 2012 Green Mountain Coffee Roasters, Inc.
De acuerdo
Totalmente de
acuerdo
Valoro la equidad, la justicia, la participación y el respeto a la diversidad.
Soy flexible, inovador y dispuesto a asumir riesgos calculados.
Aprendo de mis experiencias y de la de los otros.
Tengo seguridad de mis habilidades y soy confiable bajo los ojos de otros.
Creo y defiendo la promoción de la salud.
Recursos
Tengo tiempo suficiente para dedicarme a la práctica de promoción de la
salud.
Desacuerdo
Conocimientos
Tengo una comprensión holística de la salud y sus determinantes.
Entiendo los principios fundamentales de (la prevención del HIV, la
atención prenatal, la nutrición, etc.)
Estoy familiarizado con una gran cantidad de estrategias para la
promoción de la salud.
Entiendo los contextos en que las diferentes estrategias de promoción de
la salud son eficaces.
Estoy familiarizado con las condiciones y la cultura de las poblaciones
con las que trabajo.
Habilidades
Soy capaz de planificar, implementar y evaluar de forma efectiva, la
promoción de la salud.
Me comunico efectivamente con audiencias diversas, utilizando una
variedad de medios.
Trabajo bien con otros, en una amplia gama de roles y contextos.
Recojo y utilizo evidencia sistemáticamente para guiar mi consulta.
Soy capaz de capacitar a las comunidades y organizaciones con las que
trabajo.
Soy estratégico y selectivo en mi práctica.
Compromiso
Tengo energía, entusiasmo, paciencia y persistencia en mi trabajo.
Totalmente en
desacuerdo
(circular una)
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
1
1
2
2
3
3
4
4
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
1
2
3
4
56
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Tengo las herramientas para mi consulta así no estoy constantemente
“reinventando lo ya inventado”.
Tengo la infraestructura necesaria para la práctica de promoción de la
salud.
Tengo administradores de apoyo, colegas y asociados con quienes trabajo.
Puedo tener acceso a recursos financieros suficientes para mi práctica de
promoción de la salud.
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
Parte 2: Competencia
Medir la competencia puede ser de interés tanto para los promotores de salud y clínicas de
salud como para los trabajadores. El ejemplo descrito aquí es específico para la evaluación de las
habilidades de los trabajadores de la salud clínica, pero también podría ser adaptado para su uso con los
promotores de salud.
El primer paso en la evaluación de la competencia tiene por objeto establecer las habilidades
más importantes y las competencias en cada área de la atención que se ha de evaluar. Esta lista puede
abarcar todas las áreas en las que se espera que el trabajador de la salud proporcione atención, o sólo
las áreas en las que su organización ha brindado capacitación y espera ver una mejoría.
Tabla 5.13 Ejemplo de estándares de competencia
Área de atención
Skills
Enfermedad
Aplica correctamente los criterios de diagnóstico para enfermedades
Gastrointestinal
gastrointestinales
Pruebas para detectar la deshidratación
Puede administrar un tratamiento de rehidratación
Vacunas
El conocimiento de la edad apropiada, el lugar, las precauciones y las
contraindicaciones
Prepara y aplica vacunas correctamente
Cuidado de heridas
Práctica de técnicas asépticas
Control de fiebre o infección
Coloca correctamente o cambia los vendajes de las heridas
A continuación, se debe seleccionar un método de evaluación. Dos métodos comunes son: (1) una
muestra del trabajo, mediante el cual el evaluador observa al l trabajador de salud dar tratamiento de
un paciente real y evalúa el desempeño del trabajador de salud, y (2) una simulación del trabajo, en la
que el asesor evalúa el desempeño del trabajador de salud en el tratamiento de un cliente estándar (una
persona sana capacitada para simular un caso real de paciente) o la realización de tareas clínicas en una
serie de rotaciones (Kak et al. 2001). Ambos métodos tienen sus ventajas e inconvenientes. El método
de simulación de trabajo permite la estandarización de la evaluación y se puede realizar en cualquier
momento sin esperar a que un paciente presente una queja en particular. Esto puede ser importante
© 2012 Green Mountain Coffee Roasters, Inc.
57
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
para evaluar las habilidades que no se utilizan a menudo o sólo en situaciones de emergencia. Sin
embargo, el método de simulación de trabajo no imita con precisión las condiciones clínicas, y requiere
la formación de personas para actuar como pacientes estandarizados o la creación de situaciones en las
que se observa a los trabajadores de la salud utilizando sus habilidades. Otra desventaja es que requiere
que los trabajadores pierdan tiempo dejando de ver a los pacientes reales. El método de muestreo de
trabajo tiene la ventaja de permitir que el evaluador observe al trabajador de la salud en una situación
real del paciente y requiere inversión de tiempo en la preparación de la evaluación. También requiere la
espera de una situación clínica que se adapte a las pruebas de una habilidad en particular. Además, la
dificultad de los casos y de los pacientes es variable, y una sola observación puede no ser suficiente para
evaluar con precisión la competencia (Kak et al. 2001). La elección de los métodos más adecuados para
el área de atención que se está evaluando, deben ser culturalmente apropiados para la zona, y los más
factibles dados los recursos de su organización. Diferentes áreas de atención pueden ser evaluadas
utilizando diferentes métodos.
Por último, el instrumento de evaluación debe ser diseñado para permitir la conversión a un
valor numérico. La manera más clara y más objetiva de hacerlo es diseñar la evaluación como una lista
de conductas que el evaluador determina están al nivel o por debajo del estándar (Tabla 5.14. Éstas
deben estar estrechamente vinculadas a las normas de competencia que su organización ha establecido,
pero las habilidades de la lista deben ser más específicas para que en conjunto, describan el desempeño
de la atención en esa área en detalles suficientes para que dos supervisores diferentes, al observar el
mismo trabajador de salud llegen a la misma conclusión sobre el nivel de su competencia. El puntaje de
calificación es el porcentaje de habilidades realizadas correctamente (estandar).
Tabla 5.14. Ejemplo de lista esquemática de evaluación de la competencia
Área de servicio
Enfermedades
gastrointestinal
Habilidades
1. Le pregunta al paciente o tutores que
síntomas presenta
2. Toma la temperatura del paciente para
determinar si el paciente tiene fiebre
3. Toma los signos vitales del paciente
4. Busca Señales de deshidratación:
disminución de la frecuencia de orina,
orina cristalizada, sequedad de boca o la
lengua, los ojos hundidos, la piel no
vuelve a la normalidad cuando se
pellizca
5. Correctamente determina si la terapia
de rehidratación es necesaria
© 2012 Green Mountain Coffee Roasters, Inc.
En el
Por debajo
estandar
del estandar
(marcar una)
√
√
√
√
√
58
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
6. Prescribe antibióticos o medicamentos
para la infección o desparasitación si es
necesario
√
Puntaje
5 / 6
5
Administración de vacunas 1. Sabe el almacenamiento correcto y la
manipulación de vacunas
2. Prepara
vacunas
correctamente
(incluyendo la reconstitución)
3. Corrobora
nuevamente:
Paciente
correcto, droga correcta, dosis correcta
4. Muestra los lugares de inyección
apropiada para la edad y la posición del
cliente adecuado para la inmunización
5. Elige el tamaño correcto de aguja y
jeringa de acuerdo a la edad y el tamaño
del paciente
6. Prepara el lugar de la inyección
correctamente
7. Utiliza la técnica adecuada para la
inmunización
8. Descarta la aguja correctamente
1
√
√
√
√
√
√
√
9. Documenta
las
correctamente
Puntaje
6 / 9
inmunizaciones
6
√
√
3
La Evaluación de la competencia puede ser realizada por colegas de los trabajadores de salud,
supervisores, capacitadores, u observadores externos (por ejemplo, trabajadores de EEUU). En general,
el evaluador debe tener cierta especialidad en el área de atención a ser evaluada y debe tener muchas
oportunidades de observar el trabajador de la salud. La ventaja de usar los compañeros o supervisores
es que tienen más oportunidades de observar el rendimiento, pero también puede tener algún riesgo si
tienen una relación personal con el individuo que está siendo evaluado. Al igual que con la elección de
un método de evaluación, elegir el tipo de asesor más adecuado para la situación y los recursos de su
organización.
Para informar a GMCR, incluir una descripción del método de evaluación utilizado, una tabla de
criterios de competencia, y la puntuación media de los trabajadores de salud por área de atención.
Parte 3: Uso de las habilidades
Una tercera medida de la efectividad de la salud de los trabajadores, y un buen complemento
para la autoevaluación y la evaluación de la competencia, es la frecuencia con que un trabajador de la
salud continúa utilizando las habilidades que él o ella aprendió a través de la capacitación recibida por
© 2012 Green Mountain Coffee Roasters, Inc.
59
Guía de evaluación y monitoreo de 5 Indicadores cuantitativos de impacto
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
su organización. Esto puede ser evaluado a través de uninforme del mismo trabajador de salud o con la
observación de los trabajadores de la salud por parte de los supervisores. Identificar la lista de las
habilidades o actividades que promueve su programa de entrenamiento (por ejemplo, exámenes de la
vista o el cáncer cervical) y el informe del número de actividades realizadas por los trabajadores de salud
por mes.
© 2012 Green Mountain Coffee Roasters, Inc.
60
Guía de evaluación y monitoreo de 6 Pauta para la presentación de informes
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
6. Pauta Para la Presentación de Informes
© 2012 Green Mountain Coffee Roasters, Inc.
61
Guía de evaluación y monitoreo de 6 Pauta para la presentación de informes
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Las organizaciones sin fines de lucro deben presentar dos informes a Green Mountain Coffee
Roasters cada año: a mediados de año un informe de "monitoreo" y uno de "evaluación"a fin de año. El
informe de monitoreo a mediados de año debe ser relativamente breve (aproximadamente cinco
páginas) y debe contener un resumen de los objetivos del proyecto, las actividades más destacadas que
se completaron durante los primeros seis meses del año, y las cifras numéricas para cada uno de los
indicadores de resultados cuantitativos.
A fin de año los informes deben ser más amplios e incluir las secciones descritas debajo.
Comenzando en el 2012 los informes deberán ser sometidos en línea (en internet) en la página web de
GMCR
I.
Resumen Ejecutivo
Por favor incluir un resumen ejecutivo de una página con los objetivos del proyecto y las
principales actividades y resultados durante el año.
II.
Introducción
Proporcionar un resumen del proyecto contemplado por GMCR, incluyendo la cantidad,
duración, objetivos y ámbito geográfico. Sea muy claro en la descripción de los objetivos del proyecto,
los objetivos deben describir los impactos que su organización espera que el proyecto tenga, no sólo las
actividades que van a llevar a cabo.
III.
Antecedentes y contexto
¿Cuál es el contexto socio-político y cultural en el que opera el proyecto? ¿Qué factores
contextuales afectan el proyecto? ¿Cómo es afectado el proyecto por las condiciones económicas o de
seguridad en el país?
IV.
Métodos
Describir los métodos que se hayan utilizado para recoger la información para el monitoreo y la
evaluación ¿Cuántas personas fueron entrevistadas? ¿Cuántos grupos focales se llevaron a cabo? Quién
condujo las actividades de monitoreo y evaluación?
V.
Actividades y resultados
Resumir, en forma narrativa, las actividades que el proyecto ha llevado a cabo en el último año.
También incluir los resultados de los indicadores de resultados que figuran en la sección 3.1. Esto debe
ser presentado en forma de tabla (Ejempo: Tabla 3.2), con el texto que la acompaña describir cómo
define su proyecto a los beneficiarios directos e indirectos y qué elementos se incluyeron en los
indicadores de la inversión directa.
Si su proyecto no cumplió con sus objetivos esperados para el año, describir los desafíos que le
impidieron cumplir con los objetivos. También describir las actividades o productos que no fueron
capturados por los indicadores necesarios.
© 2012 Green Mountain Coffee Roasters, Inc.
62
Guía de evaluación y monitoreo de 6 Pauta para la presentación de informes
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
VI.
Impactos y resultados
Explicar los indicadores de impacto que se utilizaron para evaluar cada uno de los objetivos del
proyecto. Presentar el estado actual de estos indicadores, el cambio del año pasado, y el cambio de
línea de base en una o más tablas. También explicar cómo midió el proyecto estos indicadores. Por
ejemplo, si se utiliza la eficacia de los trabajadores de la salud como un indicador, sería conveniente
incluir el cuestionario de autoevaluación y los criterios de competencia que se utilizaron para medir la
eficacia. Al igual que con los indicadores de resultados, incluir una descripción de los desafíos que le
impidieron cumplir con sus objetivos o de mejorar desde el año anterior, así como los impactos del
proyecto que no se reflejen en los indicadores.
VII.
El cambio más significativo en el último año
Por favor, incluya las tres historias Cambio más Significativo respecto al año pasado. ¿Por qué han
sido estas historias seleccionadas? Utilice el formato que se muestra en el apéndice 1. También describir
brevemente el proceso que se utilizó para seleccionar las historias.
Además de las historias de cambio más significativo, por favor incluya otros logros del proyecto
que no hayan sido capturados por los indicadores cuantitativos. Por ejemplo, ¿la actuación de su
proyecto llevó a un suministro de medicamentos más confiable en las clínicas locales, o más asistencia
de extensión agrícola en la zona del programa?
VIII.
Lecciones aprendidas y futuros caminos
Describir lo que se aprendió de la evaluación. ¿Cómo los resultados de la evaluación cualitativa
refuerzan o contradicen los resultados cuantitativos? ¿De qué manera los resultados de esta evaluación
afectan a las futuras actividades previstas por la organización? En general, ¿el proyecto alcanzó sus
objetivos? ¿Qué fue efectivo? ¿Qué cambios hay que hacer?
IX.
Informe financiero
Incluir el presupuesto que usted proporcionó en su propuesta original y proporcionar detalles
sobre sus gastos hasta la fecha con una descripción del presupuesto. En algunos casos, este informe
financiero va a tener más rubros (o más detallados) de lo que estaba disponible en la propuesta original,
pero no debe tener menos detalleque la presupuesta original. Proporcionar una breve explicación de
cualquier diferencia en los gastos si están bajo o por arriba del 15% del original.
X.
Fotos
GMCR acepta con satisfacción la inclusión de fotos en su informe de M & E. Por favor, tener en
cuenta que el contrato del proyecto con GMCR nos da su permiso para usar fotografías, logotipos,
información publicada e impresa, y cualquier otro material que nos entregue, sin previo aviso, en
comunicados de prensa y / o publicaciones. Por favor, no incluir fotos que no sean de propiedad de su
organización o que no se quiera que GMCR utilice en los comunicados de prensa y / o publicaciones.
© 2012 Green Mountain Coffee Roasters, Inc.
63
Guía de evaluación y monitoreo de 7 Referencias y lecturas adicionales
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
7. Referencias y Lectura Adicional
© 2012 Green Mountain Coffee Roasters, Inc.
64
Guía de evaluación y monitoreo de 7 Referencias y lecturas adicionales
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Arimond, M., & Ruel, M. T. (2004). Dietary diversity is associated with child nutritional status: Evidence
from 11 demographic and health surveys. Journal of Nutrition, 134 (10), 2579-2585.
Baker, J. L. (2000). Evaluating the impact of development projects on poverty: A handbook for
practitioners. Washington D.C.: The World Bank. Available from
http://siteresources.worldbank.org/INTISPMA/Resources/handbook.pdf.
Biddlecom, A., Gregory, R., Lloyd, C. B., & Mensch, B. S. (2008). Associations Between Premarital Sex and
Leaving School in Four Sub-Saharan African Countries. Studies in Family Planning, 39 (4), 337-350.
Bilinsky, P., & Swindale, A. (2007). Months of adequate household food provisioning (MAHFP) for
measurement of household food access: Indicator guide. Washington D.C.: Food and Nutrition
Technical Assistance Project, Academy for Educational Development. Available from
www.fantaproject.org/downloads/pdfs/MAHFP_Jun07.pdf.
Bunch, R. (2000). Two ears of corn: A guide to people-centered agricultural improvement (5th ed.).
Oklahoma City, OK: World Neighbors.
Butler, L. M., Dephelps, C., & Howell, R. E. (1995). Focus groups: A tool for understanding community
perceptions and experiences. Pullman, Washington: Washington State University.
Case, A., & Deaton, A. (1999). School Inputs and Educational Outcomes in South Africa. The Quarterly
Journal of Economics, 114 (3), 1047-1084.
Coates, J., Frongillo, E. A., Rogers, B. L., Webb, P., Wilde, P. E., & Houser, R. (2006). Commonalities in the
experience of household food insecurity across cultures: What are measures missing? Journal of
Nutrition, 136(5), 1438-1448.
Cogill, B. (2003). Anthropometric measurement indicators guide. Washington D.C.: Food and Nutrition
Technical Assistance Project, Academy for Educational Development. Available from
www.fantaproject.org/publications/anthropom.shtml.
Drescher, L.S., Thiele, S., Mensink, G.B.M., 2007. A new index to measure healthy food diversity better
reflects a healthy diet than traditional measures. Journal of Nutrition, 137, 647-651.
Davies, R. and Dart, J. (2005). The ‘Most Significant Change’ (MSC)Technique: A guide to its use.
Available from www.mande.co.uk/docs/MSCGuide.pdf.
Dunn, E. (1999). Microfinance clients in Lima, Peru: Baseline report for AIMS core impact assessment.
Washington, D.C.: Management Systems International. Available from
pdf.usaid.gov/pdf_docs/Pnacg045.pdf.
Dytham, C. (2003). Choosing and using statistics: A biologist's guide. Malden, MA: Blackwell Publishing.
Estrella, M. and Gaventa, J. (1998). Who counts reality? Participatory monitoring and evaluation: A
literature review, Working Paper 70. Brighton, UK: Institute of Development Studies.
© 2012 Green Mountain Coffee Roasters, Inc.
65
Guía de evaluación y monitoreo de 7 Referencias y lecturas adicionales
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Flick, U. (Ed.). (2007). Doing Interviews. Thousand Oaks, CA: Sage Publications.
Floyd J. Fowler, J. (1995). Improving Survey Questions. Thousand Oaks, CA: Sage Publications.
Fretheim, A., Oxman, A. D., Lavis, J. N., & Lewin, S. (2009). SUPPORT Tools for evidence-informed
policymaking in health 18: Planning monitoring and evaluation of policies. Health Research Policy
and Systems, 7 (1).
Green Mountain Coffee Roasters (2008). Brewing a better world voices: Green Mountain Coffee
Roasters, Inc. corporate social responsibility report. Waterbury, VT.
Gotelli, N. J., & Ellison, A. M. (2004). A primer of ecological statistics. Sunderland, MA: Sinaur Associates.
Grant, M. J., & Behrman, J. R. (2010). Gender gaps in educational attainment in less developed
countries. Population and Development Review, 36 (1), 71-89.
Greaney, V. & Kellaghan, T. (1996). Monitoring the learning outcomes of education systems. Directions in
development. Washington, D.C.: The World Bank.
Hyman, E. L., & Dearden, K. (1998). Comprehensive impact assessment systems for NGO
microenterprise development programs. World Development, 26 (2), 261-276.
Kim, J. M., Koh, K. W., Oak, C. H., Jung, W. H., Kim, S. H., & Park, D. H. (2009). Assessment of village
health worker training program in Tuguegarao, Philippine. Journal of Preventative Medicine and
Public Health, 42 (6), 377-385.
Kirsch, I. (2001). The International Adult Literacy Survey (IALS): Understand what was measured.
Princeton, NJ: Education Testing Service, Statistics and Research Division. Available from:
http://devdata.worldbank.org/phrd/imp_data/04_FRAMEWORK_ALL_Prose%20and%20Document
%20Framework.pdf.
Krueger, R. A. (1994). Focus groups: A practical guide for applied research (2nd ed.). Thousand Oaks, CA:
Sage Publications, Inc.
Leech, B. L. (2002). Asking questions: Techniques for semistructured interviews. Political Science &
Politics, 35 (4), 665-668.
Mathie, A., & Foster, M. Participatory monitoring and evaluation: A manual for village organizers.
Antigonish, Canada: Coady International Institute, St. Francis Xavier University. Available from
www.coady.stfx.ca/tinroom/assets/file/resources/abcd/SEWA%20PME%20Manual.pdf.
Maxwell, D., Watkins, B., Wheeler, R., & Collins, G. (2003). The coping strategies index: A tool for rapidly
measuring food security and the impact of food aid programs in emergencies. Paper presented at
the FAO international workshop on "Food security in complex emergencies: building policy
frameworks to address longer-term programming challenges". Tivoli, Italy: Food and Agriculture
© 2012 Green Mountain Coffee Roasters, Inc.
66
Guía de evaluación y monitoreo de 7 Referencias y lecturas adicionales
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Organization of the United Nations. Available from
home.wfp.org/stellent/groups/public/documents/manual_guide_proced/wfp211058.pdf.
Maxwell, D., Caldwell, R., & Langworthy, M. (2008). Measuring food insecurity: Can an indicator based
on localized coping behaviors be used to compare across contexts? Food Policy, 33 (6), 533-540.
Oxfam. Oxfam GB Evaluation Guidelines. Available from
www.oxfam.org.uk/resources/evaluations/index.html
Rabiee, F. (2004). Focus-group interview and data analysis. Proceedings of the Nutrition Society, 63 (04),
655-660.
Rahman, S. M., Ali, N. A., Jennings, L., Seraji, M. H. R., Mannan, I., Shah, R., et al. (2010). Factors affecting
recruitment and retention of community health workers in a newborn care intervention in
Bangladesh. Human Resources for Health, 8 (12).
Rodríguez, C., Sánchez, F., & Armenta, A. (2010). Do interventions at school level improve educational
outcomes? Evidence from a rural program in Colombia. World Development, 38 (3), 415-428.
Schaffner, J. (2005). Measuring literacy in developing country household surveys: issues and evidence:
Paper commissioned for the Education for All Global Monitoring Report 2006, Literacy for Life of
the United Nations Educational, Scientific, and Cultural Organization. Available from
http://unesdoc.unesco.org/images/0014/001462/146285e.pdf.
Shah, M. K., Kambou, S. D., Goparaju, L., Adams, M. K., & Matarazzo, J. M. (2004). Participatory
monitoring and evaluation of community- and faith-based programs: A step-by-step guide for
people who want to make HIV and AIDS services and activities more effective in their community.
Washington, D.C.: CORE Initiative, USAID. Available from
www.coreinitiative.org/Resources/Publications/PME_2nd/index.php.
Stewart, D. W., Shamdasani, P. N., & Hook, D. W. (2007). Focus Groups: Theory and Practice. Thousand
Oaks, CA: Sage Publications.
Svedburg, P. (2000). Poverty and undernutrition: Theory, measurement, and policy. New York: Oxford
Press.
Swindale, A., & Bilinsky, P. (2006). Household dietary diversity score for measurement of household food
access: Indicator guide (v. 2). Washington D.C.: Food and Nutrition Technical Assistance Project,
Academy for Educational Development. Available from
www.fantaproject.org/publications/hdds_mahfp.shtml.
Terryn, B. Measuring Literacy in Developing Countries from an International Perspective. Montreal:
UNESCO Institute for Statistics. Available from
http://www.stat.auckland.ac.nz/~iase/publications/3/TerrynI68.pdf.
© 2012 Green Mountain Coffee Roasters, Inc.
67
Guía de evaluación y monitoreo de 7 Referencias y lecturas adicionales
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Woodard, G. B. (2004). Health promotion capacity checklists: A workbook for individual, organizational,
and environmental assessment. Saskatoon, Canada: Prairie Region Health Promotion Research
Center, University of Saskatchewan. Available from
www.prhprc.usask.ca/publications/finalworkbook.pdf.
World Health Organization (2006). The WHO child growth standards. Available from
www.who.int/childgrowth/standards/en/.
© 2012 Green Mountain Coffee Roasters, Inc.
68
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Apéndices
Apéndice 1: Ejemplo del formato para la
recolección de las historias del Cambio Más
Significativo
aquí se encuentra un ejemplo de una historia del Cambio Más Significativo de una organización llamada
Osi Tanata. Adaptado de Davies & Dart (2005).
Appendix 2:
Osi Tanata formulario de recoleccion de Historias Del Cambio más
Significativo
Historia de Cambio Significativo
Detalles de contactos
Usted, el relator de la historia:
• quiere tener su nombre en la historia (marcar una) Si No 
• nos da consentimiento para uso de su historia en publicaciones? (marcar una) Si No 
Nombre de la persona registrando la historia:
Wilson Kabui
Nombre del relator de la historia*
Sebastin Kakau
*Dejar en blanco si el narrador de la historia desea permanecer anónimo
Proyecto: Proyecto Orgánico – ciclo 3
Localización: Piva, Papua New Guinea
Fecha del registro: 23th of March, 2010
¿Cuándo sucedió? En el último año
Título de la historia? “Creciendo grande”
Digame cómo (el narrador) se involucró con Osi Tanata, y cuál es su participación
actual:
Yo solía ser miembro de un proyecto comunitario pero me aparté de él previendo los conflictos
que pudieran surgir con el mismo.
Sin embargo, al enterarme de que Osi Tanata estaba dando cursos básicos, asistí a uno de los
entrenamientos de gestión de proyectos y contabilidad y TOT de Osi Tanata.
© 2012 Green Mountain Coffee Roasters, Inc.
69
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Apéndices
Desde su punto de vista, describa el cambio más significativo que ha resultado de su
participación con Osi Tanata (formación / apoyo o financiación).
Después del entrenamiento me volví a mi pueblo y movilicé a los miembros de mi familia para
aventurarse en la horticultura orgánica. Decidí crear mi propio proyecto familiar dedicado a la
horticultura orgánica. A pesar de no haber fondos de ningún organismo me aventuré en la
creación de este pequeño proyecto únicamente con el conocimiento que tengo de Osi Tanata.
Hemos creado nuestra propia huerta orgánica donde cultivamos, pimientos verdes, tomates,
aibika, chiles y otras cosas. Actualmente estoy muy agradecido por lo que aprendí de Osi Tanata,
y estoy usándolo. Hoy mi proyecto va por buen camino. Hemos vendido muchos de los
productos de mi granja orgánica. Por ejemplo, por una cama de repollos, estoy recibiendo
alrededor de K100. He gastado el dinero para comprar ropa y muchas otras necesidades básicas.
Además de la generación de ingresos las familias y los pueblos de los alrededores tienen
suficiente excedente para alimentar a su familia y otros. También parte del dinero se utiliza para
iniciar otros proyectos, como una tienda de comercio.
¿Por qué esto es significativo para usted?
Es importante para mí, porque antes no tenía conocimiento para ejecutar un proyecto. Hoy
tengo un buen proyecto en marcha cuyo ingreso se está utilizando para mantener el sustento de
mi familia.
© 2012 Green Mountain Coffee Roasters, Inc.
70
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Apéndices
Apéndice 2: Ejemplo de guía de facilitación para
la selección de la historia MSC
Adaptado de Davies & Dart (2005).
El facilitador escribe todos los títulos de las historias en una pizarra, dejando un espacio al lado de cada
historia para sus comentarios.
Titulo
Comentarios
Mi vida esta cada vez
mejor
Fuerte, escrito por un participante del proyecto, pero la historia esta incompleta.
Sensación de poder
(empoderamiento)
Una historia conmovedora, con comienzo medio y fin. Reconocimiento al proyecto
es cuestionable. Gran historia, no estoy seguro si es sobre el proyecto.
Mejores decisiones
para la familia
Historia buena y sólida. Escuchada muchas veces antes. Pequeños cambios pero
cruciales. No estoy seguro acerca de las fechas mencionadas.
Ahora entiendo
No hay información suficiente para comprender realmente lo que está pasando.
1. El facilitador invita a las personas del grupo de selección a leer todas las historias en voz alta.
Después de cada historia, el facilitador pregunta:
• ¿Sobre qué es esta historia?
• ¿Cuál es nuestra opinión sobre la historia?
2. El facilitador escribe algún comentario al lado del título en el pizarrón blanco, como en el anterior.
3. Cuando todas las historias han sido leídas en voz alta, el facilitador pide a la gente que vote por la
historia que les resulte más significativa. La votación puede hacerse a mano alzada.
4. Cuando los votos han sido emitidos, si no hay un consenso, el facilitador estimula a los participantes
a discutir por qué eligieron la historia que eligieron. Preguntas como las siguientes:
• ¿Por qué eligió esta historia, entre todas las otras?
• Sin embargo, algunos de ustedes eligieron una historia diferente, podrían explicar por qué no
eligieron esta historia?
• ¿Qué piensa usted de las historias en general?
5. Al lado de cada historia, el facilitador toma notas de las razones por las que fueron o no fueron
seleccionadas.
6. Una vez que todos han oído por qué ciertas historias se votaron en lugar de otras, el facilitador
puede llamar a una segunda votación. Esta vez podría haber consenso. Sin embargo, las historias no
tienen que ser elegidas por consenso. La votación de la mayoría se puede utilizar, siempre y cuando
las razones por las cuales se elegieron las historias estén documentadas.
© 2012 Green Mountain Coffee Roasters, Inc.
71
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Apéndices
Apéndice 3: Ejemplo de informe de evaluación a
GMCR
Este es un simulacro de informe adaptado de informes reales presentados a GMCR en el último año, e
incluye algunos datos reales y algunos datos fictícios presentados con fines ilustrativos.
I.
II.
Resumen ejecutivo
Introducción
En 2010, “Healh Care NGO” recibió 100.000 dólares de beca por un año de GMCR para continuar
la promoción de la salud, la atención de la salud, y las actividades de alivio de la pobreza en Chiapas,
México. Los objetivos de este proyecto fueron, mejorar el acceso a los servicios de salud para las 20
comunidades en el sur de Chiapas, donde “Healh Care NGO” actua.
III.
Antecedentes y contexto
Los residentes del estado sureño mexicano de Chiapas, incluyendo a millones de indígenas
mayas, han luchado durante mucho tiempo con la pobreza, la violencia política, y pésimas condiciones
de salud. Chiapas tiene índices extremadamente altos de mortalidad materna, mortalidad infantil y
tuberculosis, en comparación con otros estados de México. Nuestro trabajo tiene como objetivo
proporcionar una alternativa más confiable, basada en la comunidad a través de la capacitación y
empleo de promotores locales de salud de la comunidad, llamados promotores....
“Health Care NGO” fue creada en 1985 por un pequeño grupo de promotores de salud en México. Al
principio se trabajó con las comunidades de refugiados guatemaltecos en la región fronteriza de
Chiapas, y más tarde amplió su trabajo a otras personas marginadas en Chiapas. “Health Care NGO”
considera que "una vida digna" es un derecho humano. Esto incluye un fuerte sistema de salud pública
que responda a las necesidades sanitarias más urgentes de la población, y el acceso a la atención médica
de calidad...
Desde 1989, “Partner NGO” ha colaborado con “Health Care NGO” para mejorar la
infraestructura médica en la región y para reclutar y entrenar a cientos de promotores. Durante las
últimas dos décadas; “Health Care NGO” se ha asociado con decenas de comunidades indígenas y
rurales en todo Chiapas para desarrollar la capacitación de la salud local. Un trabajo reciente se ha
centrado en una red de comunidades de la zona de Huitiupán en el altiplano y en la zona de Amatán.
“Health Care NGO” se dedica a ayudar a las comunidades a construir la autosuficiencia y cuenta con
muchos grupos exitosos de salud comunitaria en Chiapas entre sus "alumnos”...
Con el apoyo de Green Mountain Coffee Roasters, “Health Care NGO” es capaz de profundizar
una asociación de larga data con una red de promotores que viven en más de 20 comunidades
campesinas aisladas en las montañas de Sierra Madre de Chiapas. Debido a los peligrosos caminos y la
© 2012 Green Mountain Coffee Roasters, Inc.
72
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Apéndices
falta de infraestructura de comunicaciones, las familias locales, a menudo no pueden costearse el
transporte hasta las instalaciones del gobierno o privados de atención de la salud, y mucho menos el
costo de la consulta y los medicamentos. Con el apoyo médico, Promotores Comunitarios en Salud
proporcionan un acceso sin precedentes a casi ningún costo, al tratamiento, así como a la información
sobre la prevención en sus propias comunidades. También son capaces de proporcionar el seguimiento
fundamental de enfermedades como la diabetes, la epilepsia y la tuberculosis.
IV.
Métodos
Además de los indicadores de resultados, se evaluó el impacto de nuestras actividades a través
de indicadores 5.10.1, 5.10.2 y 5.10.4 de Guía de Evaluación y Monitoreo de GMCR para Proyectos
Financiados por la Cadena de Abastecimiento y Extensión. Las actividades de monitoreo y evaluación se
llevaron a cabo por los médicos y personal de capacitación de promotores de salud en las comunidades
de Amatán, Huituipan y Siltipec. El tratamiento y resolución de afecciones agudas (indicador 5.10.1) y la
detección, el tratamiento y la pérdida en el seguimiento de enfermedades crónicas (indicador 5.10.2)
fueron seguidos por los médicos como parte de sus actividades de mantenimiento de registros. La
eficacia de los trabajadores de la salud (indicador 5.10.4) fue evaluada por un capacitador de
promotores de salud en cada comunidad (un total de tres capacitadores). Como “Health Care NGO”
tiene una gran red de promotores de salud activos, estos tres capacitadores entrevistaron a una
muestra de 20-21 promotores de salud en cada comunidad en un total de 62 promotores. Las historias
de cambio más significativo se recogieron durante 6 de estas entrevistas y con 4 pacientes tratados por
profesionales de la salud o voluntarios de “Health Care NGO”. La selección de las tres historias más
significativas se llevó a cabo por un grupo de 6 médicos y capacitadores representando a las tres
comunidades.
V.
Actividades y resultados
1. Beneficiarios
“Health Care NGO” define a los beneficiarios o participantes directos de la ONG como individuos
que han participado en eventos de capacitación o recibieron atención de salud (en las clínicas o durante
las visitas de campo). En el último año, “Health Care NGO” capacitó a 76 promotores comunitarios de
salud, hubo 154 mujeres participando en los grupos de mujeres, y atendio a 212 pacientes por
problemas de salud, un total de 442 participantes directos.
2. Actividades de capacitación
“Health Care NGO” capacitó 76 promotores de salud en el último año: 16 en Amatán, 40 de
Huitiupán y 20 en Siltepec. Los entrenamientos de los promotores de salud son de 8 horas de talleres
que cubren el diagnóstico y tratamiento de enfermedades comunes y lesiones. “Health Care NGO”
también reunio a 26 grupos de mujeres en el área de Siltepec. Estos son pequeños grupos de mujeres
que se reúnen para discutir temas de salud y de la familia.
© 2012 Green Mountain Coffee Roasters, Inc.
73
Apéndices
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Tipo de curso de
capacitación
Número de
personas por curso
Duración (horas)
de cada curso
Número de cursos
7-20
8
7
8-10
1
26
Promotor de la salud
Reunion
mujeres
de
grupo
de
3.
Inversiones Directas
La mayoría de las inversiones directas de “Health Care NGO” son en forma de salud y de
provisiones médicas a los promotores de salud comunitarios. Estos se entregan en forma de kits de
medicina básicos. “Health Care NGO” también proporciona medicamentos para enfermedades crónicas,
sin cargo para los pacientes. En el último año, una ONG asociada, también ha comprado monitores de
azúcar en la sangre y manguitos de presión arterial para todos los promotores de Salud de “Health Care
NGO”.
Descripción
Número de unidades
Valor total
76
$5,400
42 recetas mensuales
$65,520
200
$12,600
200
$10,820
Kits medicos básicos
Medicación para asma, diabetis,
epilepsia, and hypertención
Monitores de azúcar en la sangre
Manguitos de presión arterial
VI.
Impactos cuantitativos
1.
Detección y resolución de situaciones agudas
Los médicos de “Health Care NGO”y los promotores de salud de la comunidad vieron 110
pacientes que buscaban tratamiento para problemas de salud agudos durante el año pasado. De estos
pacientes, los 108 recibieron tratamiento inicial. Dos no regresaron para el tratamiento. De los 108 que
recibieron tratamiento, 97 tubieron su enfermedad resuelta. Cinco pacientes no retornaron para el
seguimiento del tratamiento y “Health Care NGO” no pudo determinar si su enfermedad se resolvió. Seis
pacientes que buscaron tratamiento para la enfermedad aguda fueron diagnosticados con una
enfermedad crónica y por lo tanto, su enfermedad no fue resuelta de inmediato.
2. Detección, el tratamiento y la pérdida en el seguimiento
“Health Care NGO” lleva a cabo pruebas de detección para el asma, diabetes y la
hipertensión. Los pacientes también pueden ser diagnosticados con estas u otras enfermedades
crónicas cuando reciben la visita de un trabajador de salud por otras quejas de salud.
© 2012 Green Mountain Coffee Roasters, Inc.
74
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Problema de salud
Análisis o test recibido
Identificados como necesitados de
tratamiento
Tratamiento recibido
Pérdida del seguimiento
Apéndices
Asma
Hypertensión
Diabetes
Epilepsia
125
42
525
38
103
12
(no el test comun)
10
35
7
23
15
7
5
10
0
Conocimientos
Promedio
Sin
respuesta
Totalmente
de acuerdo
(4)
De acuerdo
(3)
Desacuerd
o (2)
Pregunta
Totalmente
en
desacuerdo
(1)
En general, el 64% de los pacientes identificados como necesitados de tratamiento por un problema
de salud crónico recibieron el tratamiento necesario. Esta es una mejora con respecto a 2009, donde el
57% de los pacientes identificados recibieron tratamiento. Un estudio de base llevado a cabo antes del
trabajo de que “Health Care NGO” en Chiapas indicó, que sólo el 5% de los pacientes con probabilidades
de problemas de salud crónicos recibian tratamiento, por lo tanto, el 64% representa una mejora
sustancial respecto al valor original.
3. Eficacia de los trabajadores de la salud
“Health Care NGO” utiliza las partes 1 y 3 del Indicador 5.10.4 para medir la eficacia de los
promotores de salud comunitaria. Parte 2 (evaluación de competencias) no era factible porque los
promotores de salud trabajan de manera independiente y no están generalmente bajo la supervisión de
los médicos.
El cuestionario que “Health Care NGO” utiliza para medir la autopercepción se muestra a
continuación. Capacitadores de la ONG encuestaron a 62 promotores de salud de la comunidad que
fueron seleccionados al azar del grupo de promotores de salud en las tres comunidades donde opera el
proyecto.
No.
%
No.
%
No.
%
No.
%
No.
%
1
Tengo una comprensión holística de la
salud y sus determinantes.
3
4
2
3
16
20
6
8
-
0
2.9
2
Entiendo los principios fundamentales de
la prevención y los tratamientos
2
3
6
8
12
16
6
8
1
1
2.8
2
3
7
9
14
19
4
5
-
0
2.7
2
2
2
2
9
11
12
15
2
2
3.2
3
4
Estoy familiarizado con una gran cantidad
de estrategias para la promoción de la
salud.
Estoy familiarizado con las condiciones y
la cultura de las poblaciones con las que
© 2012 Green Mountain Coffee Roasters, Inc.
75
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Apéndices
trabajo.
Habilidades
5
7
Soy capaz de planificar, implementar y
evaluar, la promoción de la salud.
Me comunico efectivamente con
audiencias diversas, utilizando una
variedad de medios.
Trabajo bien con otros, en una amplia
gama de roles y contextos.
2
3
7
9
12
16
6
8
-
0
2.8
3
4
2
3
13
19
6
9
3
4
2.9
4
5
7
9
6
8
10
13
0
2.8
8
Colecto y utilizo evidencia
sistematicamente para guiar mi consulta.
1
1
6
8
10
14
7
10
3
4
3.0
9
Soy capaz de capacitar a las comunidades
y organizaciones con las que trabajo.
2
3
8
13
10
17
3
5
4
7
2.6
1
0
Soy estratégico y selectivo en mi práctica.
1
1
3
3
13
13
13
13
2
2
3.3
0
4
5
13
16
9
11
1
1
3.2
0
2
2
9
10
14
16
2
2
3.5
0
10
10
17
17
0
3.6
Compromiso
1
1
1
2
Tengo energía, entusiasmo, paciencia y
persistencia en mi trabajo.
Valoro la equidad, la justicia, la
participación y el respeto a la diversidad.
1
3
Aprendo de mis experiencias y de la de
los otros.
0
1
4
Tengo seguridad de mis habilidades.
0
3
4
11
15
9
12
4
5
3.3
1
5
Creo y que mis pacientes y my comunidad
respetan mis habilidades y
conocimientos.
0
1
1
13
17
9
12
4
5
3.3
1
1
5
6
12
15
8
10
1
1
3.0
3
4
7
10
12
17
4
6
1
1
2.7
2
2
3
4
11
14
10
12
1
1
3.1
2
3
7
9
10
13
8
10
0
2.9
Recursos
1
6
1
7
1
8
1
9
Tengo tiempo suficiente para dedicarme a
la práctica de promoción de salud.
Tengo las herramientas e infraestructura
para la práctica de la promoción de la
salud
Tengo los administradores de apoyo,
colegas y asociados con quienes trabajo.
Puedo tener acceso a recursos financieros
suficientes para mi práctica de promoción
de la salud.
© 2012 Green Mountain Coffee Roasters, Inc.
76
Guía de evaluación y monitoreo de 6 Pauta para la presentación de informes
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
En promedio, los promotores de “Health Care NGO” estuvieron de acuerdo con la mayoría de las
afirmaciones de cuestionario como herramienta de autopercepción. El área en la que los promotores de
salud se sintieron más fuertes fué su capacidad de aprender de sus propias experiencias y las de los
demás, lo que indica que los promotores de salud pueden llegar a ser con el tiempo, más efectivos en su
trabajo. Los promotores de salud se sintieron más débiles al colaborar con la capacitación en sus
comunidades y en su acceso a las herramientas y la infraestructura para la práctica de promoción de
salud, lo que indica que estas son áreas en las que “Health Care NGO” debe enfocar sus esfuerzos a fin
de que los promotores de salud pueden trabajar con mayor eficacia.
El uso de habilidades (parte 3 de la efectividad de los indicadores de salud de los trabajadores)
se midió por “auto-informe” de los 62 promotores de salud entrevistados sobre su autopercepción.
“Health Care NGO” pregunto a los promotores de salud con qué frecuencia durante el año pasado
usaron las seis habilidades clave que se enseño en cursos de promoción de la salud (ver abajo).
Cualquier interacción con el paciente que implicaba el uso de la habilidad se consideró como una
incidencia de uso. En promedio, los promotores de salud reportaron 11 interacciones con pacientes en
total por año.
Habilidades
1
2
3
4
5
6
Cuidado y monitoreo pre-natal
Tratamiento de la diarrea infantil y uso
del tratamiento de hidratación
Promocion de la higiene (lavado de
manos, preparación de comida)
Asma diagnóstico y cuidado
Tuberculosis diagnóstico y cuidado
Hipertensión, diagnóstico y cuidado
Interacciones de uso con pacientes
en el año pasado
Minimo Máximo
promedio
2
7
9
1
5
3
7
0
0
0
16
6
8
3
9
4
2
1
“Health Care NGO” se mostró satisfecha con los resultados de esta evaluación. Los promotores
de salud están utilizando sus habilidades con la frecuencia suficiente para ser eficaces en sus
comunidades y para mejorar su nivel de atención.
VII.
Historias de cambio más significativo
Historia 1
Proyecto: Capacitación en Promoción de la Salud
Papel del narrador de la historia: participantes del grupo de mujeres y esposa de promotor de salud
© 2012 Green Mountain Coffee Roasters, Inc.
77
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Appendices
Ubicación: Matazano
Fecha de grabación: 13 de julio 2011
¿Cuándo sucedió? Durante el año pasado
Título de la historia: "Ahora digo lo que quiero decir"
¿Qué cambios ha tenido en su vida por estar casada con un promotor de salud?
Ha cambiado, la verdad es que no nos entendiamos. Ahora me deja salir y cuando regreso el no
me regaña, por el contrario, nos sentamos y hablamos sobre lo que pasó. Antes, yo no salia de la casa
por miedo, mi marido no me dejaba ir a las reuniones, y si lo hiciera estaría enojado. Ahora me apoya
para que no me pierda ninguna capacitación.
En las reuniones o capacitaciones escuchas un montón de cosas buenisimas. Les digo a otras
mujeres que nos reunimos para que podamos compartir con las demas. Cuando voy a las reuniones, al
volver les hablo de lo que hablamos, sobre la tomada de decision. Sería genial si los hombres y las
mujeres participacen.
Ahora que [mi esposo] lava los platos y su propia ropa, la gente dice que le doy órdenes y que no está
más a cargo.
¿La gente confía en ustedes dos?
Yo diría que algunas personas confían en nosotros, sobre todo las mujeres confían en mí como
otra mujer. Mi esposo comparte conmigo lo que aprende. Ellos ya confian en él porque llama a
reuniones de la ciudad, y las personas asisten. Él es ahora Agente Municipal, y también ha cumplido
otras funciones en la comunidad. Aquí la gente se avergüenza de hablar de sus problemas, sobre todo a
una mujer a un hombre. Me gusta aprender sobre el parto, y he tratado de asistir a varias mujeres
embarazadas, mi madre sabe sobre el parto, yo aún tengo muchas dudas y esto me ayuda a aprender.
Empecé como una promotora de salud, pero dejé de asistir a los entrenamientos después de que tuve a
mi bebé porque era difícil de seguir.
Usted ha mencionado que se sentía avergonzada? ¿De qué?
Sí, me daba vergüenza comer, incluso delante de la maestra, ahora ya no soy tímida y he
hablado con muchas otras mujeres acerca de este cambio.
¿La gente busca a los dos para la atención de salud?
La gente me busca mucho, porque yo sé acerca de plantas medicinales, cómo darselas a los
niños. Siento que veo con más claridad, pensé que las personas que saben más son mejores que
nosotros, pero he aprendido que nadie es mejor que nadie. He cambiado mi forma de participar, antes
tenía miedo de hablar, y ahora no, digo lo que quiero decir.
© 2012 Green Mountain Coffee Roasters, Inc.
78
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Appendices
¿Cómo te sientes acerca de estos cambios?
Me siento feliz con estos cambios, por ejemplo, antes cuando me iba, y volvia me regañaba,
pero ya no. Ahora mi marido me recibe con alegría y hablamos de lo que ocurrió cuando salí y esto me
hace sentir feliz. Le damos gracias porque si no hubiese venido, hubiesemos continuado como antes. No
me gusta el machismo en la comunidad, por ejemplo, hay una mujer que quiera participar y que su
esposo la golpea si lo hace, él le dice que ella no tiene que ir y que los talleres no tienen ningún valor.
Historia 2
Proyecto: Capacitación en Derechos Humanos
Papel del narrador: Miembro de la comunidad y promotor de los derechos humanos, esposo de la
promotora de salud comunitaria
Ubicación: Ciudad de Capitán Luis A. Vidal
Fecha de grabación: 04 de mayo 2011
¿Cuándo sucedió? Durante el año pasado
Título de la historia: "Ahora creo que tengo la capacidad"
¿Qué cambios ha visto de su entrenamiento?
Un cambio muy interesante, las comunidades aceptan mi participación, y crearon grupos para
defender nuestros derechos humanos. Cuando empezaba a hablar, se producian enfrentamientos
cuando trataba de mantener un diálogo. Este proceso me ha ayudado a tener más confianza en mí
mismo, y en mi conocimiento de los derechos humanos. Ahora, ya no puedo ser fácilmente manipulado,
porque tengo estos conocimientos.
¿Qué cambios ha visto en su familia?
He llegado a comprender la importancia de la educación, en mi familia hay una mayor confianza,
mayor seguridad, aceptación, sobre lo que tenemos, y lo que hacemos sin tener, nos ayudamos
mutuamente. Cuando ella [mi esposa] y / o yo salimos a una reunión, el otro se queda a cuidar de la
familia.
Cambios ... una mayor comprensión, una mejor administración del dinero. Reconocimiento de
nuestra realidad, ha sido una lucha constante para obtener nuestras necesidades. Basado en mi
experiencia, la realidad que estamos viviendo es mala, sobre todo en relación a los derechos humanos.
Es por eso que he compartido los conocimientos y experiencias que he aprendido para tratar de
encontrar una manera de cambiar nuestras vidas. Ahora creo que tengo la capacidad de superar.
¿Qué cambios ha visto en sí mismo?
© 2012 Green Mountain Coffee Roasters, Inc.
79
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Appendices
No con todos, pero con mucha gente que he ganado su confianza, hablamos, nos relacionamos,
somos amigos, ellos me piden ayuda. Mi trabajo es sobre todo con los niños, y la gente conoce mi
trabajo y me reconoce como una persona decente.
¿Qué cambios ha visto en su esposa ya que ella se ha convertido en un promotor de salud?
Ella habla más, hace las cosas con más calma, y ella entiende mi trabajo y mis viajes [de
entrenamiento]. Antes había un montón de discrepancias, y ahora nos apoyamos mutuamente. Tal vez
ella todavía tiene que opinar más, y participar más.
Habernos asociado con otras organizaciones como EAPSEC, su participación ha sido importante
en estos cambios. Tenemos que aliarnos con otros más para tener más fuerza.
Historia 3
Proyecto: Capacitación en Promotor de Salud
Papel del narrador: Promotora de la Salud
Ubicación: Ciudad de Lagunita
Fecha de grabación: 25 de septiembre 2011
¿Cuándo sucedió? Durante los últimos seis años
Título del cuento: "Ser un promotor de salud ha cambiado mi vida"
¿Qué cambios ha visto desde que comenzó como un promotor de salud?
En primer lugar la salud de nuestra familia ha cambiado. En los talleres se nos enseñó a cuidar a
los niños, al igual que cuando se enferman les damos la medicina o suero oral cuando es necesario. He
aprendido a valorar mi vida, antes yo no hablaba, tenía miedo y era tímida, pero ahora puedo participar,
estoy motivada. Desde que mi esposo esta participando, un cambio es que ahora se lava sus platos
después de comer. Le digo a mi familia lo que es nutritivo para comer y eso es lo que hacemos. La
comunidad me apoya, me dicen para que siga adelante, después de cada taller les digo lo que he
aprendido. La gente me busca, me dicen que soy un promotor de salud y que estoy aprendiendo. He
ayudado a muchas personas que me buscan, por ejemplo, una mujer que vino con una tos con sangre,
yo le dije que se hiciera estudios, ya que podría ser tuberculosis, basado en lo que me enteré, pero no
pude saber lo que pasó porque ella regresó a Guatemala. También ayudé a una señora embarazada y
debido a eso, mucha gente confia en mí. Las personas me buscan más que antes. La gente viene a
contarme sus problemas y yo los escucho. Vienen de muchos pueblos como La Lucha o la Piedra Parada,
por sus enfermedades. Yo estoy manejando el cuidado de una niña con epilepsia y ahora está
controlada.
Cuando la gente me visita, les pregunto lo que están sintiendo, les ofrezco agua para beber, les
pido que me digan cuál es su problema. Primero escucho y luego les doy consejos. Algunas personas de
© 2012 Green Mountain Coffee Roasters, Inc.
80
Guía de evaluación y monitoreo de
GMCR para proyectos en
comunidades de la cadena de
abastecimiento
Appendices
quienes cuide regresaron y me dijeron gracias, pero a otras no estoy seguro de lo que les sucede. Una
ventaja es que mi esposo y yo somos los promotores de salud, así que cuando una mujer viene yo cuido
de ella, y cuando un hombre viene mi esposo se encarga.
¿Cómo se sientes como un promotor de salud?
Me siento feliz, estudio mis libros, me siento feliz porque puedo compartir con otras personas,
me siento feliz de poder ayudar a las personas que lo necesitan, me siento feliz de ser un promotor de
salud. Ser un promotor de salud ha cambiado mi vida, a pesar de que puede ser agotador ir a los
talleres. En las reuniones de nuestra comunidad a veces humillan a las mujeres que tratan de hablar. Les
digo a los hombres nos deben respeto, estoy motivado para decírselo, y que no es una cosa común de
hacer.
¿Algo más que quiera decir?
Gracias por los talleres y gracias a todos por ponernos más allá de donde estábamos, por
compartir con nosotros. Tengo planes de continuar.
VIII.
Lecciones aprendidas y futuras orientaciones
“Health Care NGO” sigue mejorando la disponibilidad de atención para las comunidades de
Chiapas. Los promotores de salud informaron que se sienten efectivos en su trabajo y utiliza sus
habilidades con la frecuencia suficiente para hacer un impacto en sus comunidades. Un impacto
importante de la promoción de salud comunitaria que no fue capturado en los indicadores de impacto
cuantitativo, pero se manifestó con firmeza en las historias de CMS fue el impacto de la capacitación de
promoción de salud en las vidas de los promotores. Los promotores de salud con frecuencia expresaron
mayor satisfacción con sus vidas y una mayor sensación de autoestima. Particularmente en el caso de de
las mujeres promotoras de salud, las actividades de promoción de la salud a menudo se ven como una
mejora en la dinámica familiar en la casa de los promotores de salud.
Las áreas en las cuales a “Health Care NGO” le gustaría mejorar su trabajo son en la construcción
de un mayor conocimiento de la salud en las comunidades donde trabajan los promotores de salud y en
la mejora de la eficacia de la atención recibida por los promotores de salud. Los promotores de salud se
sintieron menos eficazes en su capacidad para capacitar en torno a la salud y el conocimiento de la salud
en sus comunidades. Si bien esto no es necesariamente un objetivo primordial del trabajo de los
promptores, es importante para mejorar la salud general de Chiapas. “Health Care NGO” también quiere
mejorar el seguimiento del paciente por los promotores de salud, por ese motivo se tiene la intención
de implementar un nuevo proceso de seguimiento en 2012.
© 2012 Green Mountain Coffee Roasters, Inc.
81