Download Sin título de diapositiva

EVALUACION DE IMPACTO
PREGUNTAS QUE SE HACE LA
EVALUACION DE IMPACTO


Efectos de mediano y largo plazo sobre la población beneficiaria
que espera obtener el Programa
¿Cuáles serán los beneficios con que quedará la población
beneficiaria una vez que concluya su participación en el
programa?



Incremento en el nivel de remuneraciones
Reducción de la tasa de morbilidad de menores
beneficiados con un programa de vacunación
Aumento del rendimiento escolar de los alumnos
participante en un programa de reforzamiento educativo
OBJETIVOS



Conocer si el programa produjo los efectos
deseados en los beneficiarios.
Conocer si los cambios observados en los
beneficiarios, pueden asociarse a los efectos
del programa (causalidad).
¿Cómo debiera mejorarse el programa para
maximizar sus beneficios en las variables de
impacto?
METODOLOGIAS





Diseño experimental tradicional y
aleatorio
Método de doble diferencias
Métodos de comparaciones
Pareadas (matching)
Selección de modelos ( variables
instrumentales)
Evaluaciones cualitativas
METODOLOGIAS


Requiere de la aplicación de técnicas, que
permitan conocer lo que habría ocurrido en
caso de que el programa no se hubiese
puesto en marcha.
Identificar las VARIABLES QUE DEBEN SER
MEDIDAS para determinar si el Programa ha
generado realmente los beneficios o
resultados finales o impacto esperados
El impacto del programa es:
La diferencia en la variable resultado (Y) que
registra el individuo (i) con y sin la intervención
del programa
αi = Y1i − Yoi
αi
es el impacto del programa (tratamiento) sobre la persona i,
Yoi es resultado potencial que registraría el individuo i sin el
tratamiento,
Y1i es el resultado potencial que registraría el individuo i con el
tratamiento.
Problema fundamental de
identificación


No es posible observar Yoi e Y1i, para
un mismo individuo en un momento del
tiempo.
Un individuo i en un momento del
tiempo puede presentar solo uno de los
dos estados posibles:


Intervención en el programa
No intervención en el programa
Problemas metodológicos de la medición


Medir el impacto esperado o promedio del programa
sobre el conjunto de los individuos.
Sesgo de selección: Selección de los individuos que
participan en el programa responde a ciertos criterios
de focalización u otros. Programa de Capacitación,
Ingresos beneficiarios menores antes de la
capacitación. En ausencia del Programa los ingresos
potenciales de los beneficiarios serán menores a los
de los no beneficiarios en el mismo período
METODOLOGIAS



Se requiere disponer de información para el
llamado grupo de control o de comparación.
Estos grupos deben seleccionarse de manera
aleatoria, de la misma población de la que
provienen los participantes.
Ambos grupos deben tener las mismas
características
METODOLOGIAS


Un grupo de control es básicamente un segmento de
no beneficiarios que son parte de la población
objetivo, es decir, un grupo que comparte las
características sociales, económicas, educacionales,
etc, del grupo beneficiario. (dos grupos
estadísticamente idénticos entre sí)
La única diferencia entre los individuos del grupo de
control y los beneficiarios efectivos debe ser su
participación en el programa.
Diseño experimental o aleatorio



Aislar los efectos que tienen sobre la variable resultado (Y)
factores externos al Programa
Selección de individuos beneficiarios del programa sea
independiente de sus resultados potenciales. Selección aleatoria
de los individuos que se beneficien del programa
La medición de impacto consiste en cuantificar, una vez
transcurrido el tiempo pertinente de intervención del programa,
la(s) variable(s) de impacto,tanto para el grupo de tratamiento y
como para el grupo de control – en ambos simultáneamente y
para el mismo período de tiempo – para luego analizar las
diferencias que existen entre ambos.

Grupo de control aleatorio entre la
población de individuos elegibles,
garantizándose que en el inicio ambos
grupos son estadísticamente iguales en
términos de sus características como de
sus respectivas distribuciones
Diseño experimental o aleatorio
n1=número de individuos en el grupo de tratamiento
N0=número de individuos en el grupo de control.
Principal distorsión: posibles cambios del grupo de control
Durante el período de evaluación (abandono área geográfica en
ese lapso=Grupo de control contaminado.
Viabilidad política de excluir de la cobertura de un programa
aleatoriamente a un grupo de beneficiarios elegibles y como tal
necesitan los beneficios del programa
Diseño cuasi experimental
Selección de beneficiarios no es aleatoria, se basa en
criterios de elegibilidad y focalización que establecen
diferencias observables como no observables, entre el
grupo de tratamiento y los no beneficiarios (grupo de
control)
Diferencias observables: responden a los criterios de
selección del programa
Diferencias no observables: características de la población que
afectan su participación pero para la cual no hay información
(habilidad individual, voluntad de participar, procesos subjetivos y
no formales que determinan que una persona acceda a los
beneficios del programa
Diseño cuasi experimental
El impacto del programa no podrá ser estimado a través de la
simple diferencia de medias entre la variable resultado del grupo
de tratamiento y el grupo control ya que las diferentes
características observables y no observables de los beneficiarios y
no beneficiarios implicará la existencia de sesgo de selección, la
medición del impacto del programa resultará sesgada.
Solución: diseño cuasi-experimental, que permita controlar por las
distintas características que posee el grupo de beneficiarios del
programa (tratamiento) respecto de los no beneficiarios (grupo
control) que pudiesen afectar el resultado o impacto del programa.
Metodología
Construcción de dos escenarios.
Un escenario prefactual, es decir,la identificación y medición de las
condiciones del grupo de beneficiarios y no beneficiarios (control)
antes de la ejecución del programa(construcción de la línea de
base o situación sin programa) y un escenario contrafactual, que
implica la medición del cambio en las condiciones del grupo
beneficiario y grupo control, de modo de estimar lo ocurrido como
consecuencia directa de la intervención del programa.

¿Cuál sería la situación actual de estos beneficiarios si no hubieran
participado en el programa?, comparando los resultados finales del
programa en los beneficiarios con respecto a un grupo de no
beneficiarios de características similares (grupo control), de modo de
aislar los efectos de otros factores externos al programa?
Condiciones

Existencia de una base de datos (o varias bases que permitan
formar una común) de beneficiarios y no-beneficiarios, que
contenga para ambos grupos información sobre los criterios de
elegibilidad del programa:

Condición socioeconómica, tamaño de la familia, escolaridad,
ubicación geográfica o cualquier otra característica que se haya
utilizado para seleccionar a los beneficiarios) e información sobre
las variables que permitirán medir los resultados finales o impactos
esperados de la intervención (por ejemplo: nivel de ingresos,
condición laboral, nivel de salud, etc.).
Metodologías cualitativas

Evaluación participativa: incorpora a ls
beneficiarios en el diseño, la ejecución
y la evaluación de un programa.

Focus group

Entrevistas a informantes claves
USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO
RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS
PROGRAMA DE SALUD BUCAL – JUNAEB (evaluación año 2004)
DESCRIPCIÓN
El programa de atiende a estudiantes de enseñanza básica de escuelas subvencionadas vulnerables
para mejorar su salud bucal mediante acciones clínicas y educativo-preventivas.
RESULTADOS Y EFECTOS
VARIABLES DE
IMPACTO
La cobertura de la Atención Odontológica Integral en el año 2003 alcanzó al 8% de la población
objetivo. Un análisis más específico para la cohorte de 6 años de edad muestra que el sector
público atiende al 69% de los niños de esta edad, de los cuales el 49% es atendido en los
módulos del programa, lo que se evalúa positivamente.
El índice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso
y el alta de los escolares atendidos en el módulo dental en primer año básico disminuyen en
98% en el año 2003.
Como resultado de la evaluación, el Presupuesto 2005 considera un incremento de cobertura
del programa en relación a acciones educativas, preventivas y curativas de atención dental.