Download Análisis de costo

Análisis de costo-efectividad
Ryan Cooper
J-PAL
[email protected]
Hasta ahora
I. Útilidad de Evidencia en Políticas Públicas
II. Relevancia de Evaluación Experimental
III. ¿Cómo diseñar, implementar, analizar evaluación?
¿Qué hace que evidencia sirva para política pública?
¿Qué necesita el hacedor de políticas en un
gobierno?
Esquema de presentación
I. Introducción: ¿Qué es y de qué sirve?
II. Midiendo impacto
III. Estimando costos
IV. Desafíos
I. Introducción
1 Objetivo / 5 Candidatos
Objetivo:
Incrementar los años de
educación adicional por
estudiante
Desparasitación
Uniformes
Información de retornos
Becas
Transferencias condicionadas
¿Cuál es más efectivo?
20%
20%
20%
2.
3.
20%
20%
1. Desparasitación
2. Uniformes
3. Información de
retornos
4. Becas
5. Transferencias
condicionadas
1.
4.
5.
6
¿Cuál es más caro? 20%
20%
20%
2.
3.
20%
20%
1. Desparasitación
2. Uniformes
3. Información de
retornos
4. Becas
5. Transferencias
condicionadas
1.
4.
5.
7
Efectividad
Acá poner resutado de poll al lado de las barras de la realidad. Años de educación adicional por estudiante
0.08
0.075
0.07
0.064
0.06
0.05
0.04
0.035
0.032
0.03
0.02
0.013
0.01
0
Deworming
Uniforms
Information Returns
Scholarships
CCT
8
Costo
Acá poner resutado de poll al lado de las barras de la realidad. Costo de aumentar 1 año de estudios
14
13
12
11
10
8
9
8
7
6
4
2
0
Deworming
Uniforms
Information Returns
Scholarships
CCT
9
Comparación y Elección de Programas
0.08
0.07
Años de educación
0.075 adicional por estudiante
0.064
0.06
0.05
0.04
0.035
0.032
0.03
0.02
0.01
Costo de aumentar 1 año
de estudios
0.013
14
12
10
8
6
4
2
0
13
11
9
8
7
0
10
Análisis de
Costo
Efectividad
¡Punto de
partida!
11
12
Por qué
•Simplifica la complejidad de un programa. convierte en relación $ / impacto.
•Mide costo de cierto nivel efectividad: Ej, costo de incrementar asistencia en un año.
•O, nivel de efectividad, dado cierto costo: incrementar asistencia dado $100.
•Pueden ser comparables entre sí implica ayuda decisiones políticas
• Metodología deber ser similar
•Puede ayudar a los funcionarios de gobierno a elegir entre programas
13
Costo-Efectividad (ACE) vs Costo-Beneficio (ACB)
• Costo-Beneficio (ACB): valor monetario de efectividad - costo social:
• Por lo tanto un ACB mide todos los beneficios de un programa
• Un ACB es absoluto, nos dice si un programa vale la pena o no
• Al realizar un ACB se deben justificar una serie de supuestos.
• Por ejemplo, valor económico de una vida o de reducir la criminalidad en un barrio
• La gran ventaja de un ACE es su simplicidad.
• Se utiliza una sóla variable impacto medible
• Pero comparación se limita a programas que busquen ese mismo impacto
14
Hay pocos ACE
• ACE es popular en la medicina.
• Henry Levin y Patrick McEwan (2001)
• Hay pocos meta estudios de costo-efectividad.
• Kremer, Miguel and Thornton (2005)
• Banerjee, Cole, Duflo, Linden (2007)
• Los qu sí hay son todos para el mismo tipo de programa y país
• Complicaciones de hacer ACE de evaluaciones en diferentes países:
• Conseguir costos
• Comparar monedas, inflación, eficiencia, tasa de descuento
15
II. Midiendo impacto
16
Estimaciones de impacto
¿Qué evaluaciones usar?
• Evaluaciones rigurosamente
• Buena información de costos
• Relevantes para el “cliente”
17
Externalidades y Cumplimiento parcial
• 3 posibles efectos al evaluar impacto:
• Efectos en individuos tratados en grupo de tratamiento
• Efectos en individuos no tratados en grupo de tratamiento
• Efectos en individuos tratados en grupo de control
•¿Cuáles impactos incluir?
18
Externalidades y Cumplimiento parcial
• 3 posibles efectos al evaluar impacto:
• Efectos en individuos tratados en grupo de tratamiento
• Efectos en individuos no tratados en grupo de tratamiento
• Efectos en individuos tratados en grupo de control
•¿Cuáles impactos incluir?
Depende del programa y la naturalieza de externalidades y de incumplimiento. PERO…
En general:
•
Incluimos no tratados de grupo tratamiento.
•
No incluimos controles tratados.
19
Impactos en varias dimensiones
• Costo-efectividad considera un sólo impacto.
• Complicación con programas con objetivos múltiples:
• Podríamos intentar separar los costos atribuibles a un impacto en particular…
• Pero es difícil, por ejemplo, dividir un gasto administrativo
• Hay que ser transparentes y aclarar cuando hay más de un objetivo
20
21
Imprecisión en estimación punto
• Estimaciones tienen distribución…tienen varianza….
• Puede ser que el impacto estimado es preciso y se aproxima a cero.
• O que el impacto estimado es grande, pero con alta varianza también
• En general
• Es importante tomar en cuenta no solo los primeros momentos de estimación
• A menos que varianzas sean pequeñas y similares, es relevante reportar.
22
Agregando Impacto
Impacto Total = Impacto (por unidad) × Tamaño
de Muestra × Duración de Programa
• Tamaño Muestral: Considerar la muestra relevante.
• Tiempo: efectividad y costos corresponden a mismo tiempo
23
II. Midiendo costos
24
Cómo consegiur datos
• Método de ingredientes (Levin y McEwan 2001)
•
Artículos académicos: A veces enlistan ingredientes, pero no sus precios
•
Presupuestos: Enlistan costos, pero no es seguro en qué se usó cada ingrediente
• Conseguir datos de varios lugares
1. Artículos académicos para entender bien la estructura de un programa
2. Contactar a los investigadores para confirmar ingredientes, costos y
presupuestos
3. Los trabajadores de campo y el staff de investigadores para contextualizar el
gasto
Es mucho más fácil cuando los investigadores se proponen, desde un
comienzo, detallar costos.
25
Costos del programa en el margen
¿Qué es un programa?
• Asumir que implementación será sobre infraestructura prexistente
• Ser claro sobre los diferentes impactos en los que la intervención
incide y en aquellos que se desea evaluar
Ejemplo
• Aprendiendo con la ayuda de computadoras
• Si las computadras ya existen en los centros de educación, pero no son
utilizadas, no habría que incluir este costo
• Si las computadores no existen, habría que pagar por ellas
Efectividad/Costo= [Calificaciones con programa] - [Calificaciones sin programa]
[Costos con programa] - [Costos sin programa]
• Especificar margen al cuál agregamos intervención
• Identificar el nivel básico de costos (salarios, materiales de aulas) y de
rendimiento (calificaciones, ausencia de clase) que existe en la ausencia del
programa
• El caso de comparación debe estar bien especificado y ser consistente a
través de los programas que se están evaluando
27
Servicios y productos sin costo
• Algunos servicios y productos son gratis
• Por ejemplo, las píldoras de desparasitación o el trabajo comunitario pueden
ser donaciones…
• El costo de estos servicios y productos debe ser incluído en un
análisis de costo-efectividad
• Muchos de estos ingredientes van a representar un costo real al ser
escalados
• Muy claro en el caso de ACB, adonde se deben incluir todos los costos y
beneficios a la sociedad
• Utilizamos los valores de mercado de estos servicios y productos
• El equipo de investigación muchas veces no lo toma en cuenta, así que
mejor notificarles de la importancia de anotar estos detalles con anticipación
• Para los costos de trabajo, simplemente buscar los costos en el mercado
laboral por trabajo similar
28
Costo del tiempo de usuario
• Los usuarios consumen tiempo
participando en ciertos programas
• Por ejemplo, reuniónes de apoderados
• Nos interesan los costos que un programa
impone a los participantes, porque se
supone que los programas están diseñados
para ayudarlos
• Costo deberían incluírse si el tiempo es
requisito para la participación
• Muchos donantes excluyen estos costos
29
Ingredientes con usos múltiples
Puede que intervenciones nuevas compartan costos
con otros programas
• Un ejemplo es el uso de una encuesta utilizada para identificar tanto
a posibles participantes de PROGRESA como de un programa de
subsidios de granos
• Si el ingrediente fue pagado antes de que el progama comenzara,
no habría por que incluir este costo (similar al análisis en el margen)
30
Ingredientes con usos múltiples
Pero si se compra el ingrediente como parte de un programa,
debemos incluirlo incluso si se va a usar para otras intervenciones
• Difícil modelar la distribución de uso en el futuro
• Programas subsiguientes no lo utilizarán en sus cálculos de costo efectividad
• En situaciones similares, es un costo que se tendrá que asumir
• Si es esencial para el éxito de un programa, igual se va a tener que
presupuestar
• Incluir costo en cálculos iniciales permite a los implementadores decidir si es
un costo importante en su contexto y hace fácil excluirlo
31
Transferencias
Dos tipos de costos asociados a programas de transferencias
• Costos administrativos de hacer llegar las transferencias: son costos reales
y se deben incluir
• Las transferencias representan un costo contable, pero no necesariamenete
un costo social. La pregunta es, ¿se debería contabilizar como un costo del
programa?
Inlcuímos el costo de transferencia en especie
• Porque tendríamos que asumir el valor del beneficio del producto transferido
• La organización que implementa el programa podría valorar el producto de
manera diferente al participante del programa
32
Costos de escala
Programas pequeños acceden a sus “ingredientes” a precios
normales de mercado y administran el programa utilizando
infraestructura pequeña
• Los costos de escalar el programa pueden ser menores a los estimados si
corregimos por economías de escala
• Los costos pueden ser mayores, si se necesita administrar un programa
muy grande que llegue a muchos participantes que se encuentren dispersos
• Por esta razón, tiene sentido utilizar los costos reportados por los
investigadores
33
c. Ejemplo
34
Evaluación de Campamentos de
Inmunización e Incentivos en Udaipur, India
La inmunización es realmente baja en
Rajasthan (menos del 5% en Udaipur)
Una posibilidad es que el canal de
abastecimiento sea el problema:
•
•
•
Región tribal y montañosa con baja
asistencia por parte del personal de
salud establecido de la ciudad a las
clínicas de salud locales (45% de
ausentismo)
Se dirigieron campamentos
mensuales de inmunización en 60
pueblos
Monitoreo con cámaras
35
La demanda de la inmunización
Segunda posibilidad:
Hay un problema de demanda
• La gente no está interesada en la inmunización. ¿Tienen miedo?
• El costo de oportunidad de tener 5 rondas de vacunación
• ¿Puede verse afectada la demanda?
36
Incentivando la Demanda
Evaluando la demanda:
•
Incentivo: En 30 de los campamentos, se entrega un
kilo de lentejas por cada inmunización (40 rupias, el
sueldo de un día) más un juego de thali para la jornada
completa
•
60 pueblos de los campamentos fueron el grupo de
control.
Las tasas de inmunización se siguieron en:
 pueblos de tratamiento
 pueblos de control
 y un pueblo vecino de cada uno de los pueblos de
tratamiento
37
El abastecimiento regular aumentó la
inmunización, y los incentivos ayudaron aún más
Impacto de programa
Porcentaje de niños 1‐2 completamente inmunizados
40,0%
36,9%
30,0%
17,5%
20,0%
10,0%
5,3%
0,0%
Control Villages
Camp Villages
Control Abastecimiento
Camp &
+Incentivo
Encouragement Villages
38
Método de Ingredientes
39
Método de Ingredientes
Divida los costos
por el número de
niños totalmente
inmunizados para
obtener la costoefectividad de los
campamentos e
incentivos
40
IV. Desafíos
41
Tres desafíos claves al elaborar un ACE
I. Incentivos para elaborar el ACE:
• ¿Qué sucede si el programa fue efectivo, pero no rentable?
• No es requisito mostrar el ACE en la mayoría de las revisatas internacionales
II. “Más supuestos para fijar el precio…”:
• por ejemplo, múltiples resultados, qué costo incluir/excluir, externalidades
• No hay una receta obvia
42
Tres desafíos claves al elaborar un ACE
III. Los costos son difíciles de recopilar:
• Tipicamente recopilación de costos no se considera parte clave de evaluación
•
Los datos de costos son sorprendentemente difíciles de recopilar
•
presupuestos con costos de implementación diferentes
•
difícil dividir los gastos generales
43
Recopilación de Datos Forma Retrospectiva
•
Desafíos con el método retrospectivo:





Datos no son originalmente recopilados por el implementador o evaluador
Personal de campo clave difícil de ubicar
Costos son olvidados o difíciles de estimar al pasar el tiempo
El programa implementado puede haber cambiado en el tiempo
Los datos de costos totales son muchos menos útiles
 Qué hacer? Reunir datos de costos de múltiples fuentes:
• Trabajos académicos que describen estructura del programa
• Entrevistas:
• a investigadores para obtener ingredientes adicionales
• Personal del programa y de investigación de campo para costos unitarios
• Complementar con fuentes públicas (salarios locales, costos de transporte, etc.)
44
Recopilación retrospectiva vs. Prospectiva
¡Prospectivamente: El camino a seguir!!
 Plantear preguntas de costos de un principio.
 Más fácil definir los costos particulares al programa.
 Más fácil reunir los costos
 Iniciativas de J-PAL entregan modelos estándar para recopilación datos
 La armonización facilita la elaboración de un ACE comparativo
45
Conclusiones
•
•
•
•
•
•
•
•
ACE útil para comparar programas con mismo objetivo
Simplicidad permite aplicación a elaboración de políticas
Importante tener en cuenta los supuestos
Análisis de Sensibilidad y aplicación a contexto
Plantear el ACE prospectivamente facilita el trabajo
No es la panacea. No resolveremos el mundo en CP
Pero en esta dirección en LP confiamos ser exitosos
¡Necesitamos diseñar asistencia a la medida!
46
Gracias
47