Download Taller de Evaluación de Impacto

1
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Evaluación de principio a
fin
Leigh Linden
Assistant Professor of Economics and Public Affairs
University of Texas, Austin
[email protected]
2
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Testeando Diseños Alternativos de
Programas de Transferencia
Monetarias Condicionadas en
Educación:
Evidencia de Colombia
Trabajo en conjunto con:
Felipe Barrera-Osorio (World Bank)
Marianne Bertrand (U Chicago)
Francisco Perez (Ministerio de Educación, Colombia)
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Esquema
1.
2.
3.
4.
5.
6.
7.
8.
Contexto
Teoría de Cambio
Preguntas de investigación
Diseño experimental
Balance en muestra
Administración de trabajo de campo
Análisis de datos
Conclusiones de política pública
4
Contexto
TdC
Preguntas
Diseño
1. Contexto
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Contexto
 Más educación es deseable en áreas pobres
 Nivel Macro: Alguna evidencia de educación relacinado a
crecimiento (Krueger, Lindahl, 2001 entre mucho otros)
 Nivel Micro: Educación aumenta ingresos
(Angrist y Krueger, 1991; Duflo, 2001)
 Hacer que niños vayan a la escuela es dificil
 África subsahariana: 64 por ciento tasa de matrícula
 Oceanía: 80 por ciento tasa de matrícula
 Oeste de Asia: 83 por ciento tasa de matrícula
 Variación en participación entre familias y dentro
de familas
 Familias de ingresos bajos son los que asisten menos
 Niñas tienden a asistir menos que niños
 Niños y niñas mayores generalmente asisten menos que niños y
niñas menores
6
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Educación en Bogotá
 Colombia es un contexto relevante en el cual trabajar
 País latinoamericano típico de ingreso medio
 Ingreso per cápita es de US$ 7,748
 Gobierno de la ciudad de Bogotá maneja Educación
 Administra recursos educacionales locales con fondos nacionales que
complementa con fondos locales (impuestos a la propiedad, préstamos,
etc.)
 Estructura académica
 Año académico: Enero – Diciembre
 Años escolares: Primero básico (1-5), Secundaria básica (6-8),
Secundaria Media (9-11), Terciaria (Universidad / Opciones
Vocacionales)
 Reto es evitar deserción:
 Matrícula para niñ@s de 5-13 años está en los 90’s medio/altos
 Matrícula para los de 17 años baja a 80 por ciento.
 La mayoría de la deserción viene de familias pobres
 74 por ciente de deserción de SISBEN 1 y 2
7
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Piloto Subsidios Bogotá
Trabajamos con la Secretaría de Educación (SED) de la
Ciudad de Bogotá
 Programa piloto para informar el programa más amplio
Tres contribuciones principales:
1. Tratamientos múltiples: Variar incentivos directos a la familia



Modelo Básico
Modelo de Ahorros: Cambiar tiempo de transferencias
Modelo Terciario: Incentivar graduación y luego matrícula terciaria
2. Variación a nivel de niño: Variar densidad de tratamiento

Dentro de colegios, familias, y redes sociales
3. Usar medidas directas para determinar asistencia




TMCs pueden ser particularmente susceptibles al sesgo de auto-reporte
Contrataron a un equipo para observar directamente a los estudiantes en clase
Comparar asistencia auto-reportada usada en otros estudios de TMCs
Otros resultados fueron auto-reportados
8
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
2. Teoría de Cambio
Amenaza / Análisis
Conclusiones
Contexto
Preguntas
TdC
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Teoría de Cambio
Necesidades
Insumos /
Actividades
Altas tasas de
deserción en educ
secundaria
Registrar estudiantes
para pago de
estipendio
Baja asistencia
Entregar tarjetas
bancarias a
estudiantes
Costos de oportunidad
altos por tiempo de
estudiantes
Altos costos para
ahorrar
Baja tasa de
matrícula terciaria
Recolección de datos
de asistencia
Productos
Estudiantes que
cumplen objetivos de
asistencia reciben
pago
Pago se efectúa en
periodos establecidos
Administrar pagos
cuándo corresponde
Supuestos
Supuestos
Familias tienen
acceso a cajeros
automáticos para
sacar dinero
Ciudad puede
administrar de forma
adecuada el
proyecto.
Resultados
Más recursos destinados
a gastos educacionales
Posibles cambios en
asignación de recursos
entre niños del hogar
Reducción número de
estudiantes trabajando
Mejor acceso a fondos
cuando estudiantes
necesitan pagar gastos
escolares
Resultado
Final
Menos deserción
Mejores tasas de
asistencia
Mejores puntajes en
pruebas
Mayores tasas de rematriculación
Mayores tasas de
graduación
Mayores tasas de
matrícula terciaria
Supuestos
Profesores
reportarán tasas de
asistencia.
10
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
3. Preguntas de investigación
Conclusiones
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Preguntas de investigación
 Necesitamos poder entender la decisión detrás de
la participación
 ¿Qué determina el nivel de participación del estudiante?
 ¿Qué determina la asignación de oportunidades académicas dentro
de la familia?
 Alguna evidencia existe
 La calidad de la educación parece no afectar las tasas de
asistencia.
 Salud importa
 Costos inciales o incentivos directos a la participación sí importan.
 Se ha mostrado que las Transferencias Monetarias
Condicionadas funcionan
 Sorprendentemente poca varianza en tratamiento y diseño
12
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Preguntas de investigación
Nuestra investigación está motivada por dos
preguntas:
 ¿Podemos mejorar los TMCs cambiando su
estructura?
 Por ejemplo, sabemos que las familas tienen dificultades
ahorrando
 ¿Cómo afectan indirectamente los incentivos
a estudiantes que no participan?
 Externalidades intra-familiares
 Efectos pares
13
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
4. Diseño experimental
Conclusiones
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Diseño experimental
 Objetivo: Variar los incentivos de participación
académica de las familias.
 Ofrecer tres tratamientos que incentivan diferentes partes
independientes de la trayectoria académica del niño o la niña.
 Subsidios son aproximadamente neutras en términos de gastos
públicos si los estudiantes empiezan en el año 6 y continúan al
año 11 – 1.800.000 pesos ($900) durante 6 años
 Tratamientos básicos y de ahorros son los más equivalentes en
términos de financiamiento
 Tratamiento terciario solo se testea sobre 9-11 grado
15
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Tratamiento I
Tratamiento Básico – OPORTUNIDADES
 Estudiantes reciben 30.000 pesos (US$15) por 80% de asistencia
 Más de 3 veces lo que estudiantes reportan ganar en promedio
por mes
 Valor anual de 300 mil es ligeramente por encima de los 250 mil
que las familias reportan gastar
 Pago hecho de forma bi-mensual a
través de tarjetas de débito
proporcionadas por un banco
nacional.
 Estudiantes son expulsados por:
 Reprobar dos veces
 Fallar la meta de asistencia en dos
periodos bimensuales
consecutivos
16
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Tratamiento II
Tratamiento de Ahorro:
 Variación en tiempo de pago
 Motivado por restricción de ahorros que impide el pago de los
costos de matrícula
 Estudiantes reciben 30.000 pesos al mes por cumplir con los
objetivos de asistencia.
 20.000 pesos (US $10) son pagados de forma bimensual.
 10.000 pesos son guardados y pagados de una en diciembre
 Restricciones de liquidez de muy corto plazo vs. restricciones de
ahorro
 Teorías sobre sus diferencias con el Básico:
 Menor asistencia durante el año si existen restricciones de corto
plazo
 Se espera tasas más altas de matrícula el año siguiente si ahorrar
es una restricción
17
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Tratamiento III
Tratamiento Terciario:
 Variación en incentivo de graduar
 Motivado por costos relativamente altos de matrícula para
estudios vocacionales
 Estudiantes reciben 20.000 pesos (US$10) al mes.
 Al graduarse tienen derecho a recibir 600.000 pesos.
 Lo reciben de inmediato si documentan matrícula terciaria
 Lo reciben después de 12 meses sin matrícula
 Teoría de sus diferencias con el Básico:
 Menor asistencia durante el año si existen restricciones de corto
plazo
 Por el contrario, podría haber altos niveles de participación justo
antes de graduación
 Mayores tasas de matrícula terciaria después de graduación
18
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Intervenciones
19
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Aleatorización
 Dos experimentos en dos
localidades similares
 San Cristóbal: Básico y Tratamiento
de Ahorro
 Suba: Básico (6-8 grado) y Terciario
(9-11 grado)
20
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Aleatorización
 Condiciones de matrícula (verificados por SED):
 Estudiantes deben estar inscritos en un colegio
 Deben de haber completado el quinto año
 Deben estar en SISBEN 1 y 2
 Reclutamos a 17.309 estudiantes a través de una
campaña publicitaria
 Realizamos dos aleatorizaciones a nivel de estudiante
 Estratificamos: localidad, tipo de colegio, curso y género
 Proporciones varían por localidad
 64% tratados en San Cristóbal vs. 45% en Suba
 Ponderamos observaciones al agrupar datos de las dos localidades
21
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
5. Balance en la muestra
Conclusiones
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Tabla de
balance:
23
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
6. Administración de trabajo de
campo
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Trabajo de Campo
 Nuestro reto principal fue iniciar la
evaluación
 La ciudad estaba de acuerdo con la lotería
en principio
Pero necesitábamos suficiente exceso de
suscripción
Necesitábamos solucionar la logística de la
lotería
25
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Trabajo de Campo
1. Exceso de suscripción:

Campaña de publicidad muy
grande
2. Logística de la lotería:
 Evento público
 Abierto a participantes, medios de comunicación, oficiales
 Código fue “certificado” por un “tercero”; un economista que
no estaba trabajando en el proyecto
 Código fue proyectado en una pantalla mientras ejecutaba
aleatorización
 Resultados fueron inmediatamente impresos y firmados por
un oficial de la ciudad
26
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Seis Fuentes de Datos
 Datos de Encuesta Originales del SISBEN
 Recolectados en 2003 y 2004
 Bienes del hogar, ingresos, y características
 Contiene todos los hogares elegibles en Suba y San Cristóbal
 Datos de Registro
 Edad, género, último año completado, y colegio actual
 Verificado por SED
 Encuesta de Línea Base (mayo – julio 2005)




68 colegios con mayor número de estudiantes registrados
Identificamos estudiantes con información correcta de colegio
Redes de pares
Información de contacto para encuesta de seguimiento
27
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Seis Fuentes de Datos
 Verificar Datos de Asistencia (agosto – nov 2005)
 68 colegios con mayor número de registrados durante más de 13
semanas
 No limitado a estudiantes de línea base
 Datos Administrativos de Matrícula (2006)
 Encuesta de Seguimiento (feb – marzo 2006)
 Participación académica, esfuerzo académico, consumo, trabajo
 Recolectamos variables de mercado laboral para todos los niños
en el hogar
 Menos del 2% de tasa de desgaste de la línea base, balanceados
entre grupos de investigación
28
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
7. Amenazas y análisis de
datos
Conclusiones
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Amenazas y análisis
 Validez interna
 Desgaste por resultados de encuesta
No hubo asuntos con los resultados
administrativos
 Otras amenazas típicas fueron eliminadas
gracias al diseño del experimento:
Por ejemplo: Cumplimiento
• Estudiantes fueron registrados cuando se inscribieron
al sorteo.
• Eran automáticamente inscritos al programa al ser
seleccionados
30
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Efectos sobre Asistencia
Especificación: Asistencia verificada
 Efecto general de 2,8 puntos porcentuales (ppts)
 Similar para todos los años escolares
 Efecto ligeramente más alto para estudiantes con menor asistencia
proyectada
 Tratamientos individuales:
 Básico: 3,3 ppts San Cristóbal, 0,9 ppts Suba
 Secundaria: 2,8 ppts
 Terciaria: 5 ppts
 Efectos menores, pero parecidos para estudiantes de línea
base
 Tasas más altas de asistencia proyectadas
31
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Efectos sobre Matrícula
Especificación: Datos Administrativos y Seguimiento
 Efecto general de 2,6 ppts para todos los estudiantes en el estudio




San Cristóbal: Tiempo importa, efecto de ahorro 2,7 ppts más alto que básico.
Terciaria: Aumento de 3,3 ppts para 9-10 grado
Básico: Efectos inconsistentes entre 6-8 grado en Suba y San Cristóbal
Efectos significativamente más altos para familias con menos probabilidad de rematricular
 Otros resultados
 Efectos en colegios monitoreados parecidos a efectos para estudiantes en general.
 Efectos menores para estudiantes en colegios seleccionados para línea base
 El sobre-reportaje acerca de participación es significativo en datos auto-reportados
32
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Efectos sobre Matrícula
Especificación: Datos Administrativos y Seguimiento
 Matrícula terciaria
 Consistente con otros datos auto-reportados para estudiantes en grado
11 en 2005
 Aumento general en tasas de graduación (4 ppts)
 Aumentos en matrícula terciaria para tratamiento de ahorro (8,8 ppts) y
tratamiento terciario (49,7 ppts)
33
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Otros Resultados
Especificación:
 Pocos efectos sobre resultados académicos
 Efecto de tratamiento terciario sobre tarea (+0,5 horas)
 Tasa de aprobación (1,6 ppts)
 Consumo
 Pequeño aumento en cantidad y calidad de comidas
 Gastos educacionales:
 Tratamiento de ahorros incrementa gastos en estudios secundarios
 Aumento de 250 mil pesos (a 390 mil) para estudiantes terciarios elegibles
 Actividades de mercado laboral:
 Reducción general en horas trabajadas para grados 6-10.
 Tratamiento terciario, grado 11:
 Aumento de 43 ppt en estudiantes quienes su actividad principal es estudiar
 Reduce horas de trabajo por 7 horas a la semana, ingresos por 11 mil a la
semana
34
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Heterogeneidad de Efectos
Especificación Ponderada
 Efectos grandes para niños con baja proyección
en tasa de asistencia
 Efectos sobre niñas tratadas es menor que para
niños
 Tasas mayores de asistencia explica algunas pero no todas las
diferencias
 No hay efectos sobre estudiantes tratados de
las familias más pobres
 Ingresos de menos de $3 al día
35
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Resultados para Familias
 Efectos sobre hermanos de los tratados son ambiguos
 Los padres podrían igualar oportunidades para todos los niños
 Los padres podrían destinar más recursos a los niños tratados, quitándole
recursos a los niños no tratados (Oster, 2007)
 Oportunidades ya desiguales al momento de registrarse:
 6.619 familias de la encuesta de seguimiento tienen 2,5 niños, pero
registraron 1,3 niños.
 Estos estudiantes son diferentes. Comparando familias sin subsidios:
 93% de niños registrados están matriculados vs. 75% para niños no-registrados
 Niños registrados reportan trabajar 3,1 horas menos a la semana
 Hijos registrados: Hermanos no-tratados terminan peor
 Comparamos 1.329 hogares que registraron 2 hijos
 Tratados vs. No-tratados en el mismo hogar
 Estudiantes tratados terminan mejor (podría ser debido incentivos restringidos)
 Efecto tratamiento es ligeramente mayor que el efecto promedio general
 Estudiantes tratados en hogares con un solo tratado son iguales que los
estudiantes en hogares tratados
 Estudiantes NO-tratados en hogares con un solo tratado terminan peor que
los de hogares no tratados
36
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
8. Conclusiones de política
pública
Conclusiones
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
Conclusión
 En general, tratamientos son efectivos para niños
tratados
 Aumentan asistencia, matrícula, tasa de aprobación, tasa de graduación,
y matrícula terciaria
 Momento de entrega de las transferencias importa
 Menores transferencias mensuales no reducen asistencia
 Sin embargo, relajar restricciones de ahorros puede mejorar tasa de
matrícula
 3,6 ppts en secundaria, 8,8 ppts en terciaria
 Incentivar graduación/matrícula terciaria es efectivo
 Aumenta asistencia en 5,0 ppts
 Aumento matrícula terciaria en 49,7 ppts.
 Externalidades importantes
 Efectos pares fuertes
 Evidencia de externalidades negativas en otros hijos dentro del hogar,
particularmente en niñas.
38
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
¿Qué implica para las políticas
públicas?
 Tratamiento Estándar o Tratamiento de Ahorros?
 Necesidad de testear diseño de TMCs y otros
programas
 Después de Bolsa Familia y PROGRESA, TMCs fueron
implementados alrededor de Latinoamérica con muy poca
variación
 Necesidades pueden ser diferentes dependiendo del lugar
• En Colombia, necesidad de dinero a corto plazo (ej. necesidad
que los estudiantes trabajen) no parece ser tan significativo
como impedimentos al ahorro
 Resalta el valor de tener a gobiernos trabajar con
investigadores para optimizar el desarrollo de políticas
públicas
39
Contexto
TdC
Preguntas
Diseño
Balance
Trab. Campo
Amenaza / Análisis
Conclusiones
¡Gracias!
Leigh Linden
Assistant Professor of Economics and Public Affairs
University of Texas, Austin
[email protected]
40