Download barbados_jriccio_

La Evaluación de las Políticas de
Protección Social
James A. Riccio
MDRC
Conferencia del Caribe sobre Cooperación Horizontal
en Protección Social Barbados, 19-20 January, 2011
Contenido de la Presentación
•
•
•
Descripción del uso de pruebas randomizadas
controladas (RCTs) para generar evidencia relativa a
políticas de protección social
Ilustrar el uso de una RCT para probar 2 programas
diferentes de co-responsabilidad en la EEUU:
- Programa obligatorio de asistencia a empleo de
California (1990s)
- Programa Piloto de Transferencia Monetaria
Condicionada de la Ciudad de Nueva York
Reflexiones sobre el uso de evaluaciones para
mejorar las políticas de protección social
2
¿Qué es MDRC?
• Firma investigadora de políticas sociales
• Sin fines de lucro, apartidaria
• Firma nacional, con sede en la Ciudad de Nueva York
• Misión: Aumentar el conocimiento de “lo que funciona”
para mejorar el bienestar de las personas de bajos
ingresos
• Líder en el uso de pruebas controladas randomizadas
(RCTs) en la evaluación de nuevas políticas sociales
3
Pruebas controladas randomizadas (RCTs)
• Similares a los ensayos clínicos en medicina.
• Asignación de una población objetivo al “grupo del programa” o
“grupo de control” mediante un sorteo
• El grupo de control es la referencia: inicialmente similar al grupo
del programa, inclusive en características difíciles de medir (p.
ej., motivación)
• Las RCTs no son factibles o éticas en todos los casos, pero son
apropiadas en muchas situaciones
• Su uso se ha incrementado significativamente en EE.UU. en los
últimos 40 años
4
Mayores Avenidas para la Independencia
(GAIN): Programa de California
• Un programa –obligatorio- “de asistencialismo a trabajo” desde
la década de los noventa
• Primordialmente para padres/madres solteros/as recipientarios
de asistencia monetaria (apoyo de ingresos)
• Penalidades (reducción de beneficios) por no cumplimiento
• Diseñado cuando la política de los EEUU “de asistencialismo a
trabajo” se enfocaban cada vez más en mejorar capacidades
básicas de lectura y matemáticas
• Evaluado por MDRC con RCTs
5
Modelo GAIN
Una combinación de servicios
• Desde el comienzo: asistencia en la búsqueda de empleo
• Desde el comienzo: capacidades educativas básicas (lectura y
matemáticas) para los que no poseen dichas capacidades
• Luego: entrenamiento en capcidades y experiencias de trabajo
no rembolsadas (no muy utilizado)
• A lo largo del programa: servicios de cuidado de niños y otros
servicios
Programa a nivel del Estado, pero evaluación enfocada en 6
localidades diversas
• Hoy: Comparación de los resultados de 2 localidades
6
Mismo modelo, diferente implementación :
Localidad Los Angeles Vs.
Localidad de Riverside
Los Angeles:
• Población con apoyo asistencial de más largo plazo
• Estrategia mixta, con alta priorizacion en capacidades de lectura y
matemáticas básicas para grupo de baja educación
Riverside:
• Estrategia mixta pero enfoque en “empleo rápido” – inclusive para subgrupo
de baja educación
7
Asignación randomizada en la oficina de
bienestar
(al momento de ser referido a GAIN)
Grupo del Programa
Grupo de Control
Servicios y mandatos
de GAIN
Sin servicios o
mandatos de GAIN
Resultados
(ej, ganancias promedio)
Resultados
(ej, ganancias promedio)
)
Diferencia en
resultados =
Impacto del
Programa
8
Programa GAIN Los Angeles:
Promedio total de ingresos ($)
Impacto = $596 (ns)
9
Programa GAIN Riverside:
Promedio total de ingresos ($)
Impacto = $5,038*** (+42%)
10
Los Angeles replico enfoque mas
basadao en trabajo de Riverside
2-años de impacto en los ingresos: enfoque
“nuevo” vs. “viejo” en muestras demográficas
similares de Los Angeles
Impacto = $1,722 ***
Impacto =
$206 (ns)
11
Implicaciones para la política nacional
Resultados del GAIN (y otros estudios):
• Reforzó la idea de condicionar pagos
asistenciales a esfuerzos de trabajo
• Apuntó hacia enfoques más programáticos sobre
“empleo rápido”
• Promovió re-pensar el rol de la educación básica
en políticas de “de asistencialismo a trabajo”
12
Ejemplo de un RCT Piloto actual:
Opportunity NYC – Family Rewards
New York City’s
Programa Transferencia Monetaria Condicionada
(TMC)
Family Rewards comparado con GAIN:
- Voluntario (vs. obligatorio)
- No relacionado al asistencialismo
- Pagos (vs. penalidades)
- Pocos“servicios”
- Más integral
13
Actores de Family Rewards
NYC Center for Economic Opportunity (CEO)
• Patrocina demostración del programa Family Rewards; lideró el
equipo de diseño
• Lidera la agenda anti-pobreza del Alcalde Bloomberg
MDRC (Firma evaluadora)
• Ayudó a diseñar la intervención
• Conducción de la evaluación (no opera el programa)
Seedco (Operador del Programa—privado, sin fines de lucro)
• Ayudó a diseñar la intervención
• Gestiona la prestación global del programa
6 Organizaciones Vecinales (Neighborhood Partner Organizations,
NPOs)
• Organizaciones comunitarias; son la “cara” del programa en las
comunidades meta
14
El diseño de Family Rewards
• Se apoyó en el marco conceptual de las CCTs a nivel
internacional
• Consultó con expertos locales y
nacionales en materia de pobreza
• Consultó con organismos de NYC
• Consultó con el Banco Mundial
• Intercambio de aprendizaje con México
- Funcionarios del Programa e investigadores
- Conferencia en NYC
- Visita a México
15
El Experimento Family Rewards
•
La prueba de una adaptación del concepto de las CCT en NYC
−
−
−
•
Intervención de 3 años de duración
−
•
Septiembre de 2007 a agosto de 2010
Evaluación de 5 años
−
−
−
Primer programa integrado de CCT en un país desarrollado
Superpuesto a la red de seguridad social existente
Con financiamiento privado
Diseño de asignación aleatoria
Análisis de la implementación, impactos y costo-beneficio
Los resultados obtenidos hasta ahora cubren los primeros 12 años
−
(incluida la “puesta en marcha”)
16
La oferta: Recompensas en 3 dominios
1. Educación Infantil
–
–
–
–
–
Elevada asistencia (95%)
Resultados en pruebas estandarizadas
Los padres analizan los resultados de las pruebas con la escuela
Créditos y graduación de escuela secundaria
Conferencias de padres y docentes; PSATs; tarjetas de la biblioteca
2. Atención médica preventiva de la familia
– Mantenimiento del seguro de salud
– Controles médicos y odontológicos preventivos
3. Trabajo y capacitación de los padres
– Trabajo a tiempo completo sostenido
– Completar la educación/capacitación estando empleado
17
Estructura de pagos
• Rango de montos de pago
Por ejemplo:
–
–
–
–
$25/mes por asistencia a escuela primaria
$200 por control médico anual
$350 por competencia en exámenes anuales de escuela media
$600 por aprobar determinadas pruebas estandarizadas de
materias de secundaria (exámenes Regents)
• La mayoría de los pagos se les efectúan a los padres
• Algunos pagos por educación van directamente a los
estudiantes de secundaria
• Los pagos se hacen en forma bimestral,
electrónicamente, por deposito en cuenta bancaria
18
Recompensas pagadas en los
primeros 2 años
• Más de $3.000/año por
familia ($6,000 en 2 años)
• Prácticamente todas las
familias tuvieron alguna
recompensa
Educación
Salud
Fuerza
laboral
18%
Fuerza laboral
Educación
44%
Salud
38%
• El 65% recibió recompensas
en cada período de actividad
• La mayoría para educación y
salud
19
Efectos tempranos del
Programa (“Impactos”)
Usando datos de registros administrativos
y una encuesta de padres de 18 meses
20
Interpretación de los gráficos
• Barra azul = Resultados (es decir, conductas/logros)
del grupo de FAMILY REWARDS
• Barra verde = Resultados del GRUPO DE CONTROL
– Muestra lo que los participantes en Family
Rewards hubieran logrado sin el programa
• DIFERENCIA = el efecto del programa (o “impacto”)
* = significancia estadística
Recuerde: ¡Hallazgos TEMPRANOS
solamente!
RECOMPENSAS PARA
LAS
FAMILIAS
Impacto
GRUPO DE
CONTROL
21
Efectos sobre las carencias económicas de la familia
Porcentaje
(18 meses de seguimiento)
100
90
80
70
60
50
40
30
20
10
0
19% de disminución
-7.8 pts. Porc.***
33% de disminución
41,8
-7.3 pts porc.***
41% de disminución
+18.3 pts. porc.***
62,7
44,5
34,1
22,1
6,5
14,8
Insuficiencia de
alimentos
Programa
Control
38% de disminución
-3.9 pts. porc.***
No llega a fin de
mes
10,4
No tuvo asistencia
Situación
financiera mejor médica debido al
costo
que el año pasado
Niveles de significancia estadística: *** = 1 por ciento; ** = 5 por ciento; * = 10 por ciento.
22
Porcentaje
Efectos en la educación de la cohorte de 4togrado
100
90
80
70
60
50
40
30
20
10
0
Impactos en el Año 2
80,3
78,6
67,6
44,5
68,1
41,6
95% de asistencia
Aprobó el examen de
matemáticas
Programa
Aprobó el examen de
lectura
Control
Niveles de significancia estadística: *** = 1 por ciento; ** = 5 por ciento; * = 10 por ciento.
23
Efectos en la educación de la cohorte de 7mo grado
Impactos en el Año 2
100
90
80
70
Porcentaje
60
61,9
50
63,5
40
30
20
46,5
36,6
46,0
34,9
10
0
95% de asistencia
Aprobó el examen de Aprobó el examen de
matemáticas
lectura
Programa
Control
Niveles de significancia estadística: *** = 1 por ciento; ** = 5 por ciento; * = 10 por ciento.
24
Análisis de la muestra de 9º grado
• Poco efecto en la escolaridad en general, pero…
• El análisis de los subgrupos revela una respuesta
diferencial al programa
• División de la muestra de 9º grado en 2 subgrupos según
los logros en la prueba estandarizada de 8º grado (antes
de iniciar el programa Family Rewards):
− Subgrupo “Competente”(más preparado para la
secundaria)
− Subgrupo “No competente” (menos preparado)
25
Efectos en la educación para subgrupos de 9º grado
Porcentaje
Subgrupo: APROBÓ los exámenes de 8º grado
100
90
80
70
60
50
40
30
20
10
0
13% de aumento
+8.1 pct. pts.**
41% de aumento
+14.9 pct. pts.***
66% de disminución
8% de aumento
+5.9 pct. pts.*
77,6
72,7
64,5
71,7
-5.8 pct. pts.***
51,1
36,2
8,8
3,0
95% de asistencia
(Año 2)
Repitió el 9º grado
(Año 2)
Niveles de significancia estadística: *** = 1 por ciento;
** = 5 por ciento; * = 10 por ciento.
Programa
Obtuvo 22 créditos
(Año 1 y Año 2)
Control
Pasó ≥ 2 regentes
(Año 1 y Año 2)
26
Efectos en la educación para subgrupos de 9º grado
Porcentaje
Subgrupo: NO APROBÓ los exámenes de 8º grado
100
90
80
70
60
50
40
30
20
10
0
Programa
Control
-2.0 pct. pts.
+2.5 pct. pts.
+0.3 pct. pts.
21,8 19,3
22,1 21,8
95% de asistencia
(Año 2)
Repitió el 9º grado
(Año 2)
38,1 40,1
-2.3 pct. pts.
22,9 25,2
Obtuvo 22 créditos
(Año 1 y Año 2)
Pasó ≥ 2 Regentes
(Año 1 y Año 2)
Niveles de significancia estadística: *** = 1 por ciento; ** = 5 por ciento; * = 10 por ciento.
27
Efectos en el uso de servicios de salud en alumnos
secundarios
(18 meses de seguimiento)
100
90
+0.3 pct. pts.
-1.8 pts. porc.
94,3 96,1
96,1 95,8
80
Porcentaje
70
60
50
40
23% de aumento
+13.1 pts. porc. ***
70,3
38% de disminución
-6.1 pts. porc.***
57,2
30
20
10
0
9,8 15,9
Tiene una fuente de
Usa la guardia de
asistencia médica Emergencias para un
habitual
cuidado de rutina
Se hizo un control Fue al menos 2 veces
desde RA en el
al odontólogo desde
último año
RA
Programa
Control
Niveles de significancia estadística: *** = 1 por ciento; ** = 5 por ciento; * = 10 por ciento.
28
Efectos en empleo e ingresos
Porcentaje
Tasas de empleo
100
90
80
70
60
50
40
30
20
10
0
Ingresos UI
$14.000
-$286
4% de disminución
$12.000
13% de aumento$10.000
-2.3 pts porc**
+5.6 pts porc.*** $8.000
$12.377
$12.091
$6.000
58,5
48,6
56,2
Nunca trabajó
durante el año 1
(registros UI)
43,0
$4.000
$2.000
$0
Trabaja al momento
de la entrevista
(18 meses)
Programa
Ingresos durante el año 1
(registros UI)
Control
Niveles de significancia estadística: *** = 1 por ciento; ** = 5 por ciento; * = 10 por ciento.
29
Resumen de impactos tempranos
• Éxito en el logro del objetivo de corto plazo: reducción de la pobreza y
carencias corrientes (con poca reducción en el efecto laboral)
• Efectos positivos tempranos en una amplia gama de resultados de
capital humano, lo que sugiere una respuesta amplia a los incentivos
• Los resultados de más largo plazo son esenciales: ¿aumentarán lo
suficiente estos efectos para ser eficaces en cuanto a costos?
• Algunos incentivos no funcionaron; no replicar en la forma actual
• Es demasiado pronto para sacar conclusiones finales—pero ¡ha sido
muy difícil manejar las expectativas de los medios!
• La evaluación continuará hasta 2014
30
Conclusión
• Es importante evaluar las innovaciones: ¡muchas no
funcionan!
• La evaluación lleva tiempo y cuesta dinero. Pero…
– Es un desperdicio implementar estrategias ineficaces
– Podríamos perder la oportunidad de mejorar vidas y
posiblemente ahorrar dinero en el largo plazo
• Adoptar un enfoque acumulativo
– Cada generación de diseñadores de políticas debería
tener más evidencia sobre “lo que funciona” (y lo que no
funciona) que la generación anterior
31
MÁS INFORMACIÓN
• Para una copia impresa del informe sobre Opportunity NYC –
Family Rewards (Toward Reduced Poverty Across
Generation), contactar a Jim Riccio en:
[email protected]
• Para acceder al informe en línea, ir a:
http://www.mdrc.org/publications/549/full.pdf
• Para más información acerca de MDRC, visitar:
www.mdrc.org
• Para más información sobre NYC Center for Economic
Opportunity (CEO), ver: www.nyc.gov/ceo
32