Download Sesión Matías Busso - Presentacion Final - IIEP

Banco Interamericano de Desarollo (BID)
Centro de Estudios Distributivos, Laborales y Sociales (CEDLAS)
Impactos Causales de Programas Sociales
Curso intensivo sobre pobreza y desigualdad en América Latina
RIDGE-UBA
Matias Busso
14 de Diciembre de 2015
Introducción
I. ¿Por qué evaluar?
II. ¿Qué es una evaluación?
¿Por qué evaluar impactos?
¿Cómo decidimos cuales programas implementar o expandir?
Conocimiento
• Evidencia
• Experiencia
• Personal
• Colectiva
Ideología
• Propia
• Externa
Programas/
Políticas
Apoyo
• Presupuesto
• Político
• Capacidad
¿Por qué evaluar impactos?
• Evaluaciones buscan contestar la siguiente pregunta:
¿cuál es el efecto de un programa social sobre sus
beneficiarios?
• Ejemplos:
– ¿Cuál es el efecto de un programa de entrenamiento
laboral en los ingresos de los beneficiarios?
– ¿Cuál es el efecto de un programa de becas en la tasa de
matriculación de los beneficiarios?
¿Por qué evaluar impactos?
• Premisa: La mayoría de los programas sociales
tienen una intención genuina de mejorar las
condiciones de vida de la población de
beneficiarios
• Realidad: Del dicho al hecho hay un gran trecho
¿Por qué evaluar impactos?
• Objetivos de las evaluaciones:
– Responsabilidad de hacedores de política y grupos de
interés (accountability)
– Aprendizaje para mejorar el diseño del programa
• Una buena evaluación de impacto puede ayudar a:
– Identificar programas que están funcionando bien.
– Identificar aspectos de un programa que pueden ser
mejorados.
– Identificar programas que no están funcionando bien.
• Resumen: evaluaciones contribuyen a un uso más
costo-efectivo de los recursos fiscales
Introducción
I. ¿Por qué evaluar?
II. ¿Qué es una evaluación?
¿Qué es una evaluación de impacto?
• Medición cuantitativa del impacto de un programa.
• Impacto es la diferencia entre:
1. Los resultados que los participantes del programa
obtienen un tiempo después de participar en el
programa.
2. Los resultados que esos mismos participantes hubieran
obtenido en ese mismo momento si no hubiesen
participado en el programa.
Definición de Impacto
• Tomamos la diferencia entre
Qué ocurrió (con el programa) y
- Qué habría ocurrido (sin el programa)
=IMPACTO del programa.
• Este último escenario se denomina el contrafactual
Definición de Impacto
De Impacto a Costo-Beneficio
• Evaluación de necesidades: nos da la métrica para
medir el impacto.
• Evaluación de proceso: describe lo que ocurrió. Nos
da los costos.
• Evaluación de impacto: describe el efecto causal. Nos
da los beneficios y mide los mecanismos subyacentes.
Medición de efectos
del programa
I. Cadena de Causalidad
I.
Desarrollo de un marco lógico
II.
Tipos de efectos
II. Medición
III. Identificación de efectos causales
IV. Estimación de efectos causales
I. Cadena de Causalidad
1. Evaluación de impacto requiere un conocimiento
profundo del funcionamiento y objetivos del
programa
2. Marco lógico facilita evaluación y medición de cómo
funciona un programa y cual es su impacto
– Articula objetivos insumos, productos, resultados e
impactos.
– Simplifica definición de hipótesis de investigación.
– Facilita construcción indicadores para distintas metas del
programa.
I. Cadena de Causalidad
• Desarrollo de un marco lógico: representa
visualmente cadena CAUSAL entre:
–
–
–
–
–
Necesidades/Objetivos
Insumos
Productos
Resultados intermedios
Impactos
• Facilita definición de hipótesis a verificar
Marco Lógico: Cadena de causalidad
¿Cómo se desarrolla?
Objetivos
Insumos
Productos
Resultados
Intermedios
Resultados
Finales:
Impactos
Cadena de causalidad
OBJETIVOS
INSUMOS
• Responden a una necesidad
• Especifican población
objetivo
• Son medibles
• ¿Qué puedo hacer para
lograr objetivo?
• Factibles.
• Son medibles.
Cadena de causalidad
PRODUCTOS
RESULTADOS INTERMEDIOS
• Consecuencia directa de mi acción/
intervención
• Representan el primer "resultado"
observable de mi acción.
• Son medibles
• Son los factores de transición que
conectan los productos con los
impactos.
• Son medibles.
Medición de efectos
del programa
I. Cadena de Causalidad
I.
Desarrollo de un marco lógico
II.
Tipos de efectos
II. Medición
III. Identificación de efectos causales
IV. Estimación de efectos causales
Resultados Finales del Programa
• Efectos intencionados
– En la cadena de resultados (a nivel de resultados y de impacto).
– Pasos de la cadena causal que producen los resultados e impactos a
largo plazo.
• Efectos no intencionados
– Resultados positivos o negativos
– Usualmente identificados como “riesgos”
– Ejemplos:
• Incremento en el uso de pesticidas tóxicos
• Cambio en el uso del tiempo (ocio, trabajo infantil, etc.)
Resultados Finales del Programa
• Efectos de derrame (spillover)
– un grupo de individuos no tratados se ve afectado por los
efectos del tratamiento administrado, a pesar de que el
tratamiento no se le ha administrado directamente
Cuatro tipos de efecto derrame
• Externalidades: Los efectos del programa se transmiten
directamente de beneficiarios a no beneficiarios
– Uso de pesticidas por agricultores beneficiarios ayudan a reducir plagas
para beneficiarios y no beneficiarios.
– Buenas práctica sanitarias por beneficiarios reducen tasas de infección
para participantes y no participantes.
• Efectos de equilibrio general: los efectos del programa se
transmiten a la economía local.
– Expansión y mejora de sistemas de irrigación
• Agricultores diversifican a cultivos intensivos en mano de obra y de alto valor.
• Expande la demanda laboral, aumentando los salarios locales de mano de
obra agrícola, lo que conduce a beneficios para los no participantes.
Cuatro tipos de efecto derrame
• Interacciones: No-beneficiarios reciben cierta ventaja (o
desventaja) por su interacción con beneficiarios.
– Programa de eficiencia en el uso de agua que provee a participantes
folletos con consejos para reducir el consumo.
• Participantes comparten información con hogares no participantes
• Hogares no participantes también implementan consejos.
• Efectos de comportamiento: No-beneficiarios emulan el cambio
de comportamiento de los beneficiarios.
• Agricultores participantes en escuelas de campo aprenden sobre la toxicidad
de pesticidas.
• Agricultores participantes modifican la manera en la cual ellos manejan,
guardan y aplican pesticidas.
• Agricultores no participantes imitan este comportamiento y mejoran su
manejo de pesticidas tóxicos.
Medición de efectos
del programa
I. Cadena de Causalidad
I.
Desarrollo de un marco lógico
II.
Tipos de efectos
II. Medición
III. Identificación de efectos causales
IV. Estimación de efectos causales
Medición
• Se hace a través de indicadores  Variables
cuantitativas que nos permiten de forma sencilla y
confiable:
–
–
–
–
–
Describir entorno de necesidades.
Medir insumos.
Caracterizar implementación/procesos.
Cuantificar resultados/impactos.
Registrar percepciones.
Medición
CREA: Características de buenos indicadores (Kusek &
Rist 2004)
•C(laros): precisos y sin ambigüedad.
•R(elevantes): apropiados para la medición en cuestión.
•E(conómicos): fáciles de medir y recolectar.
•A(decuados): suficientes para detectar impactos en
hipótesis claves.
Medición de efectos
del programa
I. Cadena de Causalidad
II. Medición
III. Identificación de efectos causales
I. Inferencia causal
II.Contrafactual
IV.Estimación de efectos causales
Modelo causal de Resultados Potenciales
(Neyman, Roy, Rubin)
• Notación:
– Individuos: i=1,…,N
– Tratamiento (programa),
1 𝑠𝑖 𝑒𝑙 𝑖𝑛𝑑𝑖𝑣𝑖𝑑𝑢𝑜 𝑟𝑒𝑐𝑖𝑏𝑒 𝑒𝑙 𝑡𝑟𝑎𝑡𝑎𝑚𝑖𝑒𝑛𝑡𝑜
𝐷𝑖 =
0
𝑐𝑎𝑠𝑜 𝑐𝑜𝑛𝑡𝑟𝑎𝑟𝑖𝑜
• 𝐷𝑖 puede estar bajo control del investigador o no.
Modelo Causal
• Definimos los resultados (potenciales) como una
función del tratamiento, 𝑌𝑖 (𝐷𝑖 ):
𝑌𝑖 1 : resultado para 𝑖 si recibe tratamiento.
𝑌𝑖 0 : resultado para 𝑖 si no recibe tratamiento.
• Efecto causal del tratamiento (sin externalidades):
𝜏𝑖 = 𝑌𝑖 1 − 𝑌𝑖 0
Problema de inferencia causal
• Para cada individuo, solo podemos observar 𝑌𝑖 1 o
𝑌𝑖 0
• El resultado que observamos es:
𝑌𝑖 = 𝐷𝑖 𝑌𝑖 1 + 1 − 𝐷𝑖 𝑌𝑖 0
• Por lo tanto, es imposible conocer 𝜏𝑖
• ¿Qué podremos aspirar a inferir?
El efecto promedio
• El objetivo de las metodologías de evaluación de
impacto es realzar inferencia causal sobre el efecto
causal promedio.
– Puede ser promedio para la población relevante o
condicional en características observables.
– Por simplicidad, vamos a trabajar con el promedio para la
población relevante.
• El efecto promedio:
𝜏𝑖 = 𝐸 𝜏𝑖 = 𝐸(𝑌𝑖 1 − 𝑌𝑖 0 )
El efecto promedio
• Nuestro objetivo es entonces obtener estimadores
consistentes de E[𝑌𝑖 (1)] y E[𝑌𝑖 (0)].
• ¿Qué sucede si usamos el siguiente estimador?
𝜏𝐴𝑇𝐸 = 𝑌𝑖 1 |𝐷=1 − 𝑌𝑖 0 |𝐷=0
• ¿Qué supuestos debemos hacer?
Supuestos necesarios
1. 𝐸[𝑌𝑖 (1)|𝐷=1 ] = 𝐸[𝑌𝑖 (1)|𝐷=0 ]
2. 𝐸[𝑌𝑖 (0)|𝐷=1 ] = 𝐸[𝑌𝑖 (0)|𝐷=0 ]
Es decir, el resultado promedio debe ser el mismo para
los grupos de tratamiento y control:
• Bajo tratamiento
• Sin tratamiento.
– Supuesto de identificación: La asignación del tratamineto
no debe estar correlacionada con los resultados
potenciales.
Otros parámetros de tratamiento
• El parámetro de tratamiento que nos interesa puede
no ser el 𝜏𝐴𝑇𝐸 .
• El efecto promedio sobre el grupo de tratamiento es
el objeto de muchas evaluaciones de impacto:
𝜏𝐴𝑇𝑇 = 𝐸[𝑌𝑖 1 − 𝑌𝑖 0 | 𝐷𝑖 = 1]
• Aunque menos común, también nos puede interesar
el efecto sobre los no tratados:
𝜏𝐴𝑇𝑈 = 𝐸[𝑌𝑖 1 − 𝑌𝑖 0 | 𝐷𝑖 = 0]
Relación entre los parámetros
• Hay una relación directa entre estos parámatros:
𝜏𝐴𝑇𝐸 = 𝜋𝜏𝐴𝑇𝑇 + (1 − 𝜋)𝜏𝐴𝑇𝑈
en donde 𝜋 = 𝑝𝑟𝑜𝑏 𝐷𝑖 = 1
• Naturalmente, la distinción entre 𝜏𝐴𝑇𝐸 , 𝜏𝐴𝑇𝑇 y 𝜏𝐴𝑇𝑈
es relevante solo cuando existen efectos
heterogéneos.
Representación lineal del
problema de inferencia causal
• Definamos:
𝑌𝑖 1 = 𝛽1 + 𝑈1,𝑖
𝑌𝑖 0 = 𝛽0 + 𝑈0,𝑖
• 𝑈1,𝑖 y 𝑈0,𝑖 capturan la posible heterogenidad.
• El efecto del tratamiento promedio es:
𝜏𝐴𝑇𝐸 = 𝐸[𝑌𝑖 1 − 𝑌𝑖 0 ] = 𝛽1 − 𝛽0
• Bajo el supuesto (no restrictivo):
𝐸[𝑈1,𝑖 ] = 𝐸[𝑈0,𝑖 ] = 0
Representación lineal
• El resultado observado es:
𝑌𝑖 = 𝐷𝑖 𝑌𝑖 1 − 1 − 𝐷𝑖 𝑌𝑖 0
• Usando la definición de 𝑌𝑖 1 y 𝑌𝑖 0 :
𝑌𝑖 = 𝛽0 + (𝛽1 − 𝛽0 )𝐷𝑖 + (𝑈0,𝑖 − 𝐷𝑖 (𝑈1,𝑖 − 𝑈0,𝑖 ))
• Usando la definición de 𝜏𝐴𝑇𝐸 :
𝑌𝑖 = 𝛽0 + 𝜏𝐴𝑇𝐸 𝐷𝑖 + 𝑈𝑖
• 𝜏𝐴𝑇𝐸 puede estimarse por MCO si:
𝐸 𝑈𝑖 𝐷𝑖 = 0
• Esto es, si hay exogeneidad.
ATE vs ATT en regresión lineal
• Para interpretar el coeficiente de una regresión lineal como
𝜏𝐴𝑇𝐸 se necesita que:
𝐸 𝑈1,𝑖 𝐷𝑖 = 0
𝐸 𝑈0,𝑖 𝐷𝑖 = 0
• Para identificar 𝜏𝐴𝑇𝑇 solo necesitamos
𝐸 𝑈0,𝑖 𝐷𝑖 = 0
• Con estos supuestos tenemos que:
𝐸[𝑌𝑖 0 | 𝐷𝑖 = 1] = 𝐸[𝑌𝑖 0 | 𝐷𝑖 = 0]
El efecto promedio condicional
• Hasta ahora definimos los parámetros del
tratamiento como la media incondicional en la
población relevante.
• El tratamiento puede definierse condicional en
características obsevables (ej. género)
𝑌𝑖 = 𝛼0 + 𝛼1 𝑥1,𝑖 + ⋯ + 𝛼𝑘 𝑥𝑘,𝑖 + 𝜏𝐷𝑖 + 𝑈𝑖
• También, efectos heterogéneos del tratamiento,
interactuando 𝐷𝑖 con (alguna) 𝑥.
Medición de efectos
del programa
I. Cadena de Causalidad
II. Medición
III. Identificación de efectos causales
I. Inferencia causal
II.Contrafactual
Contrafactual
• El contrafactual representa el estado del mundo que
participantes del programa habrían experimentado
en la ausencia del programa.
• Problema: No se puede observar
• Solución: Tenemos que "replicar" o "construir" el
contrafactual
Construyendo el contrafactual
• El contrafactual generalmente se construye a partir
de la selección de un grupo no afectado por el
programa.
• A este grupo se le conoce como grupo de control o
grupo de comparación.
• Como se selecciona este grupo es una decisión crucial
en el diseño de la evaluación
Grupo de Control Válido/Creíble
• Idea: Seleccionar un grupo que sea exactamente igual
al grupo de participantes en todas las formas excepto
una: su exposición al programa a ser evaluado.
• Objetivo: Ser capaz de atribuirle al programa las
diferencias en los resultados entre el grupo de
participantes y el grupo de comparación (no a otros
factores).
El problema de selección
• Pregunta: ¿Curan los hospitales?
• Datos de la National Health Interview Survey:
• D= “¿Durante los últimos 12 meses, ha pasado una noche en el
hospital?”
• Y= “¿Diría usted que en general su salud es: excelente, muy
buena, buena, regular, muy mala?” (1,…,5)
• Diferencia de medias: 0.72, t-stat=58.9
• ¿Es creíble esta respuesta? No. Intuitivamente el grupo de
comparación es distinto al de tratamiento.
Medición de efectos
del programa
I. Cadena de Causalidad
II. Medición
III. Identificación de efectos causales
IV.Estimación de efectos causales
I. Estimador de diferencia simple
II. Estimador pre-post
III.Diferencias en diferencias
III.Experimentos
Métodos Evaluación de impacto
• Evaluación No Aleatoria:
– Argumenta que un cierto grupo excluido del programa
"replica" el contrafactual.
– Métodos no-experimentales (cuasi-experimentales):
•
•
•
•
•
•
Diferencia Simple (post)
Pre-Post o Antes-Después
Diferencias en diferencias
Emparejamiento estadístico (matching, reweighting)
Variables Instrumentales
Regresión discontinua
Estimación de efectos causales
• Evaluación Aleatoria:
– Usa una asignación aleatoria del programa para crear un
grupo de control.
– Conocidos también como:
• Estudios de asignación aleatoria
• Experimento social
• Experimentos controlados aleatorios (RCTs)
Medición de efectos
del programa
I. Cadena de Causalidad
II. Medición
III. Identificación de efectos causales
IV.Estimación de efectos causales
I. Estimador de diferencia simple
II. Estimador pre-post
III.Diferencias en diferencias
III.Experimentos
Diferencia simple
• Diferencia simple (comparación Naïve):
Diferencia observada
𝐸[𝑌𝑖 𝐷𝑖 = 1 − 𝐸[𝑌𝑖 𝐷𝑖 = 0
𝜏𝐴𝑇𝑇
=
+
𝐸[𝑌(1)𝑖 𝐷𝑖 = 1 − 𝐸[𝑌(0)𝑖 𝐷𝑖 = 1
𝐸[𝑌(0)𝑖 𝐷𝑖 = 1 − 𝐸[𝑌(0)𝑖 𝐷𝑖 = 0
Sesgo de selección
(de un estimador de
diferencias simples)
Medición de efectos
del programa
I. Cadena de Causalidad
II. Medición
III. Identificación de efectos causales
IV. Estimación de efectos causales
I. Estimador de diferencia simple
II.Estimador pre-post
III.Diferencias en diferencias
III.Experimentos
Estimador Pre-post
• Pensemos en la evaluación simple de un programa
• Si tenemos datos de un grupo de gente justo antes de la
implementación y justo después podríamos tratar de
indentificar el efecto.
• Asumamos que tenemos dos años de datos 0 y 1; y que el
programa se implementa en el medio.
• Podríamos trata de indentificar el efecto tan solo mirando los
datos antes y después del programa:
𝑌1 − 𝑌0
Estimador pre-post
•
Este método no tiene en cuenta cualquier tendencia que pueda
tener las variables de resultado
Sobre-estimación de impacto
Sub-estimación de impacto
Estimador pre-post
• ¿será esta una buena manera de estimar el impacto de un
programa?
NO
– El problema de este modelo es que atribuye cualquier cambio al impacto
programa
– Si algo diferente al programa pasara a través del tiempo, se atribuiría al
impacto del programa.
– Si agregáramos variables binarias de tiempo en el modelo, no podríamos
separar los efectos del tiempo de los del programa
Medición de efectos
del programa
I. Cadena de Causalidad
II. Medición
III. Identificación de efectos causales
IV. Estimación de efectos causales
I. Estimador de diferencia simple
II.Estimador pre-post
III.Diferencias en diferencias
III.Experimentos
Diferencias en Diferencias
• Supongamos que tenemos dos grupos: Beneficiarios (𝐷𝑖 = 1) y
no beneficiarios (𝐷𝑖 = 0)
• Y dos periodos de tiempo antes 𝑡 = 1 y después (𝑡 = 2) de la
intervención.
• Podríamos utilizar a los no-beneficiarios para capturar los
cambio a través del tiempo no atribuibles al programa:
𝑌2 𝐷 = 0 − (𝑌1 |𝐷 = 0)
• Así podemos estimar el efecto del programa como una
Diferencia de diferencias:
𝜏𝐷𝐷 = 𝑌2 𝐷 = 1 − 𝑌1 𝐷 = 1 − [ 𝑌2 𝐷 = 0 − 𝑌1 𝐷 = 0 ]
Diferencias en Diferencias
• Intuición básica: el estimador DD elimina el sesgo de los
dos estimadores de uso más común:
– Pre-post
– Diferencia Simple entre los grupos.
• Supuesto básico: La variable de resultado evoluciona de
manera natural en el tiempo de la misma forma entre el
grupo de beneficiarios y no-beneficiarios (supuestos de
tendencias comunes).
DD en el marco de regresión (I)
𝑌𝑖,𝑡 = 𝛽0 + 𝛼𝑇𝑖,𝑡 + 𝛿𝑡 +𝜃𝑖 +𝑈𝑖,𝑡
Donde,
tratados (𝐷𝑖 = 1) y no tratados (𝐷𝑖 = 0)
0 𝑝𝑎𝑟𝑎 𝑙𝑜𝑠 𝑛𝑜 𝑡𝑟𝑎𝑡𝑎𝑑𝑜𝑠 (𝐷𝑖 = 0)
𝑇𝑖,𝑡 = 0 𝑝𝑎𝑟𝑎 𝑙𝑜𝑠 𝑡𝑟𝑎𝑡𝑎𝑑𝑜𝑠 𝑎𝑛𝑡𝑒𝑠 𝑑𝑒𝑙 𝑝𝑟𝑜𝑔𝑟𝑎𝑚𝑎(𝐷𝑖 = 1) 𝑦 (𝑡 = 1)
1 𝑝𝑎𝑟𝑎 𝑙𝑜𝑠 𝑡𝑟𝑎𝑡𝑎𝑑𝑜𝑠 𝑑𝑒𝑝𝑢é𝑠 𝑑𝑒𝑙 𝑝𝑟𝑜𝑔𝑟𝑎𝑚𝑎(𝐷𝑖 = 1) 𝑦 (𝑡 = 2)
Noten que al tomar la primera diferencia del modelo:
(𝐸 𝑌2 𝐷 = 1 ] − 𝐸[ 𝑌1 𝐷 = 1 ) − (𝐸 𝑌2 𝐷 = 0 − 𝐸 𝑌1 𝐷 = 0 )
𝛽0 + 𝛼 + 𝛿 + 𝐸 𝜃𝑖 𝐷 = 1 ] − 𝛽0 − 𝐸[ 𝜃𝑖 𝐷 = 1
− 𝛽0 + 𝛿 + 𝐸 𝜃𝑖 𝐷 = 0 − 𝛽0 − 𝐸 𝜃𝑖 𝐷 = 0
=𝛼
DD en el marco de regresión (III)
Esta derivación demuestra aspectos claves del estimador DD:
• El supuesto de identificación clave es que no hay interacción entre
el efecto temporal y el grupo de tratamiento, excepto para el
tratamiento bajo estudio, es decir, 𝐸[𝑈|𝐷𝑖 ∗ 𝑡] = 0.
• El efecto del tiempo 𝑡 captura la forma en que ambos grupos – de
control y tratamiento – están influenciados por el tiempo.
• Efectos fijos de individuos 𝜃𝑖 captura diferencias fijas no medida
entre individuos.
Medición de efectos
del programa
I. Cadena de Causalidad
II. Medición
III. Identificación de efectos causales
IV. Estimación de efectos causales
I. Estimador de diferencia simple
II.Estimador pre-post
III.Diferencias en diferencias
III.Experimentos
Diferencia simple (nuevamente)
• Diferencia simple (comparación Naïve):
Diferencia observada
𝐸[𝑌𝑖 𝐷𝑖 = 1 − 𝐸[𝑌𝑖 𝐷𝑖 = 0
𝜏𝐴𝑇𝑇
=
+
𝐸[𝑌(1)𝑖 𝐷𝑖 = 1 − 𝐸[𝑌(0)𝑖 𝐷𝑖 = 1
𝐸[𝑌(0)𝑖 𝐷𝑖 = 1 − 𝐸[𝑌(0)𝑖 𝐷𝑖 = 0
Sesgo de selección
(de un estimador de
diferencias simples)
Tratamiento aleatorio
• Asignar el tratamiento aleatoriamente resuelve el problema
porque la aleatoridad hace que el tratamiento sea
independiente a los resultados potenciales:
𝐸[𝑌(0)𝑖 𝐷𝑖 = 1 = 𝐸[𝑌(0)𝑖 𝐷𝑖 = 0
𝐸[𝑌(1)𝑖 𝐷𝑖 = 1 = 𝐸[𝑌(1)𝑖 𝐷𝑖 = 0
• Entonces,
𝜏𝐴𝑇𝑇
=
=
=
𝐸[𝑌(1)𝑖 𝐷𝑖 = 1 − 𝐸[𝑌(0)𝑖 𝐷𝑖 = 1
𝐸[𝑌(1)𝑖 𝐷𝑖 = 1 − 𝐸[𝑌(0)𝑖 𝐷𝑖 = 0
𝐸[𝑌𝑖 𝐷𝑖 = 1 − 𝐸[𝑌𝑖 𝐷𝑖 = 0
¿Qué es un experimento aleatorio?
• Muestra de postulantes a un programa
• Aleatoriamente asignar:
– Grupo de tratamiento: Al que se le ofrece el programa
– Grupo de control: No se le permite recibir el programa
(durante el periodo de evaluación)
• Dado que los miembros de ambos grupos (tratamiento y
control) no son diferentes sistemáticamente, cualquier
diferencia entre los resultados entre los grupos puede
ser atribuida al programa y no a otros factores.
Pasos para implementar un experimento
1.
2.
3.
4.
5.
6.
7.
8.
Diseñar el estudio cuidadosamente (cadena causal, medición,
estrategia de estimación, poder estadístico, etc.)
Aleatoriamente asignar personas a los grupos de tratamiento o
control.
Recolectar información de línea base.
Verificar que el tratamiento sea aleatorio.
Monitorear el proceso, tal que la validez del tratamiento no se vea
comprometido.
Recolectar información de seguimiento para ambos grupos.
Estimar el impacto del programa comparando los resultados del
grupo de tratamiento contra los resultados del grupo de control
Calcular si el programa impacta de manera significativa tanto
estadísticamente como prácticamente.
EJEMPLO: Educación
Educación: Cobertura
Educación: Cobertura
Educación: Calidad
La “función de producción” de educación
Inputs educacionales
dados por el colegio
Capacidad del profesor
Aprendizaje del
niño
Esfuerzo del profesor
Calidad del tiempo de
instrucción
Inputs educacionales,
salud y nutrición dado
por los padres
Salud y nutrición
del niño
Dotación inicial de los
padres
Inputs de salud y
nutrición dados por el
colegio
Algunos trabajos experimentales
• Tamaño de clase (Angrist y Lavy 1999; Krueger 1999; Urquiola 2006;
Benerjee et al. 2007; Fredriksson et al. 2012)
• Bibliotecas en los salones (Abeberese er al. 2012)
• Computadores y instrucción ayudada con computadores (Lindem 2008;
Barrera y Linden 2009; He et al. 2009; Crista et al. 2012; Malamud and
Pop-Eleches 2011; Mo et al. 2012)
• Flashcards (He et al. 2009)
• Tableros (Glewwe et al. 2004)
• Subvención de pago fijo a escuelas (Pradhan et al. 2004; Jamison et al.
1981)
• Libros de texto (Glewwe et al. 2004; Jamison et al. 1981)
• Tutorías (Benerjee et al. 2007; Chay et al 2005)
• Software de tutorías (Linden 2008)
Experimento: Cambio Curricular
y Tecnología en Costa Rica