Download Leer aquí.

EVALUACION DE IMPACTO
El impacto de un proyecto o programa está compuesto por los efectos a mediano y largo plazo
que estos tienen, para la población objetivo y para el entorno, sean estos efectos o
consecuencias deseadas (planificadas) o sean no deseadas
El Banco mundial (2011)1 define las evaluaciones de impacto como un tipo particular de
evaluación que intenta responder a preguntas sobre causa y efecto. A diferencia de las
evaluaciones generales, que pueden responder a muchos tipos de preguntas, las evaluaciones
de impacto se preocupan por saber ¿Cuál es el impacto? (o efecto causal) de un programa o
proyecto sobre un resultado final de interés. Solo interesa el impacto del programa/proyecto:
el efecto directo que tiene en los resultados. Dicho de una manera más simple la evaluación
de impacto tiene por objetivo determinar si el programa produjo los efectos deseados en las
personas, hogares o instituciones y si esos efectos son atribuibles a la intervención del
programa
En la evaluación de impacto, como lo indica Aedo (2005) se reconocen cuatro dimensiones que
definen a una amplia variedad de tipos de estimaciones de impacto. Una primera dimensión se
refiere al tipo de variable sobre la que se mide el impacto del programa. Según esto, se puede
clasificar a las investigaciones en cuantitativas o cualitativas. Son cuantitativas si la variable a
medir es susceptible de ser descrita en forma métrica; por ejemplo: Rentabilidad de la
explotación. Las investigaciones cualitativas se enfocan en variables a las que no se puede
aplicar una métrica.
La segunda dimensión se relaciona con la forma en que se construye la muestra de individuos
que se utilizará para la estimación. Dada la imposibilidad de contar con casos que se
encuentren en ambas situaciones: haber participado en el programa y no haberlo hecho, todas
las estimaciones de impacto utilizan, además de la muestra de participantes sobre los cuales se
ha materializado la intervención, otra muestra para efectos de comparación, esto se explica
porque puede haber otros factores o sucesos que estén correlacionados con los resultados,
sin ser causados por el proyecto o programa. La forma en que se construyen ambas muestras
permite clasificar las investigaciones en experimentales y no experimentales. Las
investigaciones de tipo experimental construyen ambas muestras asignando aleatoriamente a
una y otra, individuos provenientes de una misma población de elegibles. En las
investigaciones no experimentales, mucho más comunes en el campo de los programas
sociales las muestras no se construyen aleatoriamente
Una tercera dimensión tiene que ver con la forma en que se construye el indicador de impacto,
dando origen a tres tipos de estimadores: (1) El estimador “pre-post”, que compara la
situación de los participantes después del programa con la situación del mismo grupo antes de
1
BANCO MUNDIAL 2011 La evaluación de impacto en la práctica. Gertler,P., Martínez, Premand P., Raw L. Christel
I. and Vermeersch, J.
http://siteresources.worldbank.org/INTHDOFFICE/Resources/IEP_SPANISH_FINAL_110628.pdf
iniciar su participación en él y (2) el estimador de “corte transversal”, que compara la situación
de ambas muestras en un mismo momento, típicamente posterior al término del programa. En
este caso la muestra de comparación, que denominaremos muestra de control, está
compuesta por individuos pertenecientes a la población de elegibles pero que no participaron
en el programa; (3) el estimador de “diferencias en diferencias”, que compara los estimadores
“pre-post” de la muestra de participantes versus los de la muestra de control
Una cuarta dimensión define el tipo de método de estimación utilizado para cuantificar los
impactos, en los cuales es factible considerar métodos paramétricos y métodos no
paramétricos. Los métodos paramétricos utilizan modelos probabilistas en los cuales la teoría
se usa como una guía para la especificación de los modelos, utilizando posteriormente técnicas
estadísticas en la estimación de los parámetros. Por su parte la estimación no paramétrica es
un método estadístico que permite obtener la forma funcional que mejor se ajuste a los datos
sin considerar cualquier guía o restricción de la teoría. Como un resultado, la estimación no
paramétrica no tiene parámetros asociados.
Ahora bien en el último tiempo ha surgido una quinta dimensión y que se relaciona con la
cantidad de variables a incorporar en la evaluación apareciendo así las evaluaciones
unicriterio y las multicriterio. En efecto cada día son más las personas que creen que se
debería avanzar hacia una mirada más global de los impactos ( y muy particularmente en el
tema de la extensión) dando origen a lo que hoy conocemos como la evaluación
multidimensional de impactos .Los investigadores y expertos en el tema creen que reducir
todo a un tema de rentabilidad (económico) no recoge las distintas aspiraciones de las
sociedades en general y las personas en particular siendo necesario incorporar a la evaluación
económica, los efectos originados de las estrategias de intervención en los aspectos
ambientales, sociales y político institucionales (Días et al., 2007),2
Esto que es de una lógica impecable genera una dificultad de cómo hacerlo. En la
práctica estamos pasando de la teoría de la decisión de un criterio a la teoría de la
decisión multicriterio con los consecuentes desafíos metodológicos. La respuesta que
nos da la teoría económica para este problema es simple “hay que valorar todo
económicamente3” y así entran todas las dimensiones en el flujo económico del
proyecto en nuestro caso el proyecto de extensión.
A continuación se presentan a modo de propuesta un conjunto de indicadores seleccionados
por el autor de un listado presentado por Aguilar (2010)4 que pueden ser incluidos en una
2
Dias F., Sain G y Salles-Filho S 2007 Evaluación multidimensional de los impactos de la investigación
agropecuaria: una propuesta metodológica / IICA, FONTAGRO. – San José, C.R.:
3
La economía de los recursos naturales nos entrega una batería de metodologías para realizar parte de
estos desafíos
4
Aguilar, J. Reyes Altamirano J. y Roberto Rendón (2010) Del extensionismo agrícola a las redes de
innovación rural. FAO , CYTED http://publicaciones.ciestaacm.edu.mx/libros/Extensionismo_30_sept.pdf
evaluación de impacto multidimensional para un proyecto de extensión con foco en
innovación
Dimensión social
Nivel de empleos Mide el número de empleos directos e indirectos que se generan como
producto de las acciones de la estrategia de gestión de la innovación.
Dimensión económica
Utilidad. Es la diferencia entre los ingresos y los costos obtenidos en la unidad de producción a
partir de la adopción de innovaciones
Rentabilidad de los activos. Es la relación entre la utilidad obtenida en cada unidad de
producción y los activos utilizados en su obtención, mide la eficiencia con la cual se están
utilizando los activos de una unidad de producción, se trata de evaluar si, con la estrategia, se
mejora la rentabilidad y por tanto la eficiencia de los activos con que se cuenta.
Dimensión ambiental
Eficiencia tecnológica: Mide el aporte de las innovaciones derivadas del proyecto de extensión
en la reducción de la dependencia del uso de insumos de síntesis química y de recursos
naturales. Se busca que las innovaciones promovidas contribuyan a un desarrollo sostenible de
la actividad agropecuaria.
Dimensión político institucional
Cambios en la formación de redes de cooperación Como consecuencia de la operación de la
estrategia se cuantifica la constitución de redes que involucren a los diferentes actores del
proceso de innovación.
Es importante destacar que la evaluaciones de impacto deben contar con toda la información
que explicita la jerarquía de Bennett. Los datos de monitoreo así como los de evaluación que
como se indico anteriormente se centran en cómo se implementa y funciona el programa y
analizan si cumple su diseño original y documentan su desarrollo y funcionamiento de los
procesos, son indispensables para una buena interpretación de los datos
Preguntas y selección de indicadores. Este constituye el punto de partida de la evaluación de
impacto. Las preguntas seleccionadas intentaran responder dos cosas fundamentales en
primer lugar cual es el resultado final que determinara el éxito o no del proyecto y en segundo
lugar conocer la cadena de resultados que nos llevaran a ese resultado final. Una cadena de
resultados constituye un marco perfecto para seleccionar los indicadores que se medirán a lo
largo de la cadena los que deben Incluir indicadores tanto para seguir la implementación del
proyecto como para evaluar los resultados finales del mismo.
Diseño y evaluación de impacto. Un adecuado diseño de los proyectos permite un mejor
seguimiento y evaluación ex post de los resultados e impactos obtenidos por parte de los
ejecutores de los proyectos. Una buena definición de objetivos, productos y actividades
permite definir los indicadores de logro para verificar los resultados y el impacto que producen
los distintos proyectos en los distintos actores involucrados.
En definitiva la evaluación de impacto que materializa la tendencia mundial de cambio del
enfoque: de los insumos a los resultados permitiendo avanzar hacia la formulación de políticas
basadas en evidencias.
Ahora bien no obstante los grandes beneficios que esta conlleva la evaluación de impacto
tiene algunos problemas que es preciso tener en cuenta. En esta línea Victora C 20075 en una
conferencia dictada en Barcelona identificó lo que para él serian lós 7 pecados capitales de La
evaluacion de impacto, a saber
1.
1.
2.
3.
4.
5.
6.
No evaluar
Iniciar tardíamente la evaluación
Evaluar impacto sin evaluar proceso
Usar un método inapropiado
No involucrar los gestores
Ignorar el contexto
No evaluar desigualdades
LECTURA COMPLEMENTARIA. BANCO MUNDIAL 2011 La evaluación de impacto en la
práctica. Gertler,P., Martínez, Premand P., Raw L. Christel I. and Vermeersch, J.
http://siteresources.worldbank.org/INTHDOFFICE/Resources/IEP_SPANISH_FINAL_110628.pdf
5
Victora C 2007 Los siete pecados capitales de la evaluación de impacto. XII CONGRESO SESPAS Barcelona