Download EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS: RELEVANCIA DE

Revista OIKONOMOS, Año 2 Vol. 1.
Liliana Recchioni. “Evaluación de las
políticas públicas: relevancia de las
estadísticas”.pp. 161-174.
Recibido: 25/02/12 Aceptado: 19/03/12
EVALUACIÓN DE LAS POLÍTICAS
PÚBLICAS: RELEVANCIA DE LA
ESTADÍSTICA
Mg. Sc. Liliana Recchioni
Palabras Clave:
Evaluación;
estadística;
pensamiento estadístico.
UNLaR, Dpto. Académico de Ciencias
Aplicadas a la Producción, Ambiente
y Urbanismo.
La Rioja. Argentina.
Key Words:
Assising, statistics,
statistical thinking.
Resumen
En este trabajo se considera la importancia de la evaluación integral dentro
del proceso que comienza en el diseño y finaliza en los resultados de
ejecución de una política pública o programa social. Se establecen los
diferentes momentos para abordar la evaluación. Luego se analiza la
relación entre las herramientas de la investigación social y la evaluación,
para que a partir de allí se valore el aporte de la estadística en la
evaluación.
Por último se reflexiona sobre la importancia de la estadística en la
formación
de
profesionales
de
las
ciencias
sociales
fundamental para desarrollar el pensamiento estadístico.
como
espacio
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
Abstract
This paper considers the importance of comprehensive assessment within
the
process
that
starts
with
design
and
ends
on
the
results
of
implementation of public policy or social program. Different times are
established to address the evaluation. Then we analyze the relationship
between the tools of social research and evaluation, so that from there we
value the contribution of statistics in the evaluation. Finally we reflect on
the importance of statistics in the training of professionals in the social
sciences as an area critical to develop statistical thinking.
Introducción
Las políticas públicas tienen como objetivo resolver un problema social que
ha sido definido con características de intervención desde la esfera pública.
Es un proceso de posicionamiento desde el Estado frente a una cuestión que
concita interés a un conjunto de actores de la sociedad civil. En
oportunidades se confunde política con programa, o suelen usarse como
sinónimos, aunque en realidad el programa constituye una serie de acciones
planificadas que dispone de recursos humanos y materiales específicos para
un fin y que conformarán parte de las estrategias, de la política pública
orientada a la economía, producción, educación, etc.
En la gestión de la política pública pueden intervenir planes, programas o
proyectos y en todos ellos la evaluación 1 es tan importante como el
objetivo que se pretende alcanzar ya que permite analizar la planificación
como también retroalimentar el proceso de ejecución y también avanzar
más allá a través de la medición del impacto que ella genera en la
comunidad.
Esa mirada en cada momento del desarrollo permite revertir los supuestos
que dieron origen a lineamientos en el momento del diseño, situaciones no
1
Los alcances de este trabajo pueden aplicarse tanto a una evaluación de política como
programa. Se entiende al segundo como parte del primero.
162
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
deseadas, las estrategias de implementación y los resultados esperados. Por
lo tanto la evaluación se torna indispensable en estos tiempos y la misma
va mucho más allá de un control administrativo o financiero de una política,
implica adentrarse en todo un proceso integral de ejecución para lo cual es
necesario un trabajo colaborativo entre diversas disciplinas. Esto se
fundamenta en el hecho de que la evaluación en sí constituye un tipo de
investigación según el objetivo de la misma. Así lo plantea Cea D’Ancona,
(1996)2:
En el diseño evaluativo se busca la aplicación de diseños de
investigación (estrategias, técnicas) de manera sistemática y
rigurosa. Con ello se pretende alcanzar conclusiones (válidas y
fiables) sobre la efectividad del programa (o conjunto de
actividades específicas) cuya actuación se evalúa.
Si bien una evaluación no es una investigación científica ya que debe
contener recomendaciones o juicios de valor, la importancia de los diversos
enfoques de investigación aplicados a la evaluación también es planteada
por Blanco Peck (2006)3.
La medición del rendimiento y desempeño para conocer el nivel
de calidad de los servicios públicos es ahora requisito de los
gobiernos modernos del mundo. Usando diversas técnicas de
investigación y amparándose en las más actualizadas teorías
administrativas del momento, los administradores públicos del
siglo 21 miden, evalúan y asignan fondos, dependiendo de los
resultados de sus investigaciones. Los diversos diseños de
investigación que mayormente se utilizaban en la academia,
2
Cea D’Ancona, M. de los A. (1996). ”Metodología cuantitativa: estrategias y técnicas de
investigación social”. Ed. Síntesis. Madrid.
3
Blanco Peck, R. (2006). “Los enfoques metodológicos y la Administración Pública Moderna”.
Cinta de Moebio 27:34-42.
163
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
ahora se aplican en los gobiernos para justificar la asignación de
fondos.
Los paradigmas de investigación cuali-cuantitativos, en la actualidad se
fusionan o se conjugan en la mayoría de las aplicaciones, por lo cual la
estadística como herramienta esencial del enfoque cuantitativo es una
disciplina indispensable en el momento de diseño de un plan de evaluación
de políticas públicas.
Objetivo
El objetivo de este trabajo es reflexionar sobre la importancia de la
estadística en el diseño de un plan de evaluación de políticas públicas y en
la formación de profesionales de las ciencias sociales.
Evaluación
La evaluación otorga señales desde el punto de partida o planificación,
pasando por el proceso de implementación hasta la finalización. Abarcando
también alcances directos y/o indirectos que se originan en la eficacia de las
estrategias diseñadas.
La evaluación es un instrumento estratégico que orienta las políticas
públicas en tanto genera un flujo de información oportuna para el rediseño
de las actuaciones. Al respecto Ballart (1992)4 sostiene que un proceso de
evaluación, “se aplica con el fin de valorar y perfeccionar, primero, la
conceptualización y diseño, segundo, la implementación y tercero, la
utilidad de los programas de intervención social”. En segundo lugar, resulta
conveniente no olvidar que la evaluación responde a tres ámbitos: la
conceptualización y diseño; la implementación y el impacto. De esta forma
según el último autor, es posible “obtener información sobre la marcha de
un proyecto, con el objeto de darla a conocer entre los actores
4
Ballart X. (1992). “¿Cómo evaluar programas y servicios públicos?. Aproximación
sistemática y estudio de caso. Ed. Ministerio para las Administraciones Públicas. Madrid.
164
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
intervinientes y poder éstos introducir las modificaciones programáticas que
se estimen oportunas”.
No obstante, tal como lo señala Nirenberg (2001) 5 “la intervención de la
evaluación es más rica en los primeros pasos. Es decir que es en ese
momento inicial donde es más flexible el programa, más factible de
correcciones, se hacen aquí más fuertes las recomendaciones de las que se
vale
la
evaluación
para
ajustar,
rever
y
reorganizar
cuestiones
fundamentales escuchando a los actores y atendiendo a la realidad donde
se va a implementar”.
Finalmente se debe pensar en la distinción de distintos tipos de evaluación
que acompañan el ciclo de la política pública que permiten desterrar el mito
de que la evaluación es el componente final, de cierre de una intervención.
Puesto que la evaluación no sólo es rendición de cuentas o revisión de
ejecución presupuestaria de lo ya realizado, sino que forma parte de ella;
permite reorientar acciones y, fundamentalmente, contrastar teorías que
están por detrás de las actuaciones de modo de generar aprendizajes a
futuro acerca de cómo modificar situaciones no deseadas.
La investigación social en el proceso de evaluación
Entendiendo la evaluación como un proceso, en todas sus etapas es
necesaria la información o la evidencia, ya que comprende la valoración o la
emisión de un juicio de valor a partir de la información o la experiencia
empírica. Por lo tanto el concepto integral de evaluación puntualiza que es
una ampliación sistemática de procedimientos de investigación social donde
a partir de éstos, hay que valorar y eventualmente perfeccionar la
conceptualización, diseño, implementación, resultados e impactos de las
políticas públicas.
Es así que evaluación comprende o se nutre de enfoques, métodos y
técnicas de investigación social, es algo más que investigar dado que se
5
Nirenberg O. (2001). “Nuevos enfoques en la evaluación de proyectos y programas
sociales. VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la
Administración Pública. Buenos Aires. Argentina. 5-9 Noviembre.
165
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
emiten
juicios
de
sistemáticamente
valor
basándose
recogida
según
en
la
información
conceptualizaciones,
empírica
y
diseños
e
instrumentos claramente definidos.
Se establecen entonces, bases para la evaluación en todas las etapas de
implementación de las estrategias o actividades que comprenden la política
pública, desde su concepción hasta su impacto.
Al respecto Ballart (1992)6, analizando el concepto amplio de la evaluación y
la aplicación del método científico puntualiza:
En primer lugar, la evaluación es aplicación sistemática de
procedimientos de investigación social. Existe, por tanto, un
compromiso por seguir las prescripciones y los métodos de las
ciencias sociales con el fin de producir evidencia empírica válida y
fiable. En segundo lugar, la evaluación se aplica con el fin de
valorar
y
eventualmente
perfeccionar,
primero,
la
conceptualización y diseño, segundo, la implementación y tercero,
la utilidad de los programas de intervención social… En tercer
lugar el ámbito de la investigación evaluativa se limita a
programas de intervención social.
Cuando se refiere a la utilidad lo hace en referencia a los resultados propios
de la política que comprenden los bienes o servicios producidos como
también su impacto en la comunidad. Además también se refiere a los
resultados económicos planteados considerando la eficiencia 7 y eficacia8 de
las acciones.
6
Ballart X.. (1992). Op. Cit.
7
Eficiencia es la capacidad para lograr el objetivo empleando todos los recursos y medios
planteados. Está relacionada al logro de los objetivos según los recursos que se han
dispuesto.
8
Eficacia es la capacidad de alcanzar el objetivo planteado en el diseño de la política pública.
Está relacionado con la determinación del alcance de los objetivos propuestos sin reparar en
los recursos.
166
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
Como se ha visto la evaluación podría llevarse a cabo en diferentes
momentos: planificación, ejecución y finalización de la acciones, aunque en
este trabajo se considerará particularmente los alcances de una evaluación
al final de la implementación de esas actividades, es decir orientada a los
resultados, sin riesgo de impedir la reflexión de aplicaciones en etapas
previas, las que comprenderían también instancias de monitoreo9.
Los enfoques que se utilizan en las investigaciones sociales pueden ser
cualitativos, cuantitativos o mixtos. Ninguno de los dos primeros mantiene
mayor jerarquía de abordaje y atienden diferentes objetivos mediante
observaciones a diferentes unidades de análisis.
Es por ello que integrar ambos enfoques mediante el mixto, constituye la
posibilidad de contar con múltiples recursos para recuperar las experiencias
e información necesaria para la emisión de juicios.
Referirse al enfoque cuantitativo remite la aplicación de métodos o técnicas
cuantitativas provenientes de la estadística, ciencia que posee múltiples
definiciones pero en un intento de ajustarlo a la temática de este trabajo, se
puede definir como una ciencia capaz de brindar métodos para definir la
búsqueda de información, el análisis, la presentación y la inferencia de
juicios valorativos objetivos en situaciones de incertidumbre.
Ya se enunció la necesidad que posee toda evaluación de contar con
información analizada para el planteo de un juicio de valor indispensable en
la toma de decisiones. Por lo tanto, las técnicas estadísticas apropiadas de
observación y análisis según las diferentes dimensiones que se planteen en
el estudio, es un recurso indispensable e inevitable.
El diseño de la evaluación de la política o programa al finalizar las acciones
deben ser construido al inicio o al momento de la planificación de la política.
Es allí donde debe ponerse atención en el tipo de indicadores que deberán
analizarse posteriormente a la definición de áreas de observación. Por
9
Monitoreo es la evaluación que se realiza durante la ejecución de los planes o proyectos
para informar y permitir a la gerencia o a los principales actores, la toma de decisiones
correctivas de las acciones según los juicios
emergentes de los resultados de la
investigación.
periódicamente
El
monitoreo
puede
plantearse
establecidos o bien según la necesidad de la propia implementación.
167
en
plazos
regulares
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
ejemplo se propone un análisis sistémico reparando en las áreas de
contexto, recursos, procesos, resultados e impactos y para éstas será
necesario plantear unidades de análisis, variables a observar, indicadores y
técnicas estadísticas descriptivas e inferenciales 10 que brinden insumos para
los juicios de valor.
Aportes de la estadística en la evaluación
La evaluación al finalizar requiere de indicadores generalmente definidos de
manera idéntica a los que se determinen a instancias de un monitoreo, es
decir se pueden plantear indicadores de contexto, procesos, recursos y
resultados que pueden ser registrados periódicamente durante toda la
ejecución de las acciones. En el caso de indicadores de impacto quedarán
exclusivamente
definidos
para
el
momento
final
debido
que
están
relacionados con el problema que da origen a los programas de acción y en
ocasiones ameritan un período de tiempo mayor para su observación.
Sintéticamente, los pasos metodológicos de una evaluación al finalizar la
aplicación de las diversas acciones comprende:
1. Diseño de la evaluación
Es un momento de definiciones claves para la evaluación, se define qué,
cómo y a través de quienes se evaluará. Se deben establecer las unidades
de análisis para lo cual será necesario fijar las poblaciones de individuos o
cosas y el método de muestreo si fuera conveniente. Seguramente no habrá
sólo un tipo de población o elementos, sino que variará de acuerdo al área
de evaluación y la definición de los indicadores.
Fijadas las unidades de análisis, deberán definirse las variables cuali y
cuantitativas
a
observar.
Esta
es
una
tarea
fundamental,
adquiere
importancia no sólo en la definición de las variables sino en la escala de
medición: nominal, ordinal o de razón.
10
La estadística inferencial es una rama de la estadística que comprende los métodos y
procedimientos para generar propiedades de una población, a partir de una pequeña parte
de la misma denominada muestra.
168
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
Definidas las variables el paso siguiente es construir indicadores pudiendo
ser simples: cantidades, promedios, porcentajes, etc. o más complejos tales
como indicadores ponderados, de razón o multivariados.
También es necesario fijar las fuentes de información y los instrumentos a
utilizar para el relevamiento, los que en muchas oportunidades son
cuestionarios de encuestas dada la extensa aplicación de esta técnica de
relevamiento.
Por último es necesario establecer la periodicidad de los relevamientos, si es
que éstos se mantienen durante el tiempo de ejecución de las acciones.
2. Relevamiento de la información
En este momento se obtiene la información tal como lo señala el diseño
según la unidad de análisis, el método, el/los instrumento/s y el período
seleccionado. Aquí debe ejecutarse toda la búsqueda de información de
acuerdo a la planificación de los relevamientos de información según las
fuentes establecidas para luego recurrir a los métodos de análisis.
3. Procesamiento de la información
Una vez obtenida la información será necesario ordenarla mediante la
utilización
de
procesos
informatizados
apropiados
para
análisis
de
información cuantitativa (softwares estadísticos), que se encuentran a
disposición de los usuarios de manera libre y gratuita además de otros que
poseen
un
costo.
Las
herramientas
de
análisis
permitirán
el
almacenamiento de la información y la obtención de resúmenes descriptivos
de todas las variables analizadas y el cálculo de indicadores definidos.
4. Análisis de la información
Las herramientas de procesamiento inicial, que provee la estadística
descriptiva,
abarca
no
sólo
el
resumen
de
información
mediante
indicadores, sino también requerimientos para su presentación tabular o
gráfica, ya sea para análisis univariados o que comprendan más de una
variable.
169
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
En el caso bivariado son muy utilizados los coeficientes que permiten
analizar la asociación de variables cualitativas (zona de residencia-grado de
satisfacción del beneficiario) y la correlación de cuantitativas (ventas totales
mensuales-ingresos per cápita familiar mensuales).
Además de la descripción, tarea básica de análisis de información
cuantitativa11, la estadística brinda técnicas fundamentales para la toma de
decisiones a través de los métodos inferenciales.
En evaluación o en investigación social, lo observado en una muestra o una
parte del universo de interés, no constituye un interés en si, sino el hecho
de realizar a través de aquello, inferencias al conjunto o universo total. Es
aquí donde cobran importancia las herramientas inferenciales que generan
estimaciones de indicadores o características (estimaciones puntuales o por
intervalos de confianza) que no pueden ser observadas en el universo por
no acceder a él por parte del evaluador, como también aquellas que ofrecen
la posibilidad de tomar una decisión sobre los valores que pueden asumir
ciertos indicadores en el universo no observado.
5. Valoración y toma de decisiones.
El análisis de la información da lugar, en esta etapa, a la emisión de juicios
de valor pertinentes para mejorar la planificación y/o ejecución de las
acciones.
Se generan informes (de la investigación social) donde se establecen los
procedimientos descriptivos e inferenciales, y resultados obtenidos, como
también las conclusiones. A partir de aquí el evaluador dispone de evidencia
empírica y su análisis que conducen a las determinaciones valorativas en
todas las áreas de las que se obtuvieron indicadores.
11
Incluye descripción de variables o características de tipo cualitativa observada sobre las
unidades.
170
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
La
estadística
en
el
currículo
de
formación
de
profesionales en ciencias sociales
La estadística es un espacio dentro del currículo de la mayoría de las
formaciones
técnicas y profesionales no sólo en nuestro país sino en el
resto del mundo.
Existen
también
situaciones
compartidas
relacionadas
a
la
escasa
participación e interés por parte de los alumnos en situaciones cotidianas de
enseñanza aprendizaje. No obstante, los perfiles profesionales que se
demandan en estos tiempos están íntimamente asociados a la necesidad de
comprender y operar con información.
El alumnado, durante el tránsito en las instituciones educativas, no alcanza
a comprender, la importancia de la lectura, interpretación, alcance y
necesidad de ciertas disciplinas. En el caso de las metodologías estadísticas,
se las asocian en particular, a los aportes que las mismas le otorgan al
método científico, por lo tanto no se vislumbra una aplicación con certeza a
esa altura de la formación.
Sin embargo, en todo campo profesional, en especial aquellos que se
forman en economía y administración, deben adquirir habilidades para un
mundo donde la toma de decisiones es una instancia permanente en su
práctica y requiere de la modelización de la realidad a través de información
empírica y el uso de procedimientos adecuados para cada situación en
particular.
La
modelización requiere de
la
conceptualización y
la
construcción
operacional para la observación, determinando qué comprende lo que se
quiere observar.
Es allí, desde el inicio o el diseño, donde la estadística
cobra relevancia a través de lo que se denomina pensamiento estadístico,
que es una filosofía de aprendizaje y acción tal como lo plantea López
Lozada (2004)12.
12
López Lozada Lorena (2004). “Pensamiento estadístico: directivos con nuevas tecnologías de
información y comunicación”. Espacios. Vol. 25 (3). Consultado en
http://www.revistaespacios.com/a04v25n03/04250321.html
171
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
El pensamiento estadístico es la forma en que la información se
ve, se procesa y se convierte en pasos de acción. Es una filosofía
de pensamiento, no una forma de realizar cálculos matemáticos.
El pensamiento estadístico utiliza el concepto de que toda
actividad consiste en un conjunto de pasos interconectados que
deben complementarse y completarse para lograr una meta
planteada, donde se debe investigar cada paso para identificar
áreas de oportunidad y mejora a fin de lograr el éxito personal o
profesional. La identificación y minimización de la variación en
cada uno de los pasos llevarán al logro de la meta planteada.
En este sentido, debe promoverse el pensamiento estadístico en el
entrenamiento sobre estadística, ya que es necesario formar a profesionales
que antes de querer aplicar métodos de cálculo para la resolución de un
problema, hagan uso de ese pensamiento, que es una síntesis de principios,
lenguaje y estrategias para pensar, razonar y plantear una solución a un
problema que requiere cuantificación.
Cuando se aprende el pensamiento estadístico, se aplica y se entienden
mejor los procesos, el trabajo y la vida en general, lo que conlleva a la
delimitación,
planteamiento
y
solución
apropiada
de
problemas
profesionales.
Seguramente los plazos establecidos o los tiempos disponibles para el
desarrollo de la disciplina en el currículum de la formación profesional, son
acotados y no permiten desplegar las estrategias apropiadas para lograr los
objetivos que se debieran, sin embargo, ante estas realidades es necesario
plantear prioridades que deberían siempre estar vinculadas más al
despliegue de destrezas que involucren el razonamiento previo a los
cálculos.
172
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
Conclusiones
La resolución de problemas sociales es sin duda, una de las preocupaciones
más urgentes que tienen los estados, tanto sean nacionales o provinciales.
Y para hacerlo se piensan, discuten, diseñan y ejecutan a diario programas
tendientes a concretar acciones cuya gestión define una política en tal
sentido.
Si bien la disponibilidad de la información y su apropiado análisis es
indispensable para la toma de decisiones en general, particularmente lo es
en la evaluación de políticas, ya que permite optimizar las etapas a seguir
en la resolución de un problema en particular y planificar en consecuencia
las vías de ejecución.
En este sentido, cada equipo de trabajo define en primera instancia qué
enfoque de la evaluación será el que adopte, porque en base a ello se
orientarán las líneas de trabajo que el mismo direccione. Sobre todo,
porque la tendencia actual es comprender que la evaluación integral de
acciones, no consiste en una mera medición final, sino que es un proceso
estratégico que orienta y permite el constante rediseño de las acciones.
Si toda evaluación debe contar con información precisa, detallada y,
fundamentalmente, analizada, serán necesarias técnicas estadísticas de
observación y análisis según las diferentes dimensiones observables, aun
cuando se diseñe con mayor énfasis en métodos cualitativos.
Aquí aparece la estadística como ciencia indispensable para la concreción de
la evaluación, la que requerirá de un diseño previo, de la definición de las
unidades de análisis, variables e indicadores, como también de fijar las
fuentes de información y establecer la periodicidad de los relevamientos.
Una vez obtenida y sistematizada la información, se llega al centro mismo
del estudio: el análisis de la información.
Por lo tanto, y de todo lo expuesto, se deduce el papel importantísimo que
desempeña en la evaluación de las políticas públicas o programas, una
formación seria y completa en estadística, dado que los juicios resultantes
mejorarán la planificación y la ejecución de las acciones.
173
LILIANA RECCHIONI: “Evaluación de las políticas públicas:
Relevancia de la estadística”
_________________________________________________________________________
Debe, en consecuencia, darse a la Estadística, el lugar que merece en la
formación de profesionales en Ciencias Sociales, como espacio curricular no
meramente instrumental ni de habilidad de cálculos. En particular, debe
tenderse a iniciar al alumno en el logro de la capacidad de generar un
verdadero pensamiento estadístico, esto es, aquel mediante el cual el
profesional ve la información con un sentido global, que la interconecta con
todos los factores que conducen a las decisiones sobre el sistema en el cual
se opera.
Referencias bibliográficas
Ballart X. (1992). “¿Cómo evaluar programas y servicios públicos?”.
Aproximación sistemática y estudio de caso. Ed. Ministerio para las
Administraciones Públicas. Madrid.
Blanco Peck, R. (2006). “Los enfoques metodológicos y la Administración
Pública Moderna”. Cinta de Moebio 27:34-42
Cea D’ancona, M. (1996). “Metodología cuantitativa: estrategias y técnicas
de investigación social”. Ed. Síntesis. Madrid.
López Lozada Lorena (2004). “Pensamiento estadístico: directivos con
nuevas tecnologías de información y comunicación”. Espacios. Vol. 25 (3).
Consultado en http://www.revistaespacios.com/a04v25n03/04250321.html
Nirenberg O. (2001). “Nuevos enfoques en la evaluación de proyectos y
programas sociales. VI Congreso Internacional del CLAD sobre la Reforma
del Estado y de la Administración Pública. Buenos Aires. Argentina. 5-9
Noviembre.
RECCHIONI, L. (2012). Evaluación de las políticas públicas:
Relevancia de la estadística. Revista OIKONOMOS [en línea] 1
de Abril de 2012, Año 2, Vol. 1. pp.161-174. Recuperado (Fecha
de acceso), de http://oikonomos.unlar.edu.ar
174