Download Uso de la MML para Evaluación de Gestión y de Resultados

Curso Internacional 2008
Políticas presupuestarias y gestión por resultados
Uso de la MML para
Evaluaci
ón de Gesti
ón y
Evaluación
Gestión
de Resultados
Eduardo Aldunate
Experto
Área de Políticas Presupuestarias y Gestión Pública
ILPES, CEPAL
[email protected]
Ciclo de Vida de un Programa o Proyecto
Se funden en el caso de programas
Preinversión
Formulación
y evaluación
Inversión
Evaluación de
gestión
Operación
Evaluación de
resultados e
impactos
Evaluación
Ex-Post
Aporte de la MI a la fase de Preinversión
Preinversión
• Contribuye a un mejor diseño del programa o
proyecto.
• Obliga a pensar y definir como se evaluará el
programa o proyecto.
• Obliga a establecer metas claras.
• Obliga a identificar y analizar los riesgos que
enfrenta el programa o proyecto.
• Resume en un formato estandar las principales
características del programa o proyecto.
Aporte de la MI a la fase de Inversión
Fin
Propósito
Componente
Inversión
Actividad
• Resume las principales actividades a desarrollar y
productos a entregar.
• Aporta indicadores que permiten un seguimiento
y control gerencial y evaluar la gestión.
• Establece como se hará el seguimiento.
• Ayuda a la gerencia a estar pendiente de los
riesgos.
Aporte de la MI a la fase de Operación
Fin
Propósito
Componente
Operación
Actividad
• Resume los principales aspectos del
diseño del programa necesarios para
evaluarlo (objetivos, metas).
• Establece como evaluar resultados e
impactos.
• Ayuda a la gerencia a estar pendiente de
los riesgos.
Evaluación de Gestión y Resultados
Objetivos de la Ejecución
Objetivos de la Operación
Fin
Fin
Propósito
Propósito
Componente
Componente
Actividad
Evaluación de la
gestión del programa
Actividad
Evaluación de
resultados e impactos
Programa: Ejecución-Operación
Fin
Mediano o largo plazo
Impactos
Propósito
Corto o mediano plazo
Resultados
Corto plazo
Corto plazo
Componente
Actividad
Monitoreo y evaluación
• Recopilar datos para el cálculo de los
indicadores.
• Validar los datos.
• Calcular los indicadores.
• Interpretar la información.
• Preparar recomendaciones.
Recopilación de datos
Detalle para medios de verificación
• Fuentes de información
Test de 10 preguntas sobre las materias tratadas en la capacitación.
• Método de recopilación
Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona.
• Responsable de la recopilación
Juanita Pérez
• Frecuencia de recopilación
Por una vez, a los tres meses de concluido el último evento de capacitación.
• Método de análisis
Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará
porcentaje de aprobación, media y desviación estándar.
• Modo de distribución
Correo electrónico
• Usuarios
Unidad de planificación y evaluación, gerente del proyecto, entidades
cooperantes, junta de vecinos.
Validación de los datos
• Identificar “outliers”
– Comparar con datos históricos
– Comparar con otros datos del período
• Verificar validez de datos “disparados”
• Corregir errores
• Eliminar aquellos datos en que no existe justificación
para la desviación.
Cálculo de los indicadores
Poner cuidado en:
• Utilizar una misma moneda para
indicadores relacionados con costos.
• Utilizar base actualizada para el cálculo
de indicadores de eficacia (aumento de la
población objetivo).
• Considerar el costo total, no sólo el
directo.
• Comparar con situación sin programa.
Evaluación
• Evaluación de la MML
– Lógica vertical (estructura del programa)
– Lógica horizontal
• Evaluación de gestión y de resultados
– Eficacia - Calidad
– Eficiencia – Economía
– Justificación de la continuidad
Lógica vertical
Fin
Supuestos
Propósito
Supuestos
Componentes
Supuestos
Actividades
Supuestos
Lógica Vertical: Preguntas sobre los Objetivos
•
•
•
•
¿El problema que espera solucionar el
programa está correctamente identificado?
¿El Fin y el Propósito del programa están
claramente definidos?
¿El Fin y el Propósito corresponden a la
solución del problema?
¿A qué objetivo estratégico de la entidad está
vinculado o contribuye el programa?
Lógica Vertical: Preguntas sobre los Objetivos
•
•
•
•
¿Las Actividades del programa son las necesarias
y suficientes para producir cada uno de los
Componentes?
¿Los Componentes son los necesarios y
suficientes para el logro del Propósito?
¿Hay evidencia de estudios o investigaciones que
muestre que el tipo de servicios o productos que
brinda el programa son adecuados para la
consecución del Propósito y Fin?
¿Es claro y lógico que el logro del Propósito
contribuye al logro del Fin?
Lógica vertical: Preguntas sobre los Supuestos
•
•
•
¿Son necesarios y válidos los supuestos
del programa tal como figuran en la
matriz de marco lógico?
¿Están bien redactados?
¿Faltan supuestos importantes?
Lógica horizontal
Fin
Propósito
Componentes
Actividades
• Indicadores bien definidos, necesarios y
suficientes
• Medios de verificación bien identificados
Lógica horizontal: Preguntas sobre los Indicadores
•
•
¿Existen indicadores suficientes para
medir el desempeño del programa a nivel
de Fin, Propósito, Componentes y
Actividades?
Cada uno de los indicadores es:
–
–
–
–
–
¿Objetivo?
¿Medible objetivamente?
¿Práctico y económico?
¿Relevante?
¿ Específico?
Lógica horizontal: Preguntas sobre los Indicadores
•
•
•
•
¿Los indicadores incluidos en la matriz
tienen identificada su línea de base y
temporalidad en la medición?
¿Están bien definidas las formulas de
cálculo de los indicadores?
¿Las unidades de medida de los
indicadores son las correctas?
¿Se han establecido metas razonables y
asociadas a plazos para los indicadores?
Lógica horizontal: Preguntas sobre Medios de Verificación
•
•
¿El programa ha identificado los medios
de verificación para obtener cada uno de
los indicadores?
Para aquellos medios de verificación que
corresponda (por ejemplo encuestas), ¿el
programa ha identificado el tamaño de
muestra óptimo necesario para la
medición del indicador, especificando
sus características estadísticas como el
nivel de significancia y el error máximo
de estimación?
Lógica horizontal: Preguntas sobre Medios de Verificación
•
•
¿El programa recolecta regularmente
información oportuna y veraz que le
permita monitorear su desempeño?
¿De qué manera el programa valida la
veracidad de la información obtenida a
través de los medios de verificación?
Evaluación
• Evaluación de la MML
– Lógica vertical (estructura del programa)
– Lógica horizontal
• Evaluación de resultados
– Eficacia - Calidad
– Eficiencia – Economía
– Justificación de continuidad
Eficacia del Programa
La eficacia se relaciona con el logro del Propósito y el Fin
después de terminado el proyecto o al cabo de algún tiempo de
operación del programa. Se ocupa del grado hasta el cual:
• El programa produjo los Componentes en la cantidad y con la
calidad previstos.
• Los Componentes han sido los adecuados para atender la
necesidad y conducen al logro del Propósito.
• El logro del Propósito ha contribuido al Fin.
Fin
Propósito
Componente
Actividad
Area de análisis de la Eficacia
Análisis de Población
POBLACION
SIN PROBLEMA
POBLACIÓN
POTENCIAL
(Población
con problema)
POBLACION
POTENCIAL
POSTERGADA
POBLACION
OBJETIVO
Preguntas sobre la Población Objetivo
•
•
•
La población que presenta el problema y/o
necesidad (población potencial), así como la
población objetivo están claramente definidas?
¿El programa ha cuantificado y caracterizado
ambas poblaciones, según los atributos que
considere pertinentes?
¿Cuál es la justificación de que los beneficios que
otorga el programa se dirijan específicamente a
dicha población objetivo?
Preguntas sobre la Población Objetivo
•
•
¿Los criterios y mecanismos que utiliza el
programa para determinar las unidades de
atención (regiones, municipios, localidades,
hogares y/o individuos, en su caso) son los
adecuados?
¿Existe información sistematizada y
actualizada que permita conocer quiénes
reciben los apoyos del programa (padrón de
beneficiarios), cuáles son las características
socio-económicas de la población incluida en
el padrón de beneficiarios y con qué
frecuencia se levanta la información?
Preguntas sobre la Población Objetivo
•
•
•
•
•
¿El programa cuenta con algún método para
cuantificar y determinar la población potencial y
objetivo?
¿El avance de la cobertura, que a la fecha
presenta el programa, es el adecuado
considerando su Fin y Propósito?
¿El programa cuenta con una estrategia de
cobertura de corto, mediano y largo plazo?
¿Esta estrategia es la adecuada?
¿Se ha llegado a la población que se desea
atender?
Preguntas sobre Eficacia
• ¿El avance de los indicadores a nivel de
Componente del programa es el adecuado para el
logro del Propósito?
• ¿Se identifica algún Componente o Actividad que
no es producido en la actualidad y que podría
mejorar la eficacia del programa?
• ¿Se identifican Componentes, Actividades o
procesos que se llevan a cabo en la actualidad y
que podrían ser prescindibles o posibles de
sustituir por otros más eficaces?
Preguntas sobre Calidad
• ¿ Los bienes y servicios se entregaron
oportunamente?
• ¿Las características del bien o el servicio
entregado son las especificadas?
• ¿Los beneficiarios del programa están satisfechos
con la oportunidad y calidad del bien o servicio
recibido?
• ¿Existió continuidad en la prestación del servicio?
Eficiencia del Programa
•
•
•
•
La eficiencia hace referencia a la manera como se realizaron las
actividades para la entrega de los componentes y se entregaron los
componentes para el logro del propósito . Verifica el grado en que:
Los insumos se proveyeron de manera organizada, oportuna y al
mínimo costo posible.
Las Actividades se ejecutaron al menor costo en los plazos
establecidos.
Los productos (Componentes) se obtuvieron al menor costo.
Los costos administrativos fueron lo mas bajo posible.
Fin
Propósito
Componente
Actividad
Area de análisis de la eficiencia
Preguntas sobre Eficiencia
• ¿El programa ha identificado y cuantificado costos de
operación y costos unitarios dependiendo del
Propósito y de sus Componentes? Si fuera el caso,
presentar dichos costos.
• ¿El programa tiene procedimientos para medir costoefectividad en su ejecución?
• ¿Se identifica algún componente, actividad o proceso
que no se esté llevando a cabo en la actualidad y que
podría mejorar la eficiencia del programa?
Preguntas sobre Eficiencia
• ¿Se identifican Componentes, Actividades o procesos
que se llevan a cabo en la actualidad y que podrían ser
prescindibles o posibles de sustituir por mecanismos
de menor costo?
• ¿Existen indicadores de eficiencia en la operación del
programa?
Economía del Programa
La economía se refiere a la capacidad de la gerencia del
programa para administrar adecuadamente los
recursos financieros. Analiza cómo:
• Se utilizó el presupuesto asignado.
• Se captaron recursos adicionales a los presupuestarios.
• Se recuperaron recursos en caso existir créditos.
Fin
Propósito
Area de análisis de la economía
Componente
Actividad
Preguntas sobre Economía
• Cuantificar el presupuesto ejercido al término del
presente ejercicio fiscal en relación al presupuesto
asignado. ¿Cuáles son las razones de la situación que
se observa?
• ¿Cuál es el monto o porcentaje de aportaciones de
terceros (otras instituciones, otros niveles de gobierno,
beneficiarios, etc.) en relación al presupuesto ejercido?
• En función de los objetivos del programa, ¿se han
aplicado instrumentos de recuperación de costos
(gasto que le genera al Estado la producción/entrega
de servicios del programa)?
Preguntas sobre Economía
• ¿Existe evidencia de que el programa utiliza prácticas
de administración financiera que proporcionen
información oportuna y confiable para la toma de
decisiones de los responsables de la administración
política y administrativa?
• ¿Existe una integración entre los distintos sistemas de
información que conforman la administración
financiera?
Impactos del Programa
• Dos tipos de impactos:
– Contribución al logro del Fin
– Influencia en otros ámbitos
• Impactos planificados e imprevistos
Fin
Area de análisis de los impactos
Propósito
Componente
Actividad
Continuidad de la Justificación
Dos preguntas fundamentales:
• ¿Continúa el programa siendo compatible con las
prioridades de desarrollo del país o del estado?
• ¿Se alcanzarán (on) los objetivos a nivel de
Propósito y Fin una vez generados los
Componentes del programa?
Fin
Propósito
Componente
Actividad
Area de análisis de la justificación
Preparando recomendaciones
• Las recomendaciones deben estar
fundamentadas en el análisis.
• Proponer acciones para materializar las
recomendaciones.
• Analizar beneficios y costos de implementar las
recomendaciones.
• Proponer una estrategia de implantación y
seguimiento.
• Ser claro, preciso y conciso en la redacción.
Relación MML - Plan - Presupuesto
MML y presupuesto de proyectos
• A nivel de actividades se detalla el costo
estimado de cada actividad.
• El costo de un componente se puede
obtener sumando el costo de sus
actividades
• El costo del proyecto es la suma del costo
de los componentes
• Durante la ejecución se comparan costos
incurridos con presupuestados
Costo de un proyecto y MML
Fin
Propósito
}
Componente A
Σ
Componente B
Actividad A1
Actividad A2
Actividad A3
Costo A1
Costo A2
Costo A3
}
Actividad B1
Actividad B2
Costo B1
Costo B2
}
Σ
Σ
Indicadores relacionados con los costos
• Indicadores de eficiencia
– Costo por unidad de bien o servicio provisto
(Componente)
– Porcentaje de costos de administración
– Costos por “unidad de resultado” (Propósito)
• Indicadores de economía
– Porcentaje de ejecución del presupuesto
(Propósito o Componente)
Problemas en programas
• El costo total del programa no se conoce
con certeza.
– El financiamiento puede provenir de varias
fuentes o ítem presupuestarios.
– No se identifican costos de oportunidad de
bienes propios.
– No se estiman costos de administración
– No se consideran costos de entidades
colaboradoras
• Consecuencia: Indicadores mentirosos
Costo de un programa y MML
Fin
+ costos de administración
Propósito
del programa
+ costos de oportunidad de
Σ recursos utilizados en la
administración
}
Componente A
Componente B
Actividad A1
Actividad A2
Actividad A3
Actividad B1
Actividad B2
Costo A1
Costo A2
Costo A3
Costo B1
Costo B2
}
+ costos de administración
Σ del componente
+ costos de otras entidades
}
participantes en el
componente
+ costos de oportunidad de
recursos empleados
Plan y Matriz de Indicadores
Fin
Propósito
Componentes
Actividades
• La lógica vertical exige una
relación clara y verificable
(indicadores) entre los distintos
niveles de objetivos.
• El programa o proyecto debe estar
alineado un objetivo del Plan
Matriz de Indicadores
Objetivos: Fin
Objetivo estratégico al que contribuye el programa
¿ Objetivo del PND?
¿Objetivo sectorial?
¿ Objetivo estratégico institucional?
Fin
Propósito
Componentes
Actividades
Depende!
Otorgamiento de becas - CONACYT
Fin: Contribuir al incremento
de la competitividad del país
Ramo:
Datos de Identif
Consejo Nacional de Ciencia y Tecnología
Unidad Responsable:
Centro de Investigación en Geografía y Geomática, "Ing. Jorge L. Tamayo", A.C.
Clasificación de Grupos y Modalidades de los Programas Presupuestarios:
U Otros programas de subsidios
Denominación del Programa Presupuestario:
001 Otorgamiento de becas
Propósito: Facilitar al capital humano el acceso a
oportunidades de formación de alto nivel, orientada a la
investigación científica, desarrollo tecnológico e
innovación.
Nombre de la Matriz:
Eje de Política Pública:
Objetivo Nacional:
Otorgamiento de becas
Alineación del P
Economía Competitiva y Generadora de Empleos
Tener una economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles, mediante el aumento de la productividad, la competencia económica, la inversión
para el desarrollo de las empresas, especialmente las micro, pequeñas y medianas.
Grupo Tema:
Productividad y Competitividad
Tema:
Promoción de la Productividad y la Competencia
Objetivo de Eje de Política Pública:
Objetivo 5. Potenciar la productividad y competitividad de la economía mexicana para lograr un crecimiento económico sostenido y acelerar la creación de empleos.
Estrategia 5.1 Integrar una agenda nacional para la competitividad que involucre a los tres Poderes de la Unión; los tres órdenes de gobierno y al sector privado; con objeto de su
necesarias y traducirlas en resultados tangibles a corto y mediano plazo.
Estrategia del Objetivo de Eje de Política Pública :
Componente: Generar conocimiento científico, desarrollo
tecnológico e innovación para mejorar la competitividad
del país, el bienestar de la población y difundir sus
resultados
Estrategia 5.2 Diseñar agendas sectoriales para la competitividad de sectores económicos de alto valor agregado y contenido tecnológico; y de sectores precursores; así como la r
Estrategia 5.3 Disminuir los costos para la apertura y operación de los negocios a través de la mejora regulatoria.
Estrategia 5.4 Fomentar condiciones de competencia económica y libre concurrencia; así como combatir a los monopolios.
Estrategia 5.5 Profundizar y facilitar los procesos de investigación científica; adopción e innovación tecnológica para incrementar la productividad de la economía nacional.
Estrategia 5.6 Aprovechar el entorno internacionalpara potenciar el desarrollo de la economía mexicana.
Tipo de Programa:
Sin Información
Programa:
Sin Información
Objetivo del Programa:
Sin Información
Objetivo Estratégico del Programa Sectorial:
Profundizar y facilitar los procesos de investigación científica, adopción e innovación tecnológica para incrementar la productividad de la economía nacional.
Objetivo Estratégico de la Dependencia ó Entidad:
Actividad: Becas otorgadas
Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad del país, el bienestar de la población y difundir sus resultados.
Objetivos
Lógica vertical del programa
No debe ocurrir:
Fin
Propósito
Componentes
Actividades
• Forzar a que en todos lo programas el
Fin corresponda a un objetivo del Plan
Nacional de Desarrollo.
• En grandes programas (Oportunidades
– Bolsa Familia) puede ser.
• En los pequeños el salto es muy
grande. Deja de existir la lógica
vertical entre Propósito y Fin.
Programa Oportunidades
SEDESOL
SEP
SS
Relación correcta
Para terminar .....
FIN
F
F
I
N
F
I
N
N
Ahora si!
Supongo!