Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina

Por Claudia Vanessa Maldonado Trujillo y Gabriela Pérez Yarahuán

En las ultimas décadas, los sistemas nacionales de monitoreo y evaluación en América Latina han experimentado múltiples cambios: han demostrado ser sistemas vivos, en constante transformación, adaptación y rediseño. Este libro busca contribuir a documentar la evolución más reciente de dichos procesos, así como a exponer la necesidad del análisis co

• Idioma: Español
• Editorial: Libreria CIDE
• Fecha de lanzamiento: 4 sept 2023

Claudia Vanessa Maldonado Trujillo

Gabriela Pérez Yahuarán es profesora investigadora asociada del Centro de Investigación y Docencia Económicas (CIDE), en el Centro de Aprendizaje en Evaluación y Resultados (CLEAR, por sus siglas en inglés) para América Latina. Es maestra en economía por la Universidad de Warwick y doctora en políticas públicas por la Universidad de Chicago. Su investigación versa sobre el diseño de políticas públicas, la economía política del gasto social y la evaluación de programas sociales. Es compiladora, Con Claudia Maldonado Trujillo, de la Antología sobre evaluación. La construcción de una disciplina (CIDE-CLEAR, 2015) Claudia Maldonado Trujillo es profesora investigadora de la División de Administración pública del CIDE, y coordinadora general del Centro CLEAR para América latina. Es maestra en asuntos públicos por la Universidad de Princeton y doctora en ciencia política por la Universidad de Notre Dame. se especializa en evaluación de Políticas públicas, política social y política comparada.

Vista previa del libro

Índice

Agradecimientos

Prólogo

Osvaldo Feinstein

Introducción: Razones para documentar avances,retos y dificultades de los sistemas de seguimiento y evaluación en América Latina

Gabriela Pérez Yarahuán y Claudia Maldonado Trujillo

I. Tiempo de retorno del Estado: Realidades y desafíos

del seguimiento y la evaluación de políticas y programas

en Argentina

Nerio Neirotti, María E. Brissón y Matías Mattalini

II. De la planificación federal al cumplimiento de los compromisos gubernamentales: El desarrollo paulatino de los sistemas de seguimiento y evaluación en Brasil

Alejandro Guerrero

III. Una construcción dinámica: El sistema de monitoreo y evaluación de Chile

Ignacio Irarrázaval y Boris De los Ríos

IV. Sinergia: Veinte años de liderazgo en los procesos de seguimiento y evaluación de la administración pública colombiana

José Danilo González Peña

V. El seguimiento y la evaluación en Costa Rica: Una mirada al Sistema Nacional de Evaluación

Eddy García y Karol Ugalde

VI. Acercamiento a los procesos de monitoreo y evaluación de la República del Ecuador: Proceso político y énfasis en el control gerencial

Efrén Guerrero Salgado y Ernesto Velasco Sánchez

VII. El sistema de seguimiento y evaluación de programas federales en México: Retos para su consolidación

Gabriela Pérez Yarahuán, Claudia Maldonado Trujillo

y Domingo Faustino Hernández

VIII. Sistema de monitoreo y evaluación en Perú

Mónica Talledo Jiménez

IX. Pequeños pasos, grandes movimientos: Panorama del sistema nacional de monitoreo y evaluación de políticas públicas en Uruguay

Leopoldo Font

X. Institucionalización de los sistemas de seguimiento y evaluación de políticas públicas en Venezuela: ¿Acercamiento o distanciamiento?

Lorayne Finol Romero

Conclusiones: Desarrollo, innovación y práctica: La institucionalización reciente de los sistemas de seguimiento y evaluación en América Latina

Gabriela Pérez Yarahuán y Claudia Maldonado Trujillo

---

Agradecimientos

Para

la elaboración de este libro, contamos con el profesionalismo de varias personas que participaron con su mejor disposición. En primer lugar, queremos agradecer a todos los autores, que trabajaron durante muchos meses en sus capítulos. Reconocemos a María E. Brissón, Lorayne Finol Romero, Leopoldo Font, Eddy García, José Danilo González Peña, Alejandro Guerrero, Efrén Guerrero Salgado, Domingo Faustino Hernández, Ignacio Irarrázaval, Matías Mattalini, Nerio Neirotti, Boris De los Ríos, Mónica Talledo Jiménez, Karol Ugalde y Ernesto Velasco Sánchez, así como a nuestro prologuista Osvaldo Feinstein —por sus aportaciones críticas—, pues además de colaborar durante arduas jornadas de trabajo, contribuyeron con comentarios y sugerencias tanto en el diseño del estudio general como en el conjunto de casos que aquí se presentan. En las diversas interacciones que sostuvimos con todos ellos, pudimos advertir el interés, incluso la pasión, que tienen por este tema. Su actitud y retroalimentación nos impulsó, en muchas ocasiones, a sacar adelante esta empresa de investigación que, como toda obra colectiva, enfrentó etapas de desconcierto, pero también de progreso y reflexión.

El brillante y profesional equipo del Centro de Aprendizaje en Evaluación y Resultados (clear, por sus siglas en inglés) para América Latina, conformado en diferentes etapas por Cris­ti­na Ga­lín­dez, Mer­ce­des Gon­zá­lez Máy­nez, Ale­jan­dro Mar­tí­nez y Oli­ver Peña Habib, entre otros, ha sido y seguirá siendo una pieza clave en nuestra misión compartida de contribuir significativamente a incrementar el conocimiento y fomentar el aprendizaje en evaluación.

El proyecto de este Panorama se comentó y discutió, en sus diferentes etapas, en varios foros y conferencias internacionales, entre los que destacan los del Centro Latinoamericano de Administración para el Desarrollo (clad), la Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe (Relac) y la Red de Monitoreo y Evaluación de América Latina y el Caribe (Redlacme). Agradecemos los valiosos comentarios, críticas y sugerencias de quienes participaron en ellos. Sus contribuciones, además de fortalecer la calidad del trabajo descriptivo y analítico, han servido para reafirmar que el esfuerzo valió la pena y que este tema se encuentra lejos de llegar a un punto de saturación. Por el contrario, dado que en los países de la región hay esfuerzos por mejorar el seguimiento, la evaluación, los procesos de innovación, así como avances y retrocesos y múltiples retos, se vuelve aún más necesario seguir documentando este desarrollo. De esa manera se podrá generar conocimiento que nutra el debate continuo y avanzar, de manera constante, hacia la construcción de instituciones que promuevan la evaluación y su uso para mejorar las políticas públicas.

El apoyo brindado por el Centro de Investigación y Docencia Económicas (cide) ha sido invaluable. Agradecemos particularmente a Natalia Cervantes, directora de Publicaciones, cuya labor de revisión y gestión de este libro ha sido fundamental para garantizar su calidad editorial. También agradecemos los comentarios y sugerencias de dos dictaminadores anónimos, que fueron sumamente útiles para mejorar el borrador final del texto. Por último, agradecemos a los miembros de la comunidad del cide y la iniciativa global clear que nos alentaron a realizar este proyecto y nos motivaron a tomar este camino. Terminamos convencidas de que es una contribución al mayor y más profundo conocimiento sobre una de las dimensiones más relevantes de las políticas públicas en América Latina.

---

Prólogo

Osvaldo Feinstein

El

Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina, editado por Gabriela Pérez Yarahuán y Claudia Maldonado Trujillo, es una valiosa obra colectiva que documenta los avances y desafíos de los sistemas nacionales de monitoreo y evaluación (MyE) en América Latina. El estudio aporta descripciones detalladas de estos sistemas en diez países de la región y complementa los trabajos que se han elaborado sobre el tema durante la última década. El Panorama es un notable repositorio de experiencias y reflexiones que son útiles para identificar oportunidades de aprendizaje en los países latinoamericanos y de otras regiones; es interesante señalar que, en India y en varias naciones africanas, ya se han tomado en cuenta las experiencias en MyE de América Latina.

El Panorama propone cuatro dimensiones para la revisión y sistematización de los estudios de caso: 1) reconocimiento de la función de MyE del Estado; 2) planeación de la evaluación; 3) metodologías de MyE; 4) utilización de la evidencia. En las conclusiones se muestran los resultados del análisis de dichas dimensiones en cada estudio de caso. El trabajo se contextualiza adecuadamente en la introducción del libro, que además explica la metodología empleada para su elaboración. Como señalan las editoras, el Centro de Aprendizaje en Evaluación y Resultados (clear, por sus siglas en inglés) para América Latina promueve, con la publicación de esta obra, el estudio periódico sobre el estado de los sistemas de MyE en la región. Ésta es una excelente iniciativa, ya que permitirá actualizar la información sobre un campo que se encuentra en evolución.

En efecto, si bien a finales del siglo xx la institucionalización de la evaluación en América Latina avanzó de manera paulatina, en los primeros años del siglo xxi el proceso se ha acelerado. Desde una perspectiva de largo plazo, pueden distinguirse cuatro etapas correspondientes a las últimas décadas. Durante la primera, que abarca los años setenta, los sistemas de MyE estuvieron centrados en proyectos concretos. En este periodo, la mayor parte de los gobiernos de la región invirtió recursos importantes en la elaboración de planes nacionales de desarrollo, incluyendo políticas públicas que no se evaluaban. Comenzaron a implementarse sistemas de MyE para los proyectos; sin embargo, en aquellos años los mayores esfuerzos se dedicaron al diseño de dichos sistemas y, prácticamente, no se realizaban evaluaciones, con excepción de las llamadas ex ante en virtud del importante apoyo de la Organización de Estados Americanos (oea) y el Banco Interamericano de Desarrollo (bid). Eran años en que los organismos internacionales contaban con amplia disponibilidad de fondos para prestar por proyectos. A mediados de la década de 1970, en Brasil y México se implementaron macroproyectos de desarrollo rural integrado, con financiamiento del Banco Mundial —Programa de Inversiones para el Desarrollo Rural (Pider) en México y Polonordeste en Brasil—; como parte de estas iniciativas, se incluyeron unidades y componentes de MyE. Fueron experiencias pioneras que en ambos países constituyeron embriones del futuro desarrollo de la evaluación institucionalizada,¹ con un efecto demostración para el resto de la región.

Los primeros trabajos sobre MyE surgieron como respuesta a las exigencias de los organismos internacionales de financiamiento; particularmente, el Banco Mundial, el bid, el Banco de Desarrollo del Caribe (cdb, por sus siglas en inglés) y el Fondo Internacional de Desarrollo Agrícola (fida). Estas instituciones solicitaban, como condición para otorgar los préstamos, que los proyectos mediante los que se asignaban los fondos incluyeran sistemas de MyE, de modo que los organismos internacionales eran los demandantes de evaluación y también sus oferentes, mediante la asistencia técnica que aportaban. Como dije en otro lugar, es así, con el apoyo de la oea, el bid y el Banco Mundial, como se fortaleció la capacidad de los gobiernos para hacer evaluaciones ex ante de los proyectos que implementaban —particularmente, en las oficinas o ministerios de planeación— y se introdujo el análisis económico, financiero y social (en la forma de precios sombra). En Costa Rica y Chile, por ejemplo, el análisis de costo-beneficio de los proyectos de inversión comenzó a mediados de los años setenta (Feinstein, 2012). En esta primera etapa, la evaluación era un requisito de los organismos internacionales de financiamiento, y los gobiernos de la región cumplían pasivamente con él, permitiendo que las instancias externas diseñaran los sistemas de MyE (los cuales, en la práctica, pocas veces funcionaban).

En este periodo, uno de los economistas del desarrollo más destacados, Albert O. Hirschman, publicó trabajos notables sobre evaluación de proyectos y políticas públicas que muy pocos evaluadores han tomado en cuenta. Él mismo no se consideraba evaluador. No obstante, sus trabajos (en su mayoría centrados en experiencias de América Latina) tuvieron influencia tanto en el diseño de nuevos proyectos como en la apreciación de las políticas públicas; aún constituyen una importante fuente de conceptos y de inspiración para los evaluadores.²

La segunda etapa en el desarrollo de la evaluación en América Latina y el Caribe transcurre en la década de 1980, cuando comienzan a realizarse evaluaciones de proyectos que ya no sólo eran ex ante. Sin embargo, dichas evaluaciones se limitaban a los proyectos financiados por los organismos internacionales, los cuales contrataban, casi sin excepción, a consultores extranjeros para elaborarlas. También apoyaron en esta segunda etapa la formación de capacidades en MyE, mediante cursos breves y seminarios en que se fueron conformando cuadros técnicos de la región. Destacan los seminarios periódicos de MyE impartidos por la Unidad Regional de Asistencia Técnica (ruta, por sus siglas en inglés), con sede en San José, Costa Rica, que contaba con el apoyo de los organismos internacionales y de los países centroamericanos.

En los años noventa comienza la tercera etapa, durante la cual algunos gobiernos de la región (especialmente Chile, Colombia, México y Brasil) comenzaron a interesarse en la evaluación de sus programas y políticas. En Colombia, la evaluación se mencionaba ya en la reforma de la Constitución de 1991, y el sistema de evaluación se ancló en la Dirección Nacional de Planificación; en cambio, en Chile, este sistema se desarrolló en el Ministerio de Hacienda.³

La cuarta etapa inició con el siglo xxi, al consolidarse los avances que habían comenzado en la etapa anterior. Este periodo se caracteriza por la nueva importancia que los gobiernos de más países confirieron a la evaluación de sus intervenciones (como Perú, Costa Rica, Ecuador) y por el creciente interés de las organizaciones de la sociedad civil. En esta etapa, la evaluación se percibe como uno de los elementos clave de un buen gobierno, de una gobernanza adecuada. Hacia finales de la década de 1990, las experiencias de institucionalización de la evaluación incluían ya a varios países de la región. Cunill y Ospina (2008) y Zaltsman (2006) presentan descripciones y análisis comparativos de estos casos en sus primeras fases.

La evolución que tuvo la institucionalización de la evaluación en América Latina puede apreciarse en el trabajo del bid sobre gestión para resultados, en el que desarrolla una métrica de sus cinco pilares; entre ellos se encuentran el monitoreo y la evaluación (los demás son la planificación para resultados; el presupuesto por resultados; la gestión financiera, auditoría y adquisiciones; y, finalmente, la gestión de programas y proyectos).⁴ El pilar de MyE incluye las instituciones que realizan las actividades de monitoreo, los alcances de éste en los programas y proyectos, el uso y la difusión de la información producida por el monitoreo, los sistemas de información estadística, el marco legal e institucional de la evaluación, el alcance y articulación del sistema de evaluación, las acciones derivadas del cumplimiento de metas y la difusión de los resultados de las evaluaciones. Los países con puntajes más altos en este pilar, y más específicamente en evaluación, son Brasil, Chile, Colombia y México (también en la versión actualizada: Feinstein y García, 2015). Casi todos los países de la región tienen puntajes muy bajos y presentan un margen significativo para mejorar. Es importante destacar que la heterogeneidad en los grados de desarrollo de los sistemas de evaluación en América Latina crea oportunidades valiosas para la cooperación entre países, incluso entre los países cuyos puntajes son los más elevados.⁵

Como he sostenido, los avances en evaluación son fundamentales para las experiencias de reforma institucional en América Latina, porque permiten mejorar la rendición de cuentas y aportar al aprendizaje basado en la experiencia. Este Panorama describe, analiza y sintetiza desarrollos significativos en la institucionalización de la evaluación en países latinoamericanos. La evaluación constituye un importante apoyo a la gestión pública, pues genera conocimientos sobre resultados concretos que pueden servir para el diseño o rediseño de las reformas basadas en evidencia.⁶ De este modo, puede mejorar también el desempeño de los gobiernos y así contribuir a resolver el problema que identificó Carlos Fuentes —en Tres discursos para dos aldeas— hace ya varias décadas: El problema no es más Estado o menos Estado, sino mejor Estado.

Referencias

Cunill-Grau, N. y S. Ospina. 2008. Fortalecimiento de los sistemas de monitoreo y evaluación (MyE) en América Latina. Informe comparativo 12 países. Caracas: Banco Mundial-Centro Latinoamericano de Administración para el Desarrollo (clad).

Feinstein, O. y M. García. 2015. Seguimiento y evaluación, en J. Kaufmann et al. (eds.), Construyendo gobiernos efectivos. Washington, D. C.: Banco Interamericano de Desarrollo (bid).

Feinstein, O. 2012. La institucionalización de la evaluación de políticas públicas en América Latina. Presupuesto y Gasto Público, 68, pp. 41-52.

______. 2014. Evaluación de la cooperación al desarrollo: retos y oportunidades. Revista de Evaluación de Programas y Políticas Públicas, 3, pp. 3-18.

______. 2015. Sobre el desarrollo de los sistemas de evaluación en América Latina y el Caribe. Revista del clad Reforma y Democracia, 62, pp. 193-210.

Feinstein, O. y G. Hernández. 2008. El papel de la evaluación en México: logros, desafíos y oportunidades. México: Banco Mundial/Secretaría de Hacienda y Crédito Público (shcp).

García, R. y M. García. 2010. La gestión para resultados en el desarrollo. Washington, D. C.: Banco Interamericano de Desarrollo (bid).

Goldman, Ian, B. Rabie y M. Abrahams. 2015. Development of South Africa’s National Evaluation Policy and System, 2011-2014. African Evaluation Journal, 3, pp. 1-7.

Maldonado, C. y C. Galíndez (eds.). 2013. Monitoreo, evaluación y gestión por resultados. Aprendizaje y cooperación sur-sur para la innovación: el papel de los actores subnacionales. México: Centro clear para América Latina-Centro de Investigación y Docencia Económicas (cide).

May, E., D. Shand, K. Mackay, F. Rojas y J. Saavedra (eds.). 2006. Hacia la institucionalización de los sistemas de monitoreo y evaluación en América Latina y el Caribe. Washington, D. C.: Banco Interamericano de Desarrollo (bid)-Banco Mundial.

ocde-dac. Organización para la Cooperación y el Desarrollo Eonómicos-Comité de Ayuda al Desarrollo. 2002. Glosario de los principales términos sobre evaluación y gestión basada en resultados. París: ocde.

Pérez-Yarahuán, G. 2014. Desarrollo, innovación y práctica de la evaluación de programas gubernamentales: La institucionalización reciente de los sistemas de seguimiento y evaluación en América Latina. Documento presentado en el XIX Congreso Internacional del clad sobre la Reforma del Estado y de la Administración Pública. Quito: 11-14 de noviembre.

pnud. Programa de las Naciones Unidas para el Desarrollo. 2009. Evaluación de los resultados de desarrollo: Chile. Nueva York: Oficina de Evaluación.

Porter, S. y O. Feinstein (2014). Demand for and Supply of Evaluations in Selected Sub-Saharan African Countries. Johannesburgo: Centro clear para África Anglófona.

Rojas, F., K. Mackay, Y. Matsuda, G. Shepherd, A. del Villar, A. Zaltsman y P. Krause. 2006. Chile: análisis del Programa de Evaluación del Gasto Público. Washington, D. C.: Banco Mundial.

Tendler, J. 1993. New Lessons from Old Projects: The Workings of Rural Development in Northeast Brazil. Washington, D. C.: Banco Mundial.

Wiesner, E. 2008. The Political Economy of Macroeconomic Policy Reform in Latin America. Cheltenham: Edward Elgar.

Zaltsman, A. 2006. Experience with Institutionalizing Monitoring and Evaluation Systems in Five Latin American Countries: Argentina, Chile, Colombia, Costa Rica, and Uruguay. Washington, D. C.: ecd.

---

¹ Para el caso mexicano, véase Feinstein y Hernández (2008); para el brasileño, véase Tendler (1993).

² La Conferencia de la Sociedad Europea de Evaluación, en octubre de 2014, dedicó un panel a Hirschman como evaluador.

³ Véanse Feinstein (2012), May (2006) y Rojas (2006).

⁴ Véase García y García (2010). Una versión actualizada de ese trabajo se presenta en Feinstein y García (2015).

⁵ Por ejemplo, la evaluación del Programa de las Naciones Unidas para el Desarrollo (

pnud

, 2013) sobre el Programa de País: Chile (el American Depositary Receipt [

adr

] de Chile) señaló que el país podría beneficiarse de la experiencia mexicana en evaluación de programas sociales. Sobre la cooperación sur-sur y el papel de los gobiernos subnacionales, véase Maldonado y Galíndez (2013).

⁶ Sobre la economía política del aprendizaje de la historia y el papel de la evaluación en este proceso, véase Wiesner (2008: 44-45).

---

Introducción: Razones para documentar avances, retos y dificultades de los sistemas de seguimiento y evaluación en América Latina

Gabriela Pérez Yarahuán y Claudia Maldonado Trujillo

Los

gobiernos en América Latina han experimentado un gran dinamismo en la generación de instituciones asociadas a los temas de seguimiento¹ y evaluación de programas y políticas públicas, particularmente en la última década. La situación regional en materia de seguimiento y evaluación en el sector público es hoy, en general, muy diferente de la que prevalecía hace tres décadas. La explicación de esta evolución está relacionada con diversos elementos. Por una parte, la situación económica y fiscal de Latinoamérica, consecuencia de las crisis de los años setenta y ochenta, obligó a los gobiernos a adoptar medidas de ajuste estructural con mayores restricciones en el gasto público y a implementar reformas fiscales y financieras en los años ochenta y noventa. Estas últimas dieron lugar a importantes avances, que ocurrieron por medio de la generación de instituciones y reglas para controlar el déficit público, nuevas leyes de responsabilidad fiscal y medidas para mejorar la transparencia. Por otra parte, las olas democratizadoras abrieron cauces para las demandas y presiones sociales enfocadas en la efectividad de la acción gubernamental. Asimismo, influyeron en este cambio la formulación y difusión de nuevos paradigmas de gestión gubernamental, al igual que la promoción por parte de organismos internacionales de esquemas y reglas de actuación gubernamental más claramente orientadas a resultados y a la generación de valor público.

Existen investigaciones que han documentado la evolución de las actividades de seguimiento y evaluación en la región latinoamericana, utilizando estudios de caso de países acompañados por marcos teóricos y metodológicos explícitos (Cunill-Grau y Ospina, 2003, 2008, 2012; Feinstein, 2012; García y García, 2010; López, Mackay y Krause, 2012; López et al., 2010; Mackay, 2006, 2012; Neirotti, 2012; Preval-fida, 2007). Gracias a estas investigaciones hemos conocido y aprendido de las diferentes experiencias, y tenido acceso a los avances, retos y dificultades que presenta la implementación de sistemas de seguimiento y evaluación en América Latina. Una de las lecciones centrales que se extrae de los primeros análisis de estas trayectorias se refiere a la naturaleza discontinua —no lineal— del desarrollo institucional y la adaptación burocrática a este tipo de reformas. A pesar de los indiscutibles logros, persisten también obstáculos y retrocesos en la conformación institucional.

Los sistemas de seguimiento y evaluación, por su efecto en la estructura y la dinámica de la gestión pública, son sistemas vivos en constante transformación, adaptación y rediseño. El objetivo de este proyecto es contribuir a documentar la evolución más reciente de estos procesos en el contexto latinoamericano y exponer la necesidad del análisis continuo del desarrollo y la innovación en materia de seguimiento y evaluación de programas gubernamentales. En respuesta a la necesidad de contar con información actualizada acerca del desarrollo de dichos sistemas, el Centro de Aprendizaje en Evaluación y Resultados (clear, por sus siglas en inglés) para América Latina promueve, con el lanzamiento de este Panorama, la realización periódica de estudios nacionales sobre el estado de los sistemas de evaluación y seguimiento en la región, con una serie de objetivos complementarios. En primer lugar, con esta línea editorial, clear busca ofrecer referencias útiles y actualizadas a los interesados en el tema; en segundo lugar, a partir de esta descripción inicial, aspira a contribuir a la articulación de líneas de investigación sólidas sobre el desarrollo comparado de los sistemas de seguimiento y evaluación e identificar las implicaciones para su fortalecimiento y consolidación. En tercer lugar, al realizar una convocatoria abierta para la participación en este estudio, clear busca promover el conocimiento y la difusión de las perspectivas nacionales, incorporando nuevos actores en la red de colaboración e investigación de la región. Finalmente, la aproximación abierta —exploratoria— del Panorama busca maximizar la apropiación del análisis y poner la definición de los referentes conceptuales y teóricos de los estudios de caso en manos de los propios autores. Lo anterior permite destacar la variación en las dimensiones más relevantes para la reflexión sobre los sistemas de evaluación y seguimiento, en función del contexto particular de cada país y de su debate de política pública.

Este capítulo introductorio tiene como propósito ofrecer un punto de partida basado en algunas de las lecciones aprendidas gracias a estudios previos destacados en el tema; asimismo, describe la metodología propuesta para la realización del presente libro.

La evaluación de programas, como práctica de gobierno, es más que la aplicación de métodos de investigación social para la descripción de una realidad particular, o la estimación de las consecuencias de la implementación de una intervención o un programa público. La evaluación de programas, entendida como la investigación aplicada que busca comprender una realidad para incidir en ella, se desarrolla en contextos particulares que determinan sus características y sus efectos. Desde esta perspectiva, es necesario comprender la ecología social en torno a la práctica evaluativa (Rossi, Lipsey y Freeman, 2004); esta ecología de la evaluación está continuamente sujeta a cambios, evolución y desarrollo.

El seguimiento y la evaluación de programas y políticas públicas se llevan a cabo mediante la interacción de múltiples actores con intereses, mandatos e incentivos diversos, con papeles diferentes y desde perspectivas distintas. En la esfera gubernamental, los programas y las intervenciones específicas que se monitorean y evalúan se encuentran insertos en estructuras colectivas, es decir, en organizaciones en las que participan e interactúan múltiples actores. Los diseñadores, financiadores, operadores y responsables de los programas desempeñan papeles diferentes en las intervenciones evaluadas. Para cada uno de ellos, la evaluación puede tener distintos propósitos; para algunos, es un mecanismo de rendición de cuentas; para otros, sirve como herramienta de aprendizaje y mejora, mientras que otros pueden encontrar en ella una forma de situar los programas o su propia labor. Estas interacciones están contenidas en un marco institucional en continua evolución, que debe analizarse para comprender los resultados del ejercicio de seguimiento y evaluación de los diversos contextos.

Comparada con otras regiones en desarrollo, América Latina parece haber avanzado con mayor certeza en el desarrollo de sistemas de evaluación y seguimiento de programas gubernamentales (Mackay, 2006, 2012; López et al., 2012). Después de dos décadas en las que el tema ha formado parte de la agenda de la reforma administrativa, el seguimiento y la evaluación de programas gubernamentales se encuentran bien posicionados en el discurso político y administrativo de una proporción importante de los gobiernos de la región. La referencia a sistemas de evaluación gubernamental es frecuente en reportes, en documentos oficiales y en la comunicación política. Sin embargo, durante estos años el progreso no ha sido lineal, tanto entre países como dentro de los mismos. Se experimentan avances y retrocesos de manera constante, ligados a las dificultades inherentes a la evaluación como práctica y función del Estado, en entornos complejos y con múltiples intereses en juego.

Pareciera que la evaluación del gasto público en el marco de la gestión para resultados, tanto en la investigación administrativa como en la práctica de gobierno, empieza a convertirse en un asunto permanente: más allá de la evaluación como mero ejercicio aislado de investigación aplicada, ajeno a las estructuras organizativas del gobierno, hemos de enfocarnos en la hechura, conformación, institucionalización y sostenibilidad de los sistemas dentro de la esfera pública. Al revisar diferentes caracterizaciones recientes de los sistemas de seguimiento y evaluación, podemos observar que los componentes que se mencionan abarcan, por una parte, la naturaleza de los actores y, por otra, las formas de interacción entre ellos. Los estudios también mencionan los factores contextuales, pero muchas veces las descripciones no ponen énfasis en las diferencias de los elementos constitutivos. Para Mackay (2007), por ejemplo, los aspectos relevantes que caracterizan los sistemas de seguimiento y evaluación pueden sintetizarse en: 1) sucesos clave (políticos, económicos o sociales) que dieron origen al sistema; 2) características de los principales responsables (particularidades de la gestión, los papeles y responsabilidades de los principales involucrados); 3) utilización de la información de seguimiento y evaluación, particularmente en el proceso presupuestario y para los organismos operadores y programas; 4) tipos de seguimiento y evaluación más utilizados; 5) responsabilidades claras para la recopilación de la información y para llevar a cabo las evaluaciones; 6) apoyo de los financiadores de la evaluación.

Cunill-Grau y Ospina (2008: 14), en su amplio estudio, consideraron las siguientes características mínimas de los sistemas nacionales de evaluación: existencia formal, manejo del sistema por una entidad con funciones y autoridad sobre la administración pública, regularidad de las actividades de seguimiento y evaluación, intención de cobertura global, uso de la información, articulación explícita de los usuarios y de las funciones del sistema, ubicación del mismo bajo la autoridad de la rama ejecutiva, el papel regulador del sistema dentro de la administración pública y las herramientas e instrumentos desarrollados sistemáticamente para realizar el seguimiento y la evaluación.

Con el fin de diagnosticar las capacidades institucionales en la implementación de la gestión pública para resultados, el Banco Interamericano de Desarrollo (bid) diseñó el Sistema prodev,² el cual analiza cinco pilares conceptuales del ciclo de gestión para resultados (García y García, 2010). El quinto de estos pilares se refiere al seguimiento y la evaluación, definidos como las capacidades institucionales que tiene el sector público para realizar el seguimiento y evaluar los resultados alcanzados por las políticas, los programas, los proyectos y las actividades tendientes a crear valor público (Kaufmann, Sanginés y García, 2015: 211). Los aspectos considerados para la evaluación se agrupan en los siguientes ocho rubros: instituciones de seguimiento, alcance del seguimiento de los programas y los proyectos, uso y difusión de la información de monitoreo, sistemas de información estadística, marco legal e institucional de la evaluación, alcance y articulación del sistema de evaluación, acciones derivadas del incumplimiento de metas y, finalmente, difusión de los resultados de las evaluaciones.

Reconociendo que los sistemas de seguimiento y evaluación han de poseer características diferenciadas según los diversos contextos nacionales en que se encuentren insertos, López, Mackay y Krause (2012) señalan los siguientes factores como piezas que contribuyen a la formación de dichos contextos: la demanda gubernamental por la información, los usos de la información generada, la disponibilidad y calidad de la información gubernamental, las habilidades de los funcionarios y consultores para evaluar y analizar la información del sistema y, por último, el financiamiento disponible para el mismo.

Finalmente, Feinstein (2012), por su parte, propone que la institucionalización de los sistemas de evaluación se puede valorar considerando los siguientes elementos: 1) demanda de evaluación (solicitudes explícitas y periódicas de evaluaciones, actores explícitos y fondos para contratación); 2) oferta de evaluación (instituciones o pro­fe­sio­nales con experiencia en contratar evaluaciones, actividades de desarrollo de capacidades en evaluación, instituciones con capacidad potencial para contratar y realizar evaluaciones); 3) vinculación (existencia de instrumentos o medios de vinculación, mecanismos de ajuste entre demandas y ofertas, desarrollo de un mercado de evaluadores); 4) uso de las evaluaciones (si se utilizan o no, quiénes son los usuarios, promoción del uso).

Como es evidente en el Panorama, las investigaciones aquí presentadas coinciden en algunos elementos característicos de los sistemas de evaluación y seguimiento, tales como el uso de la información generada o la existencia de instituciones formales. Para su propuesta de análisis, descrita en el capítulo final, este libro se enfoca particularmente en cuatro dimensiones, presentes en los estudios previos y asociadas principalmente a los mecanismos de interacción de los actores del sistema. Éstas son: 1) el reconocimiento formal de las actividades de seguimiento y evaluación como parte intrínseca de la gestión gubernamental mediante la promulgación de leyes, decretos, reglamentos u otro tipo de normas formales, o bien por medio de la creación de organizaciones a cargo de las mismas; 2) la existencia de planeación de las actividades de seguimiento y evaluación; 3) la determinación y publicación del tipo de metodologías utilizadas; 4) el grado de utilización de la información y la evidencia generadas mediante el seguimiento y la evaluación. Estas dimensiones se explicarán con mayor detalle en el capítulo final, en donde se encuentra el análisis global de los estudios de caso que conforman el Panorama. Mientras tanto, antes de proceder a presentar los diez casos que se incluyen en esta publicación, resulta pertinente discutir de manera breve la evolución de los sistemas de seguimiento y evaluación, y su situación en la primera década del siglo xxi. Esto ha sido previamente documentado por los estudios arriba citados.

Ya en 2005 era evidente que existía un número creciente de países en América Latina que se encontraban trabajando en el fortalecimiento de sus actividades de seguimiento y evaluación (May et al., 2006). Esta expansión fue una respuesta, en primer lugar, al contexto social y económico, incluyendo el descontento con la calidad y cantidad de servicios públicos, las presiones crecientes para mejorar y extender la prestación de servicios y transferencias, la demanda por incorporar rendición de cuentas y control social, y las continuas restricciones macroeconómicas. En segundo lugar, tuvo influencia el efecto demostración de un conjunto de países que comenzaron desde finales de la década de 1990, o incluso antes, con la construcción de instituciones para el seguimiento y la evaluación, como Chile, Colombia, México y Brasil (Mackay, 2007: 17).

En el estudio coordinado por Cunill-Grau y Ospina (2008), se argumenta que la institucionalización de los sistemas de seguimiento y evaluación está en función de la edad del sistema y de las condiciones bajo las cuales éste se crea e implementa, así como del interés político y técnico que recibe. Las autoras parten de la premisa de que el grado de institucionalización depende de los siguientes cuatro factores: 1) la diversificación funcional e instrumental (que incluye la capacidad para consolidar funciones e instrumentos); 2) la coherencia institucional (capacidad de integración interna y transversal); 3) el uso de la información (credibilidad, acceso, consumo e impacto); 4) la sostenibilidad (normativa, financiera y personal). Utilizando estos factores, establecen una clasificación de los sistemas que incluye: sistemas con orientación predominantemente política (Colombia, Costa Rica, Nicaragua, Honduras, Brasil), sistemas con orientación predominantemente económica (Chile, Perú, Argentina, México, Paraguay) y sistemas con orientación expresamente económica y política. Las conclusiones señalan una relativa debilidad en la mayoría de los sistemas en lo que concierne a la función de evaluación. Aunque en Brasil, Chile, Colombia y México existían actividades de evaluación y seguimiento documentadas, los sistemas de Nicaragua y Uruguay solamente usaban herramientas de seguimiento. En Costa Rica, Perú, Paraguay y Honduras los sistemas también efectuaban únicamente seguimiento, pero se planeaba introducir herramientas de evaluación eventualmente.

A mediados de la primera década del siglo xxi, ya se contaba con avances documentados gracias a la difusión de la medición de objetivos de desempeño y al concepto de presupuesto basado en resultados. En aquel momento, uno de los retos para la institucionalización era la coordinación entre los distintos organismos con funciones de evaluación y seguimiento. En cuanto al uso instrumental de las evalua­ciones, los estudios disponibles señalan que, en la mayoría de los casos, la falta de credibilidad fue uno de los factores clave para explicar el bajo nivel de utilización. Entre los elementos que afectan la credibilidad de la evaluación destacan la calidad de los datos, el origen de la evaluación —ya que en muchos casos se realiza desde el propio gobierno— y la falta de mecanismos de retroalimentación. Otro factor relevante es la actitud del gobierno y del legislativo en turno respecto a los procesos de seguimiento y evaluación. Hasta 2007, gran parte de estos sistemas en la región latinoamericana había tenido un impacto escaso y pocas consecuencias directas en los resultados (Cunill-Grau y Ospina, 2008). Una de las acciones pendientes en esta materia es un análisis de las evaluaciones por tipo de uso, pues no debería pensarse solamente en el instrumental, sino también habrían de incluirse otros tipos, como el uso simbólico o el conceptual.

En 2007, de acuerdo con el primer análisis del prodev, la mayoría de los países de América Latina y el Caribe poseía sistemas de seguimiento del cumplimiento de los objetivos de gobierno, pero éstos se encontraban en la fase inicial de desarrollo. Las limitaciones más importantes de dichos sistemas para contribuir a la gestión para resultados eran la ausencia de normas técnicas y metodologías de trabajo establecidas formalmente, la falta de articulación entre la información de cumplimiento de metas-objetivos y la de inversión de recursos, y la inexistencia de indicadores de productos y de efectos. También se observó entonces que los sistemas de evaluación estaban menos desarrollados que los de seguimiento; muy pocos países habían institucionalizado la práctica de evaluación ex post de programas y proyectos. Con excepción de cuatro países (Chile, Colombia, Brasil y México), los demás mostraban una falta de capacidad en evaluación. Además, los informes de evaluación no se utilizaban como recursos para mejorar el diseño o la ejecución de otros proyectos (García y García, 2010).

El análisis realizado para el periodo de 2007 a 2013, utilizando la misma metodología del Sistema de Evaluación del prodev, muestra que no hubo un avance significativo en el progreso de los sistemas de seguimiento y evaluación en esos años. Si bien pudo observarse que la mayoría de los países está realizando esfuerzos para diseñar y poner en funcionamiento dichos sistemas, el estudio apunta a la notable heterogeneidad en la situación y la evolución de los sistemas de seguimiento y evaluación en América Latina. Existe un grupo de países que ha logrado avances importantes y que se encuentra en un nivel de desarrollo alentador, pero la gran mayoría sufre un estancamiento en la evolución y el fortalecimiento de sus sistemas o, incluso, ha tenido deterioros o retrocesos en su conformación institucional. Las brechas existentes consisten en la disparidad normativa, la heterogeneidad de instituciones con responsabilidades diferentes y en ocasiones incompletas en la materia, la diversidad y a veces falta de instrumentos para realizar el seguimiento y la evaluación, la poca coordinación entre actores involucrados, la insuficiente comunicación de los productos y el uso dado a la evaluación (Kaufmann, Sanginés y García, 2015).

Esta evidencia muestra la necesidad de comprender con mayor detalle y en un contexto dinámico las particularidades de los sistemas y de los elementos detonantes del cambio, para de esta manera