Antología sobre evaluación (2da. Edición): La construcción de una disciplina

Por Gabriela Pérez Yarahuán y Claudia Maldonado

En las últimas décadas, se han fortalecido los espacios profesionales para la evaluación de políticas y programas públicos, y se ha abierto el espacio político para canalizar la información que ésta produce. Este intercambio se puede nutrir significativamente con el acceso a investigaciones, tanto teóricas como aplicadas, que hasta ahora han sido r

• Idioma: Español
• Editorial: Libreria CIDE
• Fecha de lanzamiento: 4 sept 2023

Gabriela Pérez Yarahuán

Claudia Maldonado Trujillo es profesora investigadora de la División de Administración Pública del Centro de Investigación y Docencia Económicas. Es maestra en asuntos públicos por la Universidad de Princeton y doctora en ciencia política por la Universidad de Notre Dame. Se especializa en evaluación de políticas públicas, política social y política comparada. Es coeditora, con Mariana Magaldi de Sousa, de La integración depolíticas públicas para el desarrolh: Brasil y México en perspectiva comparada (CIDE, 2014) y, con Guillermo Cejudo, del libro De las recomendaciones a las acciones. La experiencia del Premio 2011:Programas Federales Comprometidos con el Proceso de Evaluación (cLEAR, 2011). Es miembro del Sistema Nacional de Investigadores. Gabriela Pérez Yarahuán es profesora asociada del Centro de Investigación y Docencia Económicas y coordinadora general del Centro CLEAR para América Latina. Es maestra en economía por la Universidad de Warwick y doctora en políticas públicas por la Universidad de Chicago. Su investigación versa sobre el diseño de políticas públicas, la economía política del gasto social y la evaluación de programas sociales. Es coeditora, con Claudia Maldonado Trujillo, del Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina (CIDE-CLEAR, 2015). Es miembro del Sistema Nacional de Investigadores.

Vista previa del libro

Índice

Agradecimientos

El proyecto de las antologías sobre evaluación es producto de un esfuerzo colectivo; en él participaron muchas personas que merecen reconocimiento público y todo nuestro agradecimiento por su profesionalismo, generosidad y compromiso. En virtud de todas estas contribuciones, logramos materializar lo que empezó con una serie de conversaciones informales motivadas por una pasión compartida: la docencia e investigación sobre evaluación y la preocupación por nutrir y hacer accesible el debate global sobre el estudio y la práctica de la evaluación en América Latina. A lo largo de los meses que tomó la integración de este primer tomo, tuvimos el gusto de colaborar con una red de instituciones y personas de diversos países, que acompañaron con entusiasmo esta iniciativa, aportaron retroalimentaciones valiosas y fortalecieron nuestra convicción en la pertinencia de este proyecto editorial. En México, contamos con un ambiente excepcional para su realización. En primer lugar, queremos agradecer a nuestra casa académica: el Centro de Investigación y Docencia Económicas ( cide ), que ha sido siempre el cómplice ideal para formular proyectos que motivan y extienden el debate académico; le ofrecemos nuestro más profundo agradecimiento por adoptar esta iniciativa y hacerla propia. Igualmente, contamos con el apoyo decidido de todo el equipo del Regional Center for Learning on Evaluation and Results (Centro clear ) para América Latina. Queremos agradecer muy especialmente a Mercedes González Máynez —quien comenzó la ardua tarea de recolección de textos y resolvió lo relacionado con los derechos de propiedad—, por su dedicación y profesionalismo; a Cristina Galíndez, que siempre alentó y sirvió de ancla en los momentos en que el ánimo menguaba. Agradecemos también a Alejandro Martínez y a Oliver Peña Habib, quienes participaron en el proceso de revisión técnica y editorial. Alejandro propuso mejoras importantes en la primera versión de la traducción y Oliver, con su profunda pasión por el detalle, contribuyó de manera fundamental, y con el mejor ánimo, en el último trecho del camino, quizá el más arduo.

Del mismo modo, damos las gracias también a nuestros amigos y colegas de la comunidad de práctica. A María Bustelo, por el entusiasmo que mostró por el proyecto y por habernos motivado a continuarlo; a Victoria Sánchez Esteban, Arlette Pichardo y Luis Soberón, por participar en el panel de discusión sobre los textos incluidos en este tomo durante la IV Conferencia ReLAC, en marzo de 2015 en Lima, y a Pablo Rodríguez Bilella, por su ayuda en la realización de dicho encuentro.

Además, agradecemos a la iniciativa global clear y a todas aquellas personas con las que se ha discutido este proyecto como parte de nuestra misión de fortalecer las capacidades en seguimiento y evaluación para el desarrollo. Particularmente, queremos agradecer a Caroline Heider (Independent Evaluation Group, Banco Mundial), a Monika Weber-Fahr, Nidhi Khattri y Ximena Fernández-Ordoñez (clear Global) y a Cheryl Gray (ove, bid), por apostar y comprometerse con la visión de clear, y por apoyar decididamente la conformación del Centro para América Latina. Además de una fuente constante de conocimiento, han sido compañeras solidarias de muchas de nuestras inquietudes. La iniciativa clear ha fungido en estos años como un espacio propicio para la innovación y la creatividad en evaluación, con la profunda convicción de que es posible rendir cuentas, aprender y producir mejores resultados en la acción pública. Este proyecto forma parte de nuestra muy modesta contribución a esa aspiración.

Finalmente, agradecemos por adelantado a los lectores, evaluadores, profesores y alumnos, cuya retroalimentación se aprecia siempre y nos motiva a continuar nuestro trabajo.

Prólogo

María Bustelo Ruesta

La famosa frase no existe nada tan práctico como una buena teoría de Kurt Lewin, mencionada tanto en el estudio introductorio como en el artículo de Mark W. Lipsey incluidos en esta antología, resume muy bien la vocación de este primer tomo sobre la importancia y el contexto de la evaluación que nos presenta el Centro clear para América Latina, y que tengo el honor de prologar.

Esta excelente iniciativa de clear —difundir en América Latina algunos de los textos básicos que componen lo que podríamos llamar el corpus teórico de la evaluación de programas y políticas públicas— logra llenar un vacío importantísimo, de vital necesidad para el desarrollo de la evaluación como actividad científica y profesional con gran potencial transformador y de aprendizaje para la mejora de las políticas públicas, la rendición de cuentas y la buena gobernanza.

La producción teórica sobre evaluación, que como veremos más adelante incluye también aspectos prácticos y aplicados, ha sido ingente y prolífica durante los últimos treinta años, apoyada por el desarrollo profesional¹ —aunque de forma desigual y asincrónica en las diferentes regiones del mundo— de lo que Scriven llama la trasdisciplina de la evaluación.² Sin embargo, el acceso a este corpus teórico ha estado limitado en el mundo de habla hispana, no sólo por la importante barrera de la lengua, sino también, como recuerdan las compiladoras en el estudio introductorio, por ser publicaciones costosas y de baja circulación. A esto hay que añadir la asombrosa falta de traducciones al español de obras clave para la evaluación, traducidas a muchas otras lenguas con mercados editoriales más pequeños, que por razones que desconozco no han captado el interés de los lectores hispanohablantes. Así pues, no podemos más que celebrar iniciativas como ésta, que, además de invertir en la traducción de textos ya clásicos, los vuelven de acceso libre sin que medien intereses editoriales de carácter comercial.

Comparto con las compiladoras de este tomo la docencia sobre evaluación a profesionales de las administraciones, la consultoría y el tercer sector, lo mismo de grado que de posgrado, y por ello tengo la certeza de que estas antologías serán un recurso valiosísimo. Prescindiendo de si se trata de formación específica de posgrado en evaluación —como el máster en evaluación de programas y políticas públicas de la Universidad Complutense, que dirijo desde 2002— o sólo de una asignatura de evaluación en el máster en gobierno y administración pública o el grado en gestión pública, esta antología servirá como importante referencia y material docente. Además, me gustaría añadir otros dos importantes públicos objetivo, dentro de lo que podríamos denominar de manera amplia el desarrollo de capacidades de evaluación, que también se beneficiarán enormemente de este tomo. Por un lado, y es experiencia que comparto con las compiladoras, está la realización de capacitaciones cortas a funcionarios y profesionales de lo público en diferentes sectores; a pesar de que, por su naturaleza, dichas formaciones suelen ser insuficientes para una instrucción completa en evaluación, cumplen un papel muy importante en la sensibilización hacia una cultura de evaluación, porque son, en muchos casos, la puerta de entrada a la mayor especialización en evaluación de algunos de esos profesionales. Por otro lado, también he podido comprobar, en estos últimos años de involucrarme profundamente en una creciente y cada vez más fuerte comunidad de evaluación (en la Sociedad Española de Evaluación, la Sociedad Europea de Evaluación y, de manera más reciente, la emergente Asociación Ibérica de Profesionales por la Evaluación, así como en los intercambios con otras redes internacionales, como la ReLAC y demás asociaciones latinoamericanas), que la formación continua y de constante reciclaje de los profesionales de la disciplina está muy presente y es parte de la vida cotidiana de una vibrante comunidad global de evaluación, a la que me siento muy orgullosa de contribuir y pertenecer. No sólo es una comunidad en la que nos encontramos profesionales de diferentes sectores del mundo de la evaluación (evaluadores, comanditarios, gestores, responsables de unidades de evaluación o formuladores de políticas de evaluación, docentes e investigadores, consultores), sino que se caracteriza por un constante debate e intercambio y, en general, por la importancia concedida al reciclaje profesional y al aprendizaje continuo. Como consecuencia de ello, diría que somos una comunidad que consume especialmente lecturas, reflexiones, materiales, estudios e investigaciones, ya que estamos genuinamente comprometidos con la difícil tarea de fomentar la cultura de la evaluación en nuestros gobiernos, administraciones públicas y organizaciones; esta labor necesita creatividad, innovación, reflexión e intercambio comparativo, ensayo y error, y todo esto se hace mejor sobre una base teórica sólida y amplia, construida a partir del intercambio y la experiencia. La comunidad hispanohablante de evaluación, sin duda, forma parte de esta sociedad global, pero en muchas ocasiones los recursos con los que cuenta son limitados. Sea bienvenida, entonces, esta antología en la pujante —y de enorme vitalidad— comunidad de evaluación latinoamericana; en la española nos sentimos profundamente agradecidos de ser los invitados naturales por nuestros vínculos lingüísticos e históricos.

Estoy convencida de que esta antología no sólo aumentará el diálogo y el debate, el intercambio y el aprendizaje, sino también estimulará la producción de lecturas y materiales de evaluación. Es decir, además de aumentar el número de escritos disponibles en español, el mero hecho de hacer más accesibles las lecturas importantes sobre la disciplina contribuirá, sin duda, a promover una necesaria producción propia de la comunidad profesional y académica hispanoamericana y española.

La elección de los temas de esta primera antología, en torno a la importancia y el contexto de la evaluación, resulta sumamente acertada. Además de los conceptos básicos sobre qué es y qué pretende la evaluación, los textos seleccionados versan sobre la importancia de la evaluación para las sociedades democráticas, en las que el aprendizaje, la rendición de cuentas, la comprensión y orientación hacia acciones futuras son elementos esenciales para la buena gobernanza.³ Esta antología presenta, entre muchos otros temas, asuntos tan importantes como los inicios de la teoría del programa, hoy fundamental para la evaluación; la necesidad de profundizar en las elecciones metodológicas, que van más allá de la utilización de técnicas cuantitativas o cualitativas; el reconocimiento de que la evaluación se desenvuelve en un escenario en el que el programa, y no su evaluación, es prioritario; el papel que los stakeholders y los evaluadores pueden o deben cumplir en el proceso, sin olvidar un elemento primordial que sobrevuela y engloba al resto: que la evaluación emerge en un contexto social y político, y debe responder a él. En efecto, la selección de los diferentes artículos y capítulos, que pueden todos considerarse clásicos de la evaluación —pese a los diferentes momentos en que se escribieron: desde 1983 (Chen y Rossi) hasta 2006 (Chelimsky)—, se realizó en torno a conceptos clave y básicos para la disciplina, incluyendo el necesario reconocimiento de ese contexto, desde el cual hay que partir para concebir y realizar evaluaciones que resulten adecuadas y útiles para la mejora de los programas y la rendición de cuentas. Como suelo decir en mis clases, la evaluación puede y debe concebirse como ciencia y también como arte. Como ciencia, porque ya tenemos ese amplio corpus teórico que puede y debe aprenderse, seguir desarrollándose, y que aporta conceptos, teorías, sistemas y enfoques que nos enseñan y orientan sobre cómo evaluar. Como arte, especialmente como artesanía, porque cada evaluación es única y debe hacerse mediante un cuidadoso proceso que atienda el contexto, precisamente en el sentido opuesto a la producción manufacturada. Esta compilación abunda en la construcción teórica y científica en la que todo artesano debe formarse antes de, y durante, su trabajo como tal, y a la que a su vez retribuirá con las reflexiones que desprenda de su práctica.

Una de las características del corpus teórico de la evaluación es que ha ido evolucionando y se ha ido estructurando no sólo sobre la base de las diferentes ciencias sociales, sino también de principios extraídos de la propia experiencia. Así, la evolución teórica de la evaluación de programas es fruto de la práctica profesional.⁴ Es decir, la teoría de la evaluación se ha ido construyendo, en buena medida, de forma más inductiva que deductiva, partiendo de la experiencia e incorporando en dicha teoría los intentos por resolver los problemas sociales en la práctica. Esto le confiere un estatus teórico, en constante interacción con la praxis, que resulta tremendamente interesante. El ejemplo del esfuerzo editorial del Centro clear es gran prueba de ello.

Nada más práctico que una teoría, pues, para ayudarnos a entender las complejidades actuales tanto de los problemas públicos como de las intervenciones que los enfrentan, para comprender que no se deben ofrecer respuestas evaluativas simples a problemas e intervenciones complejas. La reflexión y el aprendizaje que la lectura y discusión de esta antología nos proporcionarán, y que fomentará que sigamos aportando a ese corpus teórico en constante construcción inductiva, serán una fantástica base para ofrecer respuestas innovadoras y creativas a la evaluación de programas y políticas públicas, y al fomento de una cultura de evaluación.

Otorgo, pues, como parte de la comunidad hispanohablante de evaluación, mi profundo agradecimiento tanto al Centro clear por esta nueva colección editorial como a Claudia Maldonado Trujillo y a Gabriela Pérez Yarahuán, por su incisivo estudio introductorio y por la excelente selección de textos que conforman esta primera antología.

Universidad Complutense de Madrid,

30 de abril de 2015

¹ En parte alentado, también, por el crecimiento exponencial desde los años noventa de asociaciones, sociedades y redes profesionales de evaluación (véase www.ioce.net).

² Véase Michael Scriven, The concept of a transdiscipline: And of evaluation as a transdiscipline, Journal of Multidisciplinary Evaluation, vol. 5, núm. 10, 2008, pp. 65-66.

³ Véase Luis F. Aguilar y María Bustelo, Gobernanza y evaluación: una relación potencialmente fructífera, Gestión y Análisis de Políticas Públicas (nueva época), núm. 4, 2010, pp. 23-51.

⁴ Véase Xavier Ballart, Modelos teóricos para la práctica de la evaluación de programas, en Quim Brugué y Joan Subirats (eds.), Lecturas de gestión pública, Instituto Nacional de Administración Pública, Madrid, 1996, pp. 323-351, artículo a su vez basado en la obra de William R. Shadish Jr., Thomas D. Cook y Laura C. Leviton, Foundations of program evaluation. Theories of practice,

sage,

Newbury Park, 1991.

Estudio introductorio de la segunda edición

Claudia Maldonado Trujillo

Gabriela Pérez Yarahuán

Durante el año 2015, por iniciativa de diversas agencias y grupos emanados de la Organización de las Naciones Unidas, se llevaron a cabo múltiples eventos alrededor del mundo para celebrar el año internacional de la evaluación. La adopción de una nutrida agenda de conferencias, seminarios, talleres, congresos, y demás actividades, simbolizó el reconocimiento global de la actividad evaluativa como una función intrínseca y de valor para los esfuerzos de organizaciones, nacionales e internacionales, en la promoción y el apoyo a políticas públicas de impulso al desarrollo. El año 2015 marcó también la fecha en la que los Objetivos de Desarrollo del Milenio ( odm ) fueron sustituidos por los Objetivos de Desarrollo Sostenible ( ods ). La relevancia para la evaluación de esta nueva visión global para el desarrollo se centra en el reconocimiento de que si bien los odm contribuyeron a visibilizar la importancia del seguimiento y la construcción de mecanismos de monitoreo y sistematización de información en el ámbito nacional, es indispensable fortalecer la capacidad de anclar las políticas públicas en evidencia y de rendir cuentas a ciudadanos que han visto afectado su bienestar ante los cambios económicos y ambientales. La evaluación significa, en este contexto, la posibilidad de avanzar en la construcción de información a partir de la recolección de datos relevantes, para ser transformados en evidencia que sirva para la toma de decisiones sobre políticas públicas que incidan positivamente en los niveles de bienestar y equidad en el presente, al mismo tiempo que protejan el futuro de las siguientes generaciones.

La evaluación es una actividad intrínsecamente humana,¹ forma parte de procesos cognitivos elementales como la observación, la comparación y las rutinas mentales para la resolución de problemas. Podría hablarse de evaluación desde que los seres humanos emitieron juicios (valoraron) sobre disyuntivas clave para la supervivencia, como la construcción de armas y herramientas, el uso del fuego y la organización para la caza.² No obstante, la evaluación como profesión y como rutina de la gestión pública moderna es mucho más reciente.³ Los orígenes de la formalización de la evaluación pueden rastrearse en la segunda mitad del siglo xx, con la confluencia del avance de las ciencias sociales aplicadas, el establecimiento de los pesos y contrapesos del régimen democrático, y el surgimiento de necesidades —instrumentales y decisorias— del gobierno por políticas. En todos estos desarrollos, tanto políticos como intelectuales, hay todavía diferentes grados de avance, aplicación, formalización y éxito. Los países latinoamericanos han comenzado a mostrar recientemente progresos, aunque diferenciados y paulatinos, en estas dimensiones, lo que conlleva un interés creciente por la evaluación en nuestra región.

Hoy, a finales de la segunda década del siglo xxi, la actividad de evaluación está formalmente plasmada en leyes, lineamientos, ordenanzas, o incluso a nivel constitucional para un número relevante de países en América Latina. En algunos casos, este reconocimiento formal data de varias décadas. Sin embargo, aproximadamente en los últimos veinte años han comenzado a desarrollarse estructuras institucionales que abren la posibilidad para la implementación de la evaluación de manera sistemática y generalizada.⁴

A pesar de tener innegables avances en la conformación de sistemas de monitoreo y evaluación en la región, la evaluación hoy no está exenta de dificultades que inhiben su misión de informar, pero sobre todo de influir en las decisiones sobre los esfuerzos que emprenden gobiernos y sociedad civil en la búsqueda de programas y políticas para el desarrollo y mayor bienestar. Estos obstáculos tienen que ver con el desarrollo de capacidades necesarias para asimilar la práctica de la evaluación en los aparatos gubernamentales. Estas capacidades incluyen necesariamente un entendimiento de la evaluación y su significado, el conocimiento y la adecuada aplicación de sus técnicas y métodos, la comprensión del entorno social que la rodea, las formas en las que puede ser incorporada en diferentes etapas de la formulación de políticas, y también del discernimiento explícito sobre sus ventajas y limitaciones.

El Centro clear⁵ para América Latina es el nodo regional de la iniciativa global del mismo nombre, que busca fortalecer las capacidades de evaluación, monitoreo y gestión por resultados como instrumentos para el desarrollo. La iniciativa clear parte de dos premisas centrales: en primer lugar, destaca la importancia de la generación local de capacidades, experiencia e instrumentos útiles para mejorar las intervenciones públicas y fortalecer los componentes institucionales de la gestión para resultados; en segundo, plantea una apuesta ambiciosa al intercambio entre regiones y al aprendizaje global como motores de la innovación y el avance en esta materia. La visión que inspira a clear es la apropiación de conocimiento utilizable⁶ y transferible como plataforma para mejorar la toma de decisiones de política pública y la rendición de cuentas, a partir de una red de centros que promuevan una sólida comu­nidad de aprendizaje y un diálogo informado sobre estos temas.

En ese marco, el Centro ha promovido una colección editorial cide-clear que permita difundir desde los textos básicos hasta los debates epistemológicos y metodológicos clave de la disciplina de la evaluación, así como el estado del arte del debate práctico sobre evaluación de políticas y programas, a un público amplio de América Latina.

A partir de los años setenta, la literatura sobre diversos aspectos de la evaluación de programas ha crecido de manera sistemática, principalmente en Estados Unidos y Europa. El interés cada vez más extendido en la región latinoamericana por la teoría y los estudios aplicados de evaluación de programas surge en un contexto general de incipiente democratización, profundas transformaciones político-administrativas y la activación de mecanismos directos de participación ciudadana en el proceso de políticas. Aun cuando la investigación aplicada y la adopción de prácticas de evaluación en el sector público están marcadas, necesariamente, por las variables clave del contexto específico de cada país y sector de política pública, existe un intercambio cada vez más fluido entre la teoría y los métodos de la evaluación en la región.

Además de la creciente demanda por información sobre el desempeño gubernamental y la asignación presupuestaria en la región, en las últimas décadas se han fortalecido los espacios profesionales para la evaluación —redes de expertos y promotores— y el espacio político para canalizar dicha información. Este intercambio se puede nutrir significativamente con el acceso a investigaciones, tanto teóricas como aplicadas, que hasta ahora han sido referentes en Estados Unidos y Europa, pero que no se han difundido en español. Generalmente, los estudiosos de ciencias sociales y los evaluadores en formación tienen dificultades para consultar esta literatura. Esto se debe no sólo a la barrera del idioma, sino también al tipo de publicaciones —de costosa suscripción y baja circulación— en que se transmiten estos debates disciplinarios. El objetivo principal de esta colección es contribuir a la socialización y difusión de un lenguaje compartido entre la comunidad de profesionales de la evaluación y aquellos interesados en ella: estudiantes de ciencias sociales, en licenciaturas y posgrados, así como evaluadores en proceso de formación.

A pesar de que diversos países de América Latina muestran notables avances en la construcción de la institucionalidad básica para la evaluación de programas y políticas, es innegable que, incluso en los países más avanzados (Colombia, Chile, México), existe un desarrollo muy incipiente en otros frentes igualmente importantes para la evaluación: la configuración de la profesión, la consolidación de un mercado funcional⁷ y la utilización de los hallazgos —en cualquiera de sus acepciones—.⁸ Después de la tercera ola democratizadora, este rezago es muy lamentable, porque afecta el núcleo de la legitimidad democrática: la capacidad de resolver y gestionar problemas públicos mediante el despliegue de políticas y programas con incidencia sobre el bienestar de la población. La evaluación de políticas y programas tiene un enorme potencial transformador: organizaciones públicas y sociales que rinden cuentas, aprenden y están orientadas a resultados; debate público informado por evidencia; reducción de asimetrías de información sobre el destino y el sentido de la movilización de recursos públicos; contribución a la legitimidad democrática y a la gobernabilidad. No obstante, como señalan las contribuciones de autores canónicos de la disciplina, incluidos en este tomo, la evaluación es un asunto esencialmente político: más allá del despliegue —necesario— de los métodos de las ciencias sociales, la evaluación tiene una función política, determinada por un contexto social particular.⁹

Por definición, una antología es una colección más o menos arbitraria de piezas seleccionadas en función de sus atributos extraordinarios o notables. Como toda colección, esta antología implicó decisiones difíciles de discriminación. En el proceso influyó de manera determinante nuestra experiencia docente, tanto en programas académicos de licenciatura y posgrado como en cursos de capacitación para funcionarios públicos y evaluadores de toda la región. Como evaluadoras profesionales —por accidente, como diría Carol Weiss—, investigadoras y docentes en evaluación y políticas públicas, hemos experimentado de primera mano la gran dificultad de encontrar materiales canónicos en español. En la medida en que la evaluación, por metodológicamente sofisticada y robusta que sea, no se justifica a sí misma salvo por su contribución a la agregación de valor público, nos pareció importante situar la evaluación en perspectiva histórica, disciplinaria y política antes de profundizar en los temas más especializados sobre inferencia causal, jerarquía de la evidencia y criterios de validez y rigor metodológicos para la evaluación de programas.¹⁰ En vez de adoptar criterios estrictamente cronológicos (una historia sobre la idea de la evaluación en el pensamiento científico-social), optamos por una selección de referencias básicas que lograran: 1) realizar una contribución directa a la construcción del corpus teórico-conceptual y metodológico de la evaluación como profesión y disciplina específicos; 2) aportar al debate sobre los alcances y límites de la evaluación en la gestión democrática; 3) conjugar la vocación empírica u orientación práctica con el talante democrático.

América Latina enfrenta hoy el reto de consolidar y fortalecer la función evaluativa como práctica anidada de la gestión democrática. En el contexto de crecientes demandas sociales, desigualdad muy alta, violencia y crisis de la eficacia social de lo público —parafraseando a Luis F. Aguilar—, la evaluación puede contribuir a fortalecer la capacidad instrumental del gobierno mediante la generación de conocimiento útil y la presión por la rendición de cuentas. Entendida, como sugiere Weiss, como la valoración sistemática de la operación y/o los impactos de un programa o una política pública para contribuir a su mejoramiento,¹¹ la evaluación puede detonar la ampliación del espacio y el debate de las políticas públicas,¹² la iluminación del proceso decisorio, la depuración o Entzauberung¹³ del diálogo de políticas y, en general, la generación de información útil y utilizable —como bien público— para informar el proceso de política pública.

La importancia y el contexto de la evaluación:

primera antología

Como señaló el psicólogo Kurt Lewin,¹⁴ no existe nada tan práctico como una buena teoría. Este tomo, dedicado a la importancia y el contexto de la evaluación, busca ofrecer un mapa teórico-conceptual de los enfoques, definiciones y aspiraciones —políticas, profesionales y de acumulación de conocimiento— que inspiraron a la generación pionera de la investigación evaluativa en Estados Unidos. Aunque cada uno de los textos seleccionados se distingue por una aportación muy particular al debate teórico y a la reflexión práctica, el conjunto de ellos sintetiza el espacio de deliberación en torno a la naturaleza de la evaluación, su relación con la gestión pública democrática, los estándares profesionales y éticos que deben regirla, sus implicaciones para la generación, acumulación y generalización del conocimiento, para la reforma administrativa y, por supuesto, para la calidad instrumental de las intervenciones públicas.

Como sugiere Scriven,¹⁵ la evaluación es, al mismo tiempo, una práctica muy antigua y una profesión muy nueva. La idea de evaluación, sus objetos, métodos, alcances y límites forman parte de un debate muy vasto, propio de las disciplinas emergentes y de los conflictos ineludibles en torno al telos y ethos de la ciencia social aplicada. Estos debates reflejan también la preocupación de una época en la que la apuesta ilustrada de la ciencia de las políticas —al método científico para la resolución de los grandes problemas sociales— se ha atemperado por varias razones. En primer lugar, el propio esfuerzo de evaluación y sus hallazgos obligaron a la comunidad de práctica a optar por la modestia¹⁶ y el escepticismo informado¹⁷ en torno a los alcances de la investigación evaluativa y su potencial transformador. En segundo lugar, la práctica cotidiana de la evaluación y la generación de un ideal regulativo¹⁸ postecnocrático y pluralista condujo al reconocimiento creciente de la naturaleza política de la evaluación: En cada etapa, la evaluación no es más que uno de los ingredientes de un proceso inherentemente político. Y así debería ser: las decisiones de consecuencias sociales importantes se deberían determinar en una sociedad democrática mediante procesos políticos.¹⁹

La evaluación, como investigación sistemática,²⁰ intencio­nada,²¹ orientada a la resolución de problemas²² y arraigada en los conflictos distributivos y morales de toda decisión pública,²³ aparece entonces, más que como disciplina, como enfoque multidisciplinario de orígenes y con sentido eminentemente políticos: La evaluación se encuentra en el corazón de la constante tensión que existe entre la necesidad de gobernar y la de desconfiar de los gobernantes.²⁴ Asimismo, los textos seleccionados reflejan la experiencia real, práctica, de quienes ocuparon posiciones de liderazgo en la construcción de instituciones (gao, aea), prácticas y referentes metodológicos y profesionales (The American Evaluation Review, Evaluation, etc.), para que la evaluación de programas y políticas ocupara un sitio respetable y definido en el mundo de las ciencias sociales y en el proceso de políticas. Por su orientación a la resolución de problemas, su carácter interdisciplinario y su relativa distancia de la torre de marfil de la investigación básica tradicional, la investigación evaluativa tuvo que construir asideros conceptuales y anclas organizacionales propios para su operación y legitimidad.

La historia de la evaluación podría remontarse a los orígenes intelectuales de la aritmética política en la Gran Bretaña del siglo xvii, pero quizá los primeros estudios que podrían considerarse como evaluaciones formales se encuentran en las investigaciones de dos académicos franceses en el siglo xix. Éstos son los trabajos de A.M. Guerry (1833), sobre los efectos de la educación en la criminalidad, y de J. Depuit (1844), sobre la utilidad de obras de infraestructura; estos estudios se encuentran dentro de los primeros esfuerzos por medir los efectos de intervenciones públicas. Fue en el campo de la educación y la salud en donde surgieron los primeros estudios sistemáticos de evaluación en Estados Unidos durante los primeros años del siglo xx.

²⁵

Sin embargo, no fue sino en la segunda mitad de este siglo cuando las políticas y los programas dirigidos a mejorar las condiciones sociales comenzaron a considerar la evaluación, porque se había supuesto hasta entonces que los servicios proporcionados (como el seguro de desempleo) o la promulgación de leyes (como la prohibición del trabajo infantil) serían suficientes por sí mismos para generar mejores condiciones de vida.

La razón que motivó el inicio de los esfuerzos evaluativos a gran escala, financiados por el gobierno estadounidense, fue el lanzamiento de los programas sociales en la Guerra contra la Pobreza de la época reformista de la Gran Sociedad, promo­vida por Lyndon Johnson a mediados de la década de 1960. A partir de entonces, la promulgación de legislación, sobre todo en materia de educación y salud,²⁶ obligó a gran número de programas a realizar evaluaciones. Así comenzó un gran desarrollo de la evaluación de programas en campos diversos de la política social como la salud, el mercado laboral, subsidios de alimentos y vivienda, educación preescolar, etc. Para dar respuesta a esta demanda, los evaluadores comenzaron a desarrollar nuevos métodos y herramientas para adaptarse a los diversos contenidos y escenarios de los programas; una multitud de pequeños centros y compañías se formaron para realizar evaluaciones con financiamiento federal. Los centros universitarios de investigación expandieron sus estatutos para incluir la evaluación, se instalaron centros especiales, surgieron nuevas organizaciones de investigación y consultoría, con y sin fines de lucro. La práctica de la evaluación se extendió rápidamente a otras áreas, como la protección ambiental, la conservación de recursos energéticos, el reclutamiento militar y el control de la inmigración.

La década de 1970 marca el comienzo de evaluaciones experimentales, cuyo objetivo era poner a prueba políticas novedosas, previamente a su instrumentación. Uno de los experimentos más conocidos fue el Impuesto Negativo sobre la Renta (Negative Income Tax), una transferencia focalizada a familias con ingresos bajos, otorgada a partir de la información sobre ingresos declarados a la autoridad tributaria.²⁷ Siguieron a este experimento ejercicios similares de subsidios para vivienda, seguro médico, desempeño educativo, entre otros. Si bien los resultados de varios de estos estudios no se usaron para el diseño de políticas en ese momento, el cúmulo de aprendizajes derivados de ellos sirvió, en primer lugar, para expandir y fortalecer la investigación evaluativa; en segundo, para enriquecer el debate público sobre las formas de intervención pública.

A principios de los años ochenta, con la llegada de los republicanos a la presidencia de Estados Unidos, el número de programas nuevos se redujo y, con ello, también la demanda de evaluación. Sin embargo, el campo siguió su desarrollo, aunque a menor ritmo. Para finales de esa década, el financiamiento público para la evaluación regresó con los demócratas y, al mismo tiempo, una revitalización del campo. A mediados de la década de 1990, el regreso de los republicanos al poder condujo a una reducción del gobierno federal y al traslado de programas sociales al ámbito estatal. La importante reforma a los programas de bienestar (welfare)²⁸ de esos años se justificó utilizando el cúmulo de conocimiento generado a partir de la investigación evaluativa.

Uno de los resultados de los vaivenes de la actividad evaluativa en el ámbito federal en Estados Unidos fue el desarrollo de la evaluación en el orden estatal e incluso local. Ejemplo notable de esta actividad es la evaluación sobre la reforma educativa en Chicago.²⁹ Otro desarrollo reciente ha sido la tendencia a incorporar métodos cualitativos de evaluación. El paradigma dominante, con legitimidad profesional, fue durante mucho tiempo la evaluación cuantitativa, centrada en el diseño experimental con asignación aleatoria. Sin embargo, la investigación cualitativa³⁰ comenzó a hacerse paso, ganando simpatizantes y adeptos. Aunque sin estar ausente de tensiones, hoy se reconocen las ventajas y la riqueza de conjugar ambos tipos de metodologías en la evaluación.

La esencia del debate fundacional y conceptual de los orígenes de la evaluación como disciplina se encuentran, por muchas razones, en el universo de los países pioneros del enfoque de política pública y la investigación evaluativa. De ahí la importancia de traducir estas contribuciones emblemáticas para el desarrollo de la disciplina, que dieron respuestas innovadoras, desde el pluralismo democrático, a las siguientes preguntas: ¿qué es la evaluación? ¿Qué es, qué debe ser un evaluador? ¿Por qué y para qué evaluar? ¿Qué evaluar y cómo hacerlo?

La práctica extendida de la evaluación es producto de la activación de los pesos y contrapesos del sistema democrático; en contraste con Estados Unidos, esto ocurre en América Latina en un momento en que la fe ciega de la posguerra en el método científico como generador de eficacia, eficiencia y criterios de verdad se ha cuestionado seriamente. Los textos incluidos en este tomo son ya fruto del reconocimiento de los límites del método científico per se³¹ y las implicaciones de la sociedad que experimenta³² para el pluralismo democrático y el debate público. En el contexto latinoamericano, la investigación evaluativa surge en un momento en que la apuesta ilustrada por la resolución de problemas públicos —por el mero despliegue del método científico— y las ambiciones de racionalidad técnica ya no son absolutas. Al mismo tiempo, quizá por tratarse de democracias jóvenes, la evaluación en América Latina ha querido presentarse, en distintos momentos, como un intento por sustituir la política con la técnica. Nada más lejos de la realidad: uno de los hilos conductores de las contribuciones a este tomo es el reconocimiento de la centralidad de lo político en la función evaluativa, con independencia de las exigencias técnicas de la metodología avanzada en ciencias sociales; en la necesidad de reconocer los conflictos de interés y las perspectivas que anidan en cualquier valoración de una política o programa (en contraste con la presunción de objetividad o externalidad ab­soluta), y en reconocer el contexto social de la evaluación³³ como factor determinante de la profesión y su sentido último (utilidad).

En términos generales, una disciplina se distingue por su objeto y su método. La investigación evaluativa, como señaló Peter Rossi, se distingue por ser un híbrido: la investigación aplicada a la resolución de un problema concreto en un contexto específico. Los cimientos de la concepción vigente de la evaluación —siempre debatidos y debatibles— que captura esta selección son, entre otros, el reconocimiento de la naturaleza sui generis de la investigación evaluativa; las particularidades de su ethos profesional (ideal regulativo); la generación del enfoque de evaluación basado en la teoría y la construcción teórica y conceptual de la búsqueda intencionada de utilización (¿de qué tipo?, ¿por cuáles actores?, ¿con qué mecanismos?). Igualmente, en el tomo se incluye la reflexión en torno a la generación de implicaciones empíricas de las hipótesis transformadoras de la evaluación (¿con qué resultados?, ¿en qué momentos del proceso de política o linderos del espacio público importa, influye o determina la evaluación?). Finalmente, como parte del proceso de investigación científica, se incorpora la discusión sobre qué sucede con los hallazgos de la investigación evaluativa. Más allá de su uso intencionado por usuarios intencionados, su ímpetu participativo o su potencial de empoderamiento, ¿existe un proceso de acumulación y generalización del conocimiento evaluativo? ¿Será posible construir,