Antología sobre evaluación

Por Claudia Maldonado y Gabriela Pérez Yahuarán

En las últimas décadas, se han fortalecido los espacios profesionales para la evaluación de políticas y programas públicos, y se ha abierto el espacio político para canalizar la información que ésta produce. Este intercambio se puede nutrir significativamente con el acceso a investigaciones, tanto teóricas como aplicadas, que hasta ahora han sido r

• Idioma: Español
• Editorial: Libreria CIDE
• Fecha de lanzamiento: 4 sept 2023

Claudia Maldonado

Profesora-Investigadora de la División de Administración Pública del CIDE. Es Doctora en Ciencia Política por la Universidad de Notre Dame y Maestra en Asuntos Públicos por la Universidad de Princeton. Sus líneas de investigación son: el desarrollo comparado (México-Brasil); la economía política de los programas de transferencias condicionadas en América Latina; política social; y evaluación de programas públicos. Ha coordinado esfuerzos de construcción de capacidades para CONEVAL y ha trabajado en la Dirección General de Evaluación del Programa Oportunidades, el programa de transferencias condicionadas más importante de México. Doctora en Políticas Públicas por la Universidad de Chicago. Maestra en Economía por la Universidad de Warwick y Licenciada en Administración Pública por El Colegio de México. Desde 2003 a la fecha es profesor investigador de tiempo completo en el Departamento de Ciencias Sociales y Políticas de la Universidad Iberoamericana; de 2001 a 2002 fue profesor investigador en la División de Administración Pública del Centro de Investigación y Docencia Económicas (CIDE). Sus temas de investigación están relacionados con el diseño de la política pública, la economía política del gasto social y la evaluación de programas sociales. En 2005-2006 coordinó la evaluación externa del Programa de Apoyo Alimentario a cargo de DICONSA. De septiembre 2007 a febrero 2009 en licencia de la Universidad Iberoamericana se desempeñó como Director General Adjunto de Evaluación del Consejo Nacional de Evaluación de la Política de Desarrollo Social.

Vista previa del libro

cover.pngcontra.jpg

Índice

Agradecimientos,

Prólogo,

María Bustelo Ruesta

Estudio introductorio,

Claudia Maldonado Trujillo

Gabriela Pérez Yarahuán

I. Preparando el terreno,

Carol H. Weiss

II. Evaluación con sentido: El enfoque basado en la teoría,

Huey-Tsyh Chen

Peter H. Rossi

III. ¿Qué se puede construir con miles de ladrillos? Reflexiones sobre la acumulación de conocimientos en la evaluación de programas,

Mark W. Lipsey

IV. La interfaz entre la evaluación y las políticas públicas,

Carol H. Weiss

V. La evaluación como defensa,

Jennifer Greene

VI. Los propósitos de la evaluación en una sociedad democrática,

Eleanor Chelimsky

VII. Evaluación, gestión del conocimiento, mejores prácticas y lecciones aprendidas de gran calidad,

Michael Q. Patton

VIII. La evaluación como conocimientos utilizables para las reformas de la gestión pública,

Jean-Claude Thoenig

IX. Más allá de la utilización. La influencia de la evaluación sobre las actitudes y las acciones,

Gary T. Henry

Melvin M. Mark

X. El contexto social de la evaluación,

Peter H. Rossi

Howard Freeman

Mark W. Lipsey

Sobre los autores,

Agradecimientos

El proyecto de las antologías sobre evaluación es producto de un esfuerzo colectivo; en él participaron muchas personas que merecen reconocimiento público y todo nuestro agradecimiento por su profesionalismo, generosidad y compromiso. En virtud de todas estas contribuciones, logramos materializar lo que empezó con una serie de conversaciones informales motivadas por una pasión compartida: la docencia e investigación sobre evaluación y la preocupación por nutrir y hacer accesible el debate global sobre el estudio y la práctica de la evaluación en América Latina. A lo largo de los meses que tomó la integración de este primer tomo, tuvimos el gusto de colaborar con una red de instituciones y personas de diversos países, que acompañaron con entusiasmo esta iniciativa, aportaron retroalimentaciones valiosas y fortalecieron nuestra convicción en la pertinencia de este proyecto editorial. En México, contamos con un ambiente excepcional para su realización. En primer lugar, queremos agradecer a nuestra casa académica: el Centro de Investigación y Docencia Económicas (cide), que ha sido siempre el cómplice ideal para formular proyectos que motivan y extienden el debate académico; le ofrecemos nuestro más profundo agradecimiento por adoptar esta iniciativa y hacerla propia. Igualmente, contamos con el apoyo decidido de todo el equipo del Regional Center for Learning on Evaluation and Results (Centro clear) para América Latina. Queremos agradecer muy especialmente a Mercedes González Máynez —quien comenzó la ardua tarea de recolección de textos y resolvió lo relacionado con los derechos de propiedad—, por su dedicación y profesionalismo; a Cristina Galíndez, que siempre alentó y sirvió de ancla en los momentos en que el ánimo menguaba. Agradecemos también a Alejandro Martínez y a Oliver Peña Habib, quienes participaron en el proceso de revisión técnica y editorial. Alejandro propuso mejoras importantes en la primera versión de la traducción y Oliver, con su profunda pasión por el detalle, contribuyó de manera fundamental, y con el mejor ánimo, en el último trecho del camino, quizá el más arduo.

Del mismo modo, damos las gracias también a nuestros amigos y colegas de la comunidad de práctica. A María Bustelo, por el entusiasmo que mostró por el proyecto y por habernos motivado a continuarlo; a Victoria Sánchez Esteban, Arlette Pichardo y Luis Soberón, por participar en el panel de discusión sobre los textos incluidos en este tomo durante la IV Conferencia ReLAC, en marzo de 2015 en Lima, y a Pablo Rodríguez Bilella, por su ayuda en la realización de dicho encuentro.

Además, agradecemos a la iniciativa global clear y a todas aquellas personas con las que se ha discutido este proyecto como parte de nuestra misión de fortalecer las capacidades en seguimiento y evaluación para el desarrollo. Particularmente, queremos agradecer a Caroline Heider (Independent Evaluation Group, Banco Mundial), a Monika Weber-Fahr, Nidhi Khattri y Ximena Fernández-Ordoñez (clear Global) y a Cheryl Gray (ove, bid), por apostar y comprometerse con la visión de clear, y por apoyar decididamente la conformación del Centro para América Latina. Además de una fuente constante de conocimiento, han sido compañeras solidarias de muchas de nuestras inquietudes. La iniciativa clear ha fungido en estos años como un espacio propicio para la innovación y la creatividad en evaluación, con la profunda convicción de que es posible rendir cuentas, aprender y producir mejores resultados en la acción pública. Este proyecto forma parte de nuestra muy modesta contribución a esa aspiración.

Finalmente, agradecemos por adelantado a los lectores, evaluadores, profesores y alumnos, cuya retroalimentación se aprecia siempre y nos motiva a continuar nuestro trabajo.

Prólogo

María Bustelo Ruesta

La famosa frase no existe nada tan práctico como una buena teoría de Kurt Lewin, mencionada tanto en el estudio introductaorio como en el artículo de Mark W. Lipsey incluidos en esta antología, resume muy bien la vocación de este primer tomo sobre la importancia y el contexto de la evaluación que nos presenta el Centro clear para América Latina, y que tengo el honor de prologar.

Esta excelente iniciativa de clear —difundir en América Latina algunos de los textos básicos que componen lo que podríamos llamar el corpus teórico de la evaluación de programas y políticas públicas— logra llenar un vacío importantísimo, de vital necesidad para el desarrollo de la evaluación como actividad científica y profesional con gran potencial transformador y de aprendizaje para la mejora de las políticas públicas, la rendición de cuentas y la buena gobernanza.

La producción teórica sobre evaluación, que como veremos más adelante incluye también aspectos prácticos y aplicados, ha sido ingente y prolífica durante los últimos treinta años, apoyada por el desarrollo profesional¹ —aunque de forma desigual y asincrónica en las diferentes regiones del mundo— de lo que Scriven llama la trasdisciplina de la evaluación.² Sin embargo, el acceso a este corpus teórico ha estado limitado en el mundo de habla hispana, no sólo por la importante barrera de la lengua, sino también, como recuerdan las compiladoras en el estudio introductorio, por ser publicaciones costosas y de baja circulación. A esto hay que añadir la asombrosa falta de traducciones al español de obras clave para la evaluación, traducidas a muchas otras lenguas con mercados editoriales más pequeños, que por razones que desconozco no han captado el interés de los lectores hispanohablantes. Así pues, no podemos más que celebrar iniciativas como ésta, que, además de invertir en la traducción de textos ya clásicos, los vuelven de acceso libre sin que medien intereses editoriales de carácter comercial.

Comparto con las compiladoras de este tomo la docencia sobre evaluación a profesionales de las administraciones, la consultoría y el tercer sector, lo mismo de grado que de posgrado, y por ello tengo la certeza de que estas antologías serán un recurso valiosísimo. Prescindiendo de si se trata de formación específica de posgrado en evaluación —como el máster en evaluación de programas y políticas públicas de la Universidad Complutense, que dirijo desde 2002— o sólo de una asignatura de evaluación en el máster en gobierno y administración pública o el grado en gestión pública, esta antología servirá como importante referencia y material docente. Además, me gustaría añadir otros dos importantes públicos objetivo, dentro de lo que podríamos denominar de manera amplia el desarrollo de capacidades de evaluación, que también se beneficiarán enormemente de este tomo. Por un lado, y es experiencia que comparto con las compiladoras, está la realización de capacitaciones cortas a funcionarios y profesionales de lo público en diferentes sectores; a pesar de que, por su naturaleza, dichas formaciones suelen ser insuficientes para una instrucción completa en evaluación, cumplen un papel muy importante en la sensibilización hacia una cultura de evaluación, porque son, en muchos casos, la puerta de entrada a la mayor especialización en evaluación de algunos de esos profesionales. Por otro lado, también he podido comprobar, en estos últimos años de involucrarme profundamente en una creciente y cada vez más fuerte comunidad de evaluación (en la Sociedad Española de Evaluación, la Sociedad Europea de Evaluación y, de manera más reciente, la emergente Asociación Ibérica de Profesionales por la Evaluación, así como en los intercambios con otras redes internacionales, como la ReLAC y demás asociaciones latinoamericanas), que la formación continua y de constante reciclaje de los profesionales de la disciplina está muy presente y es parte de la vida cotidiana de una vibrante comunidad global de evaluación, a la que me siento muy orgullosa de contribuir y pertenecer. No sólo es una comunidad en la que nos encontramos profesionales de diferentes sectores del mundo de la evaluación (evaluadores, comanditarios, gestores, responsables de unidades de evaluación o formuladores de políticas de evaluación, docentes e investigadores, consultores), sino que se caracteriza por un constante debate e intercambio y, en general, por la importancia concedida al reciclaje profesional y al aprendizaje continuo. Como consecuencia de ello, diría que somos una comunidad que consume especialmente lecturas, reflexiones, materiales, estudios e investigaciones, ya que estamos genuinamente comprometidos con la difícil tarea de fomentar la cultura de la evaluación en nuestros gobiernos, administraciones públicas y organizaciones; esta labor necesita creatividad, innovación, reflexión e intercambio comparativo, ensayo y error, y todo esto se hace mejor sobre una base teórica sólida y amplia, construida a partir del intercambio y la experiencia. La comunidad hispanohablante de evaluación, sin duda, forma parte de esta sociedad global, pero en muchas ocasiones los recursos con los que cuenta son limitados. Sea bienvenida, entonces, esta antología en la pujante —y de enorme vitalidad— comunidad de evaluación latinoamericana; en la española nos sentimos profundamente agradecidos de ser los invitados naturales por nuestros vínculos lingüísticos e históricos.

Estoy convencida de que esta antología no sólo aumentará el diálogo y el debate, el intercambio y el aprendizaje, sino también estimulará la producción de lecturas y materiales de evaluación. Es decir, además de aumentar el número de escritos disponibles en español, el mero hecho de hacer más accesibles las lecturas importantes sobre la disciplina contribuirá, sin duda, a promover una necesaria producción propia de la comunidad profesional y académica hispanoamericana y española.

La elección de los temas de esta primera antología, en torno a la importancia y el contexto de la evaluación, resulta sumamente acertada. Además de los conceptos básicos sobre qué es y qué pretende la evaluación, los textos seleccionados versan sobre la importancia de la evaluación para las sociedades democráticas, en las que el aprendizaje, la rendición de cuentas, la comprensión y orientación hacia acciones futuras son elementos esenciales para la buena gobernanza.³ Esta antología presenta, entre muchos otros temas, asuntos tan importantes como los inicios de la teoría del programa, hoy fundamental para la evaluación; la necesidad de profundizar en las elecciones metodológicas, que van más allá de la utilización de técnicas cuantitativas o cualitativas; el reconocimiento de que la evaluación se desenvuelve en un escenario en el que el programa, y no su evaluación, es prioritario; el papel que los stakeholders y los evaluadores pueden o deben cumplir en el proceso, sin olvidar un elemento primordial que sobrevuela y engloba al resto: que la evaluación emerge en un contexto social y político, y debe responder a él. En efecto, la selección de los diferentes artículos y capítulos, que pueden todos considerarse clásicos de la evaluación —pese a los diferentes momentos en que se escribieron: desde 1983 (Chen y Rossi) hasta 2006 (Chelimsky)—, se realizó en torno a conceptos clave y básicos para la disciplina, incluyendo el necesario reconocimiento de ese contexto, desde el cual hay que partir para concebir y realizar evaluaciones que resulten adecuadas y útiles para la mejora de los programas y la rendición de cuentas. Como suelo decir en mis clases, la evaluación puede y debe concebirse como ciencia y también como arte. Como ciencia, porque ya tenemos ese amplio corpus teórico que puede y debe aprenderse, seguir desarrollándose, y que aporta conceptos, teorías, sistemas y enfoques que nos enseñan y orientan sobre cómo evaluar. Como arte, especialmente como artesanía, porque cada evaluación es única y debe hacerse mediante un cuidadoso proceso que atienda el contexto, precisamente en el sentido opuesto a la producción manufacturada. Esta compilación abunda en la construcción teórica y científica en la que todo artesano debe formarse antes de, y durante, su trabajo como tal, y a la que a su vez retribuirá con las reflexiones que desprenda de su práctica.

Una de las características del corpus teórico de la evaluación es que ha ido evolucionando y se ha ido estructurando no sólo sobre la base de las diferentes ciencias sociales, sino también de principios extraídos de la propia experiencia. Así, la evolución teórica de la evaluación de programas es fruto de la práctica profesional.⁴ Es decir, la teoría de la evaluación se ha ido construyendo, en buena medida, de forma más inductiva que deductiva, partiendo de la experiencia e incorporando en dicha teoría los intentos por resolver los problemas sociales en la práctica. Esto le confiere un estatus teórico, en constante interacción con la praxis, que resulta tremendamente interesante. El ejemplo del esfuerzo editorial del Centro clear es gran prueba de ello.

Nada más práctico que una teoría, pues, para ayudarnos a entender las complejidades actuales tanto de los problemas públicos como de las intervenciones que los enfrentan, para comprender que no se deben ofrecer respuestas evaluativas simples a problemas e intervenciones complejas. La reflexión y el aprendizaje que la lectura y discusión de esta antología nos proporcionarán, y que fomentará que sigamos aportando a ese corpus teórico en constante construcción inductiva, serán una fantástica base para ofrecer respuestas innovadoras y creativas a la evaluación de programas y políticas públicas, y al fomento de una cultura de evaluación.

Otorgo, pues, como parte de la comunidad hispanohablante de evaluación, mi profundo agradecimiento tanto al Centro clear por esta nueva colección editorial como a Claudia Maldonado Trujillo y a Gabriela Pérez Yarahuán, por su incisivo estudio introductorio y por la excelente selección de textos que conforman esta primera antología.

Universidad Complutense de Madrid,

30 de abril de 2015

¹ En parte alentado, también, por el crecimiento exponencial desde los años noventa de asociaciones, sociedades y redes profesionales de evaluación (véase www.ioce.net).

² Véase Michael Scriven, The concept of a transdiscipline: And of evaluation as a transdiscipline, Journal of Multidisciplinary Evaluation, vol. 5, núm. 10, 2008, pp. 65-66.

³ Véase Luis F. Aguilar y María Bustelo, Gobernanza y evaluación: una relación potencialmente fructífera, Gestión y Análisis de Políticas Públicas (nueva época), núm. 4, 2010, pp. 23-51.

⁴ Véase Xavier Ballart, Modelos teóricos para la práctica de la evaluación de programas, en Quim Brugué y Joan Subirats (eds.), Lecturas de gestión pública, Instituto Nacional de Administración Pública, Madrid, 1996, pp. 323-351, artículo a su vez basado en la obra de William R. Shadish Jr., Thomas D. Cook y Laura C. Leviton, Foundations of program evaluation. Theories of practice,

sage,

Newbury Park, 1991.

Estudio introductorio

Claudia Maldonado Trujillo

Gabriela Pérez Yarahuán

La evaluación es una actividad intrínsecamente humana, ¹ forma parte de procesos cognitivos elementales como la observación, la comparación y las rutinas mentales para la resolución de problemas. Podría hablarse de evaluación desde que los seres humanos emitieron juicios (valoraron) sobre disyuntivas clave para la supervivencia, como la construcción de armas y herramientas, el uso del fuego y la organización para la caza. ² No obstante, la evaluación como profesión y como rutina de la gestión pública moderna es mucho más reciente. ³ Los orígenes de la formalización de la evaluación pueden rastrearse a la segunda mitad del siglo xx, con la confluencia del avance de las ciencias sociales aplicadas, el establecimiento de los pesos y contrapesos del régimen democrático, y el surgimiento de necesidades —instrumentales y decisorias— del gobierno por políticas. En todos estos desarrollos, tanto políticos como intelectuales, hay todavía diferentes grados de avance, aplicación, formalización y éxito. Los países latinoamericanos han comenzado a mostrar progresos recientemente, aunque diferenciados y paulatinos, en estas dimensiones, lo que conlleva un interés creciente por la evaluación.

El Centro clear para América Latina es el nodo regional de la iniciativa global del mismo nombre, que busca fortalecer las capacidades de evaluación, seguimiento y gestión por resultados como instrumentos para el desarrollo. La iniciativa clear parte de dos premisas centrales: en primer lugar, destaca la importancia de la generación local de capacidades, experiencia e instrumentos útiles para mejorar las intervenciones públicas y fortalecer los resortes institucionales de la gestión para resultados; en segundo, plantea una apuesta ambiciosa al intercambio entre regiones y al aprendizaje global como motores de la innovación y el avance en esta materia. La visión que inspira a clear es la apropiación de conocimiento utilizable⁴ y transferible como plataforma para mejorar la toma de decisiones de política pública y la rendición de cuentas, a partir de una red de centros que promuevan una sólida comunidad de aprendizaje y un diálogo informado sobre estos temas.

En ese marco, el Centro ha promovido una colección editorial cide-clear que permita difundir desde los textos básicos hasta los debates epistemológicos y metodológicos clave de la disciplina de la evaluación, así como el estado del arte del debate práctico sobre evaluación de políticas y programas, a un público amplio de América Latina.

A partir de los años setenta, la literatura sobre diversos aspectos de la evaluación de programas ha crecido de manera sistemática, principalmente en Estados Unidos y Europa. El interés cada vez más extendido en la región latinoamericana por la teoría y los estudios aplicados de evaluación de programas surge en un contexto general de incipiente democratización, profundas transformaciones político-administrativas y la activación de mecanismos directos de participación ciudadana en el proceso de políticas. Aun cuando la investigación aplicada y la adopción de prácticas de evaluación en el sector público están marcadas, necesariamente, por las variables clave del contexto específico de cada país y sector de política pública, existe un intercambio cada vez más fluido entre la teoría y los métodos de la evaluación en la región.

Además de la creciente demanda por información sobre el desempeño gubernamental y la asignación presupuestaria en la región, en las últimas décadas se han fortalecido los espacios profesionales para la evaluación —redes de expertos y promotores— y el espacio político para canalizar dicha información. Este intercambio se puede nutrir significativamente con el acceso a investigaciones, tanto teóricas como aplicadas, que hasta ahora han sido referentes en Estados Unidos y Europa, pero que no se han difundido en español. Generalmente, los estudiosos de ciencias sociales y los evaluadores en formación tienen dificultades para consultar esta literatura. Esto se debe no sólo a la barrera del idioma, sino también al tipo de publicaciones —de costosa suscripción y baja circulación— en que se transmiten estos debates disciplinarios. El objetivo principal de esta colección es contribuir a la socialización y difusión de un lenguaje compartido entre la comunidad de profesionales de la evaluación y los interesados en ella: estudiantes de ciencias sociales, en licenciaturas y posgrados, así como evaluadores en proceso de formación.

A pesar de que diversos países de América Latina muestran notables avances en la construcción de la institucionalidad básica para la evaluación de programas y políticas, es innegable que, incluso en los países más avanzados (Colombia, Chile y México), existe un desarrollo muy incipiente en otros frentes igualmente importantes para la evaluación: la configuración de la profesión, la consolidación de un mercado funcional⁵ y la utilización de los hallazgos —en cualquiera de sus acepciones—.⁶ Después de la tercera ola democratizadora, este rezago es muy lamentable, porque afecta el núcleo de la legitimidad democrática: la capacidad de resolver y gestionar problemas públicos mediante el despliegue de políticas y programas con incidencia comprobable y comprobada sobre el bienestar de la población. La evaluación de políticas y programas tiene un enorme potencial transformador: organizaciones públicas y sociales que rinden cuentas, aprenden y están orientadas a resultados; debate público informado por evidencia; reducción de asimetrías de información sobre el destino y el sentido de la movilización de recursos públicos; contribución a la legitimidad democrática y a la gobernabilidad. No obstante, como señalan las contribuciones de autores canónicos de la disciplina, incluidos en este tomo, la evaluación es un asunto esencialmente político: más allá del despliegue —necesario— de los métodos de las ciencias sociales, la evaluación tiene una función política, determinada por un contexto social particular.⁷

América Latina enfrenta hoy el reto de consolidar y fortalecer la función evaluativa como práctica anidada de la gestión democrática. En el contexto de crecientes demandas sociales, desigualdad muy alta, violencia y crisis de la eficacia social de lo público —parafraseando a Luis F. Aguilar—, la evaluación puede contribuir a fortalecer la capacidad instrumental del gobierno mediante la generación de conocimiento útil y la presión por la rendición de cuentas. Entendida, según sugiere Weiss, como la valoración sistemática de la operación y/o los impactos de un programa o una política pública para contribuir a su mejoramiento,⁸ la evaluación puede detonar la ampliación del espacio y el debate de las políticas públicas,⁹ la iluminación del proceso decisorio, la depuración o Entzauberung¹⁰ del diálogo de políticas y, en general, la generación de información útil y utilizable —como bien público— para informar el proceso de política pública.

La importancia y el contexto de la evaluación: primera antología

Como señaló el psicólogo Kurt Lewin,¹¹ no existe nada tan práctico como una buena teoría. Este tomo, dedicado a la importancia y el contexto de la evaluación, busca ofrecer un mapa teórico-conceptual de los enfoques, definiciones y aspiraciones —políticas, profesionales y de acumulación de conocimiento— que inspiraron a la generación pionera de la investigación evaluativa en Estados Unidos. Aunque cada uno de los textos seleccionados se distingue por una aportación muy particular al debate teórico y a la reflexión práctica, el conjunto de ellos sintetiza el espacio de deliberación en torno a la naturaleza de la evaluación, su relación con la gestión pública democrática, los estándares profesionales y éticos que deben regirla, sus implicaciones para la generación, acumulación y generalización del conocimiento, para la reforma administrativa y, por supuesto, para la calidad instrumental de las intervenciones públicas.

Como sugiere Scriven,¹² la evaluación es, al mismo tiempo, una práctica muy antigua y una profesión muy nueva. La idea de evaluación, sus objetos, métodos, alcances y límites forman parte de un debate muy vasto, propio de las disciplinas emergentes y de los conflictos ineludibles en torno al telos y ethos de la ciencia social aplicada. Estos debates reflejan, también, la preocupación de una época en la que la apuesta ilustrada de la ciencia de las políticas —por el método científico para la resolución de los grandes problemas sociales— se ha atemperado por varias razones. En primer lugar, el propio esfuerzo de evaluación y sus hallazgos obligaron a la comunidad de práctica a optar por la modestia¹³ y el escepticismo informado¹⁴ en torno a los alcances de la investigación evaluativa y su potencial transformador. En segundo lugar, la práctica cotidiana de la evaluación y la generación de un ideal regulativo¹⁵ postecnocrático y pluralista condujo al reconocimiento creciente de la naturaleza política de la evaluación: En cada etapa, la evaluación no es más que uno de los ingredientes de un proceso inherentemente político. Y así debería ser: las decisiones de consecuencias sociales importantes se deberían determinar en una sociedad democrática mediante procesos políticos.¹⁶

La evaluación, como investigación sistemática,¹⁷ intencionada,¹⁸ orientada a la resolución de problemas¹⁹ y anidada en los conflictos distributivos y morales de toda decisión pública,²⁰ aparece entonces, más que como disciplina, como enfoque multidisciplinario de orígenes y con sentido eminentemente políticos: La evaluación se encuentra en el corazón de la constante tensión que existe entre la necesidad de gobernar y la de desconfiar de los gobernantes.²¹ Igualmente, los textos seleccionados reflejan la experiencia real, práctica, de quienes ocuparon posiciones de liderazgo en la construcción de instituciones (como la Oficina de Contabilidad del Gobierno de Estados Unidos, usgao, o la Asociación Estadounidense de Evaluación, aea), prácticas y referentes metodológicos y profesionales (The American Evaluation Review, Evaluation, etc.), para que la evaluación de programas y políticas ocupara un sitio respetable y definido en el mundo de las ciencias sociales y en el proceso de políticas. Por su orientación a la resolución de problemas, su carácter interdisciplinario y su relativa distancia de la torre de marfil de la investigación básica tradicional, la investigación evaluativa tuvo que construir asideros conceptuales y anclas organizacionales propios para su operación y legitimidad.

Por definición, una antología es una colección más o menos arbitraria de piezas seleccionadas en función de sus atributos extraordinarios o notables. Como toda colección, esta antología implicó decisiones difíciles de discriminación. En el proceso influyó de manera determinante nuestra experiencia docente, tanto en programas académicos de licenciatura y posgrado como en cursos de capacitación para funcionarios públicos y evaluadores de toda América Latina. Como evaluadoras profesionales —por accidente, diría Carol H. Weiss—, investigadoras y docentes en evaluación y políticas públicas, hemos experimentado de primera mano la gran dificultad de encontrar materiales canónicos en español. En la medida en que la evaluación, por metodológicamente sofisticada y robusta que sea, no se justifica a sí misma salvo por su contribución a la agregación de valor público, nos pareció importante situar la evaluación en perspectiva histórica, disciplinaria y política antes de profundizar en los temas más especializados sobre inferencia causal, jerarquía de la evidencia y criterios de validez y rigor metodológicos para la evaluación de programas.²²

La historia de la evaluación podría remontarse a los orígenes intelectuales de la aritmética política en la Gran Bretaña del siglo xvii, pero quizá los primeros estudios que podrían considerarse evaluaciones formales se encuentran en las investigaciones de dos académicos franceses del siglo xix. Éstos son los trabajos de A. M. Guerry (1833), sobre los efectos de la educación en la criminalidad, y de J. Depuit (1844), sobre la utilidad de obras de infraestructura; sus estudios se encuentran dentro de los primeros esfuerzos por medir los efectos de intervenciones públicas. Fue en el campo de la educación y la salud en donde surgieron los primeros estudios sistemáticos de evaluación en Estados Unidos durante los primeros años del siglo xx.²³ Sin embargo, no fue hasta la segunda mitad de este siglo que las políticas y programas dirigidos a mejorar las condiciones sociales comenzaron a considerar la evaluación, porque se había supuesto hasta entonces que los servicios proporcionados (como el seguro de desempleo) o la promulgación de leyes (como la prohibición del trabajo infantil) serían suficientes por sí mismos para generar mejores condiciones de vida.

La razón que motivó el inicio de los esfuerzos evaluativos a gran escala, financiados por el gobierno estadounidense, fue el lanzamiento de los programas sociales de la Guerra contra la Pobreza durante la época reformista de la Gran Sociedad, promovida por Lyndon Johnson a mediados de la década de 1960. A partir de entonces, la promulgación de legislación, sobre todo en materia de educación y salud,²⁴ obligó a gran número de programas a realizar evaluaciones. Así comenzó un prolífico desarrollo de la evaluación de programas en campos diversos de la política social como la salud, el mercado laboral, subsidios de alimentos y vivienda, educación preescolar, etc. Para responder a esta demanda, los evaluadores comenzaron a desarrollar nuevos métodos y herramientas para adaptarse a los diversos contenidos y escenarios de los programas; una multitud de pequeños centros y compañías se formaron para realizar evaluaciones con financiamiento federal. Los centros universitarios de investigación expandieron sus estatutos para incluir la evaluación, se instalaron centros especiales, surgieron nuevas organizaciones de investigación y consultoría, con y sin fines de lucro. La práctica de la evaluación se extendió rápidamente a otras áreas, como la protección ambiental, la conservación de recursos energéticos, el reclutamiento militar y el control de la inmigración.

La década de los años setenta marca el comienzo de evaluaciones experimentales, cuyo objetivo era poner a prueba políticas novedosas previamente a su instrumentación. Uno de los experimentos más conocidos fue el Impuesto Negativo sobre la Renta (Negative Income Tax), una especie de transferencia focalizada a familias con ingresos bajos, otorgada a partir de la información sobre ingresos declarados a la autoridad tributaria.²⁵ Siguieron a este experimento ejercicios similares de subsidios para vivienda, seguro médico, desempeño educativo, entre otros. Si bien los resultados de varios de estos estudios no se usaron para el diseño de políticas en ese momento, el cúmulo de aprendizajes derivados de ellos sirvió, en primer lugar, para expandir y fortalecer la investigación evaluativa; en segundo, para enriquecer el debate público sobre las formas de intervención pública.

A principios de los años ochenta, con la llegada de los republicanos a la presidencia de Estados Unidos, el número de programas nuevos se redujo y, con ello, también la demanda de evaluación. Sin embargo, el campo siguió desarrollándose, aunque a menor ritmo. Para finales de esa década, el financiamiento público para la evaluación regresó con los demócratas y, al mismo tiempo, hubo una revitalización del campo. A mediados de la década de 1990, el regreso de los republicanos al poder condujo a una reducción del gobierno federal y al traslado de programas sociales al ámbito estatal. La importante reforma a los programas de bienestar (welfare) de estos años se justificó utilizando el cúmulo de conocimiento generado a partir de la investigación evaluativa.

Uno de los resultados de los vaivenes de la actividad evaluativa en el ámbito federal en Estados Unidos fue el desarrollo de la evaluación en el orden estatal e incluso local. Ejemplo notable de esta actividad es la evaluación sobre la reforma educativa en Chicago.²⁶ Otro desarrollo reciente ha sido la tendencia a incorporar métodos cualitativos de evaluación. El paradigma dominante, con legitimidad profesional, fue por mucho tiempo la evaluación cuantitativa, centrada en el diseño experimental con asignación aleatoria. Sin embargo, la investigación cualitativa²⁷ comenzó a hacerse paso, ganando simpatizantes y adeptos. Aunque sin estar exentos de tensiones, hoy se reconocen las ventajas y la riqueza de conjugar ambos tipos de metodologías en la evaluación.

La esencia de los debates fundacionales y el sustrato político y conceptual de los orígenes de la evaluación como disciplina se encuentran, por muchas razones, en el universo de los países pioneros del enfoque de política pública y la investigación evaluativa. Ese Zeitgeist de la semilla originaria —la era reformista y los programas de la Gran Sociedad en Estados Unidos— es quizá irrepetible. De ahí la importancia de traducir estas contribuciones emblemáticas para el desarrollo de la disciplina, que dieron respuestas innovadoras, desde el pluralismo democrático, a las siguientes preguntas: ¿qué es la evaluación? ¿Qué es, qué debe ser un evaluador? ¿Por qué y para qué evaluar? ¿Qué evaluar y cómo hacerlo? En vez de adoptar criterios estrictamente cronológicos (una historia sobre la idea de la evaluación en el pensamiento científico-social), optamos por una selección de referencias básicas que cumplieran con los siguientes criterios: 1) realizar una contribución directa a la construcción del corpus teórico-conceptual y metodológico de la evaluación como profesión y disciplina específicas; 2) constituir un hito disruptivo (constructivo) en el debate sobre los alcances y límites de la evaluación en la gestión democrática; 3) conjugar la vocación empírica u orientación práctica con el talante democrático.

La práctica extendida de la evaluación es producto de la activación de los pesos y contrapesos del sistema democrático; en contraste con Estados Unidos, esto ocurre en América Latina en un momento en que la fe ciega de la posguerra en el método científico como generador de eficacia, eficiencia y criterios de verdad se ha cuestionado seriamente. Los textos incluidos en este tomo son ya fruto del reconocimiento de los límites del método científico per se²⁸ y las implicaciones de la sociedad que experimenta²⁹ para el pluralismo democrático y el debate público. En el contexto latinoamericano, la investigación evaluativa surge en un momento en que la apuesta ilustrada por la resolución de problemas públicos —por el mero despliegue del método científico— y las ambiciones de racionalidad técnica no son ya absolutas. Al mismo tiempo, quizá por tratarse de democracias jóvenes, la evaluación en América Latina ha querido presentarse, en distintos momentos, como un intento por sustituir la política con la técnica. Nada más lejos de la realidad: uno de los hilos conductores de las contribuciones a este tomo es el reconocimiento de la centralidad de lo político en la función evaluativa, con independencia de las exigencias técnicas de la metodología avanzada en ciencias sociales; en la necesidad de reconocer los conflictos de interés y las perspectivas que anidan en cualquier valoración de una política o programa (en contraste con la presunción de objetividad o externalidad absoluta), y en reconocer el contexto social de la evaluación³⁰ como factor determinante de la profesión y su sentido último (utilidad).

En términos generales, una disciplina se distingue por su objeto y su método. La investigación evaluativa, como señaló Peter H. Rossi, se distingue por ser un híbrido: la investigación aplicada a la resolución de un problema concreto en un contexto específico. Los cimientos de la concepción vigente de la evaluación —siempre debatidos y debatibles— que captura esta selección son, entre otros, el reconocimiento de la naturaleza sui géneris de la investigación evaluativa; las particularidades de su ethos profesional (ideal regulativo); la generación del enfoque de evaluación basado en la teoría y la construcción teórica y conceptual de la búsqueda intencionada de utilización (¿de qué tipo?, ¿por cuáles actores?, ¿con qué mecanismos?). Igualmente, en este tomo se incluye la reflexión en torno a la generación de implicaciones empíricas de las hipótesis transformadoras de la evaluación (¿con qué resultados?, ¿en qué momentos del proceso de política o linderos del espacio público importa, influye o determina la evaluación?). Finalmente, como parte del proceso de investigación científica, se incorpora la discusión sobre qué sucede con los hallazgos de la investigación evaluativa. Más allá de su uso intencionado por usuarios intencionados, su ímpetu participativo o su potencial de empoderamiento, ¿existe un proceso de acumulación y generalización del conocimiento evaluativo? ¿Será posible construir, a partir de éste, una base de evidencia sólida para la toma de decisiones?

Los autores incluidos en este tomo plantearon y dieron respuesta a muchas de las preguntas centrales de la evaluación de programas. Por un lado, construyeron conceptos, lenguaje y modelos debidamente articulados, que dieron respuesta a la crítica de la investigación evaluativa como empresa ateórica contractual (contractual research), poco rigurosa y carente de sistematización por la utilización ad hoc de instrumentos y herramientas de diversas disciplinas. Por otro, criticaron también el enfoque mecanicista, excesivamente cientificista, de las evaluaciones experimentales de caja negra,³¹ es decir, aquellas que buscan identificar el efecto causal independiente de una intervención pública antes de entender los modelos causales de intervención, la pluralidad y la ambigüedad de objetivos que persigue una política pública, los productos intermedios de un programa, sus efectos no anticipados y, sobre todo, los dilemas organizativos y de implementación de la operación de programas en contextos particulares poco replicables.

El resultado final es una selección de textos de gran trascendencia para el desarrollo de la disciplina por su contribución teórica y conceptual. Se encuentran recopilados, por supuesto, Peter H. Rossi (1921-2006) y Carol H. Weiss (1927-2013) junto con Howard Freeman y Mark W. Lipsey, todos arquitectos del edificio de la evaluación sistemática basada en la teoría y pioneros en la práctica y teoría de la evaluación. El tomo incluye, también, los textos polémicos de Jennifer Greene y Michael Q. Patton, ambos ex presidentes de la Asociación Estadounidense de Evaluación, que borran las fronteras convencionales de la disciplina entre la evaluación (observación desinteresada) y la participación, la movilización y el activismo implícitos en la función evaluativa comprometida con el pluralismo democrático (la inclusión de voces poco escuchadas en el proceso de políticas). En estas contribuciones, se toma distancia del lenguaje pseudocientífico de las mejores prácticas en política pública y se rescata una visión más sofisticada de la influencia de la evaluación en el proceso de políticas, dejando atrás la ilusión del uso instrumental directo o inmediato.

Apuntes sobre las contribuciones incluidas en este tomo

¿En qué consiste la evaluación? ¿Qué es la investigación evaluativa? ¿Cuál es el papel del evaluador como científico y practicante? En el texto titulado Preparando el terreno, Carol H. Weiss plantea estas preguntas; presenta los conceptos básicos y