Enfoques y prácticas en la evaluación de programas

Por Varios autores

En esta traducción de 'Approches et pratiques en évaluation de programmes' el lector encontrará herramientas importantes para la reflexión y práctica de la evaluación de efectividad, así como para hacer frente a desafíos teóricos y metodológicos propios de la investigacion evaluativa en intervenciones de naturaleza social. Esta obra condensa el esfuerzo de diversos autores, los cuales comparten los resultados de sus experiencias en diversos países, con el fin de cerrar la brecha entre teoría, práctica y toma de decisiones. Las publicaciones sobre evaluación, escritas en español, son escasas y poco fundamentadas. Por esto, quisiera felicitar a los profesores Válery Ridde y Christian Dagenais, directores de este trabajo, por el esfuerzo de convocar, organizar y disponer para la consulta diversas perspectivas sobre la teoría y práctica de la evaluación. A los estudiantes, docentes, investigadores y profesionales interesados, los invito a realizar una rigurosa lectura de esta obra que los motivará a fortalecer la evaluación como instrumento de política social. Ligia de Salazar, Ph.D, Directora Fundesalud, Profesora titular (jubilada), Escuela de Salud Pública, Universidad del Valle, Colombia

• Idioma: Español
• Editorial: Editorial Pontificia Universidad Javeriana
• Fecha de lanzamiento: 12 feb 2015
• ISBN: 9789587168839

Varios autores

<p>Aleksandr Pávlovich Ivanov (1876-1940) fue asesor científico del Museo Ruso de San Petersburgo y profesor del Instituto Superior de Bellas Artes de la Universidad de esa misma ciudad. <em>El estereoscopio</em> (1909) es el único texto suyo que se conoce, pero es al mismo tiempo uno de los clásicos del género.</p> <p>Ignati Nikoláievich Potápenko (1856-1929) fue amigo de Chéjov y al parecer éste se inspiró en él y sus amores para el personaje de Trijorin de <em>La gaviota</em>. Fue un escritor muy prolífico, y ya muy famoso desde 1890, fecha de la publicación de su novela <em>El auténtico servicio</em>. <p>Aleksandr Aleksándrovich Bogdánov (1873-1928) fue médico y autor de dos novelas utópicas, <is>La estrella roja</is> (1910) y <is>El ingeniero Menni</is> (1912). Creía que por medio de sucesivas transfusiones de sangre el organismo podía rejuvenecerse gradualmente; tuvo ocasión de poner en práctica esta idea, con el visto bueno de Stalin, al frente del llamado Instituto de Supervivencia, fundado en Moscú en 1926.</p> <p>Vivian Azárievich Itin (1894-1938) fue, además de escritor, un decidido activista político de origen judío. Funcionario del gobierno revolucionario, fue finalmente fusilado por Stalin, acusado de espiar para los japoneses.</p> <p>Alekséi Matviéievich ( o Mijaíl Vasílievich) Vólkov (?-?): de él apenas se sabe que murió en el frente ruso, en la Segunda Guerra Mundial. Sus relatos se publicaron en revistas y recrean peripecias de ovnis y extraterrestres.</p>

Vista previa del libro

Enfoques y prácticas en la evaluación de programas

BAJO LA DIRECCIÓN DE VALÉRY RIDDE Y CHRISTIAN DAGENAIS TRADUCCIÓN DE LA SEGUNDA EDICIÓN REVISADA Y AMPLIADA

© Pontificia Universidad Javeriana

© Valéry Ridde

Christian Dagenais

Aristide Bado, Michael Bamberger, Murielle Bauchet, Diane Berthelette, Pierre Blaise, François Bowen, Fran9ois Chagnon, Nadia Cunden, Pierre-Marc Daigneault, Luc Desnoyers, Didier Dupont, Julie Dutil, Fran9oise Fortin, Pierre Fournier, Marie Gervais, Anne Guichard, Robert R. Haccoun, Janie Houle, Fran9oise Jabot, Steve Jacob, Kadidiatou Kadio, Seni Kouanda, Francine LaBossiére, Miri Levin-Rozalis, Isabelle Marcoux, Pierre McDuff, Frédéric Nault-Briére, Bernard Perret, Pierre Pluye, Nancy L. Porteous, Michael Quinn Patton, Emilie Robert, Patricia Rogers, Christine Rothmayr, Jim Rugh, Caroline Tourigny, Josefien Van Olmen, Sophie Witter, Maurice Yameogo, Robert K. Yin

Primera edición en español:

Bogotá, D. C., diciembre del 2015

ISBN: 978-958-716-883-9

Número de ejemplares: 300

Impreso y hecho en Colombia

Printed and made in Colombia

Editorial Pontificia Universidad Javeriana

Carrera 7a núm. 37-25, oficina 13-01.

Edificio Lutaima

Teléfono: 320 8320 ext. 4752

[e-mail]

www.javeriana.edu.co/editorial

Bogotá - Colombia

Editora de la colección

María Inés Jara Navarro

Compiladores

Valéry Ridde Christian Dagenais

Traducción

Pedro Lama

Corrección de estilo

César Mackenzie

Diagramación

Kilka Diseño Gráfico

Preprensa e impresión

Javegraf

Desarrollo ePub

Lápiz Blanco S.A.S

http://lapizblanco.com/

Enfoques y prácticas en la evaluación de programas/bajo la dirección de Valéry Ridde y Christian Dagenais. --Primera edición. --Bogotá: Editorial Pontificia Universidad Javeriana, 2015. --(Colección gerencia y políticas de salud).

411 páginas; 24 cm

Incluye referencias bibliográficas (página 411) y glosario.

ISBN: 978-958-716-883-9

1. ADMINISTRACIÓN DE LOS SERVICIOS DE SALUD. 2. PLANIFICACIÓN DE LA SALUD. 3. POLÍTICAS PÚBLICAS DE SALUD. 4. EVALUACIÓN DE PROGRAMAS. I. Ridde, Valéry, directora. II. Dagenais, Christian, director. III. Pontificia Universidad Javeriana. Facultad de Ciencias Económicas y Administrativas.

CDD 362.11068 ed. 21

Catalogación en la publicación - Pontificia Universidad Javeriana. Biblioteca Alfonso Borrero Cabal, S. J.

dff.                                                                        Diciembre 2 / 2015

Siglas y abreviaturas

Presentación

Nuestra idea de ofrecer un manual pedagógico de referencia sobre la evaluación de programas en una lengua diferente al inglés, se gestó desde hace mucho tiempo. En 2009, la obra se publicó en lengua francesa y confirmó nuestra intuición respecto a su pertinencia. Se reimprimió menos de un año después de su primera aparición en el mercado y nos llevó a preparar una segunda edición revisada y ampliada con nuevos capítulos. De la misma forma, y considerando posible la pertinencia de un documento en español, hemos realizado esta traducción de la obra para que sea accesible a los lectores hispanoparlantes.

Existe aún un número muy reducido de obras con finalidades pedagógicas apropiadas para los estudiantes y los profesionales que participan en cursos de formación en evaluación de programas. Si bien existen en nuestras bibliotecas algunos libros en español y francés consagrados a este ámbito, la mayoría proceden de disciplinas específicas tales como política pública, servicios sociales, administración pública, salud o desarrollo internacional. Los textos cortos son sin duda bastante numerosos, pero dispersos y difíciles de conseguir. A menudo están inmersos en libros que tratan temas más generales o son publicados en revistas no especializadas. De hecho, existe una sola revista científica dedicada a la evaluación, publica artículos en español desde 2013, se trata de la Revista de Evaluación de Programas y Políticas Públicas (disponible en: http://revistas.uned.es/index.php/REPPP).

Enfrentados con regularidad a estas lagunas en nuestra educación universitaria y en la formación profesional impartida en Quebec (Canadá), Francia, Haití o África, concebimos el proyecto de publicar la obra inicialmente en francés. Así mismo, considerando posible que se presenten retos similares en América Latina, pensamos en la posibilidad de traducir la presente obra al español y publicarla, como una herramienta útil para la formación sobre evaluación en el ámbito hispanohablante. Su planificación y realización se extendieron por cerca de dos años para la primera edición (2009), el tiempo necesario para encontrar los temas principales y, sobre todo, los autores clave, especialistas dispuestos a plegarse a las exigencias didácticas que habíamos elaborado. Así pues, todos los capítulos de este libro fueron escritos en una forma accesible por pedagogos, profesores universitarios y educadores avezados desde hace muchos años en el ejercicio del intercambio de conocimientos en evaluación de programas, haciendo hincapié en la práctica más que en la teoría. Incluso en el año 2010, firmamos un acuerdo con la editorial de la Universidad de Montreal (Presses de l’Université de Montréal) y con la editorial L'Harmattan Burkina Faso para hacer que la edición africana —vendida únicamente en ese continente— tuviera un costo asequible para su población. Tres años después de la publicación del libro, los numerosos comentarios hechos por lectores y colegas nos impulsaron a producir la segunda edición. En particular, añadimos cuatro nuevos capítulos teóricos, dado que los conocimientos en evaluación evolucionan constantemente y queríamos que los lectores de lengua francesa pudieran tener acceso a los últimos logros en este campo. En la primera edición también faltaron ejemplos relativos al uso de métodos mixtos, a pesar de que estos fueron descritos en la primera parte. Por lo tanto, dos nuevos capítulos llenan este vacío y se unen al capítulo teórico sobre los métodos mixtos, que fue totalmente actualizado.

En la primera parte, el lector profundizará su comprensión de ciertos conceptos cuyos contornos se han delineado en la introducción general. El objetivo es demostrar que el campo de la evaluación de programas involucra un número importante de teorías, enfoques y herramientas para responder a las preguntas formuladas por sus promotores. En efecto, la evaluación recurre a diferentes disciplinas, tales como el estudio de las políticas públicas, la epistemología o la estadística. En esta nueva edición, los lectores podrán familiarizarse con la estrategia de estudio de casos, la evaluación económica, los enfoques participativos y el enfoque Realístico.

Un desafío clave que enfrenta todo profesor del área de la evaluación está relacionado con el dominio de la gran diversidad de enfoques evaluativos y de los tipos de evaluación. La segunda parte del libro presenta algunos estudios de caso para mostrar claramente cómo se emplean en la práctica los conceptos expuestos. Estos capítulos abarcan varios campos disciplinarios y proponen diversos ejemplos de prácticas evaluativas. Cada estudio sigue un plan similar para lograr que la descripción de casos sea relativamente homogénea. El cuadro 1.1 presentado en la introducción permitirá a un instructor identificar, de acuerdo con los tipos de evaluación, los diferentes estudios de caso correspondientes.

Los casos presentados provienen de diversos contextos socioeconómicos, lo que permitirá a quienes lean este libro en Canadá, Mali, Francia, Colombia o Argentina, por ejemplo, conocer realidades diferentes. En esta nueva edición se introducen dos casos que ilustran la utilización de métodos mixtos en Quebec y en Burkina Faso. Reconocemos que debido a que es una traducción de la segunda edición no contamos con ejemplos de experiencias desarrolladas en el contexto latinoamericano. Por lo tanto, esperamos poder integrar la riquísima experiencia de nuestros colegas en Latinoamérica en una futura edición, enriquecida también con los comentarios de nuestros lectores.

Queremos agradecer a los autores, que respondieron favorablemente a nuestras peticiones y supieron ponerse al nivel de los estudiantes para compartir sus conocimientos, incluso en la actualización de esta nueva edición. También queremos agradecer al Dr. Mabel Carabali y Camilo Coral. Sin sus esfuerzos, este manual no habría podido salir a la luz.

Valéry Ridde

Christian Dagenais

PRIMERA PARTE

Conceptos y enfoques

1. Introducción general a la evaluación de programas

Valéry Riddey Christian Dagenais

La evaluación no es un asunto o un tema nuevo. En el Antiguo Testamento se cuenta que en la corte de Nabucodonosor, rey de Babilonia, el jefe de los eunucos hizo una evaluación que calificaremos cuasi experimental (véase los capítulos 6 y 9). Se trataba de estudiar los efectos diferenciados de una dieta en la salud de los niños hebreos de la corte. Pero más allá de la leyenda, hay que reconocer que el campo de la evaluación de programas se ha desarrollado sobre todo durante los últimos treinta años. El origen de la práctica y la investigación en esta materia se sitúa fundamentalmente en el ámbito de la educación. Los educadores se interrogaron sobre la influencia que podían tener sus cursos en los conocimientos adquiridos por sus alumnos. Al cambiar de objeto, pasando de las habilidades y los conocimientos adquiridos por los individuos a los programas que organizaban esa transmisión, el campo de la evaluación se transformó para volverse mucho más interdisciplinario, e incluso transdisciplinario para algunos. Por lo tanto, cuando se trata por primera vez el campo de la evaluación de programas, nos damos cuenta de que hay muchas maneras de concebirlo. Si usted consulta cinco libros de referencia, puede encontrar cinco formas diferentes de definir la evaluación y sus conceptos. Se trata, en efecto, de una disciplina cuyos conceptos y práctica aún no han sido claramente codificados. Por esta razón muchas sociedades nacionales de evaluación aún tratan de establecer estatutos, códigos de conducta, normas de práctica o de competencias esenciales, mientras que otras apenas los han adoptado desde hace poco (véase el capítulo 12). También por esta razón es conveniente establecer una política común de evaluación o incluso el glosario de términos que se utilizarán cuando se desea fortalecer las capacidades y las prácticas evaluativas.

La presente introducción se basa en nuestra propia experiencia de la enseñanza, en nuestra práctica de la evaluación en una gran variedad de contextos y en diversas problemáticas. No se trata, de ninguna manera, de sugerir una nomenclatura definitiva o superior a otras. Nuestro objetivo es mucho más modesto, y consiste en presentar a los lectores el campo de la evaluación de programas con el fin de facilitarles la lectura de los distintos capítulos de este libro, o incluso remitirlos a las referencias claves en este campo.

LAS CORRIENTES DE PENSAMIENTO: UNA BREVE HISTORIA DE LA EVALUACIÓN

Existen numerosas corrientes de pensamiento en el ámbito de la evaluación, y la forma en que los evaluadores se representan el mundo (su paradigma) determina en gran medida las preguntas que se plantean y las estrategias que emplean para responderlas (Bégin et al., 1999). Nuestros valores, creencias e intereses interfieren, sin duda, en nuestras prácticas profesionales. En el caso que nos ocupa, determinan las opciones teóricas y metodológicas de la evaluación. No es cuestión de examinar en detalle los grandes paradigmas epistemológicos, pero es esencial hablar brevemente al respecto para que el lector, evaluador presente o futuro, pueda interrogarse a su vez sobre sus propias decisiones.¹ Para definirlo de una forma sencilla, un paradigma, de acuerdo con la definición clásica de Thomas Kuhn, es un sistema de creencias compartido por la mayoría de individuos que trabajan en el seno de una misma disciplina.² Este sistema de referencia es un marco que orienta los temas, los métodos (véase el capítulo 7) y la manera de dar sentido a los datos que se recopilan. Siguiendo a Levy, Gendron (2001) plantea que un paradigma está compuesto de cuatro campos interrelacionados.

Figura 1.1. Los cuatro campos constitutivos de un paradigma

Fuente: Gendron, 2011

El campo epistemológico remite a la visión de mundo del evaluador, a la legitimidad de los análisis que produce y sobre todo a su relación (y su distancia) con los datos que recoge y analiza (subjetividad en contraste con objetividad).

El campo ontológico abarca la naturaleza del mundo vivido y la comprensión que se tiene de la posible manipulación por parte del evaluador de las entidades físicas o mentales. Se trata aquí de la construcción de la realidad (una única realidad en contraste con varias).

El campo metodológico reúne las técnicas que emplea el evaluador para comprender el mundo vivido.

El campo teleológico agrupa las cuestiones relacionadas con los fines de la evaluación y con los intereses e intenciones de los evaluadores de un programa.

El paradigma en el que se inscribe el evaluador, determina los métodos utilizados para responder a las preguntas de evaluación planteadas por los responsables de un programa. Algunos evaluadores, llamados positivistas, no pueden creer en la efectividad de un programa a menos que haya sido posible comparar sus efectos, como en un laboratorio, en un grupo de participantes (casos) y un grupo de no participantes (controles), tras determinar de forma aleatoria la pertenencia de esas personas a estos grupos (véase el capítulo 6). Otros evaluadores, más bien constructivistas, por el contrario sostienen que es imposible aislar los efectos de un programa de su entorno, y que es necesario emplear una metodología que permita señalar estas interacciones. Consideran, entonces, que en el caso de los programas sociales es imposible reproducir las condiciones de laboratorio. Sostienen también que todo conocimiento sobre los efectos de un programa es construido en forma conjunta por los actores sociales en cuestión. Estos evaluadores constructivistas asumen plenamente la subjetividad de su juicio, ya que consideran que la objetividad que reivindica el campo de saber positivista es inalcanzable. Los partidarios del enfoque realista de la evaluación (Blaise et al., 2010), al optar por una perspectiva epistemológica intermedia, postulan por su parte que la realidad existe fuera de las construcciones humanas, pero que solo es perceptible a través de nuestros sentidos (véase el capítulo 14).

Diferentes corrientes de pensamiento de la evaluación se han desarrollado a lo largo de la historia. Una manera de describir esta historia, de acuerdo con Shaw y sus colegas (2006), es proponer la existencia, a veces concurrente, de cuatro generaciones de evaluación (Guba y Lincoln, 1987). La primera generación es la de la medición, en la que el evaluador es un especialista. La segunda, es más bien de orden descriptivo: el evaluador se centra principalmente en los procesos que permiten la aparición de los efectos observados. En la tercera generación, el reto del evaluador consiste en emitir un juicio sobre los resultados obtenidos en relación con los objetivos iniciales. Finalmente, en la década de 1970 apareció una cuarta generación que pretendía ser mucho más interactiva. Los evaluadores se sirven de la negociación, convirtiéndose en facilitadores entre los organismos implicados. No solo se trata de reconocer el punto de vista y los valores del conjunto de los actores en cuestión, sino también de procurar que ellos sean parte integrante de este proceso. En otras palabras, se trata de evaluaciones pluralistas cuyo enfoque participativo, descrito más abajo, es una de las estrategias con gran potencial (véase el capítulo 13).

LA EVALUACIÓN DE PROGRAMAS: UNA DEFINICIÓN

En lugar de comenzar con una definición académica, les proponemos una breve estancia bajo el sol de un país de África occidental. En un radiante día de enero, un experto quebequense anima una sesión de capacitación en evaluación de programas en Burkina Faso. Esta sesión es organizada para las parteras y técnicos de una organización no gubernamental (ONG) que implementa un programa de maternidad denominado de bajo riesgo. Al comenzar la formación en evaluación de programas, el experto pregunta a las participantes qué palabras asocian con el término evaluación. Se menciona el control, la auditoría, la medición, la verificación, entre otros términos. Los canadienses presentes en la sala aluden a la idea de la rendición de cuentas. Este léxico no sorprende al instructor, puesto que aún hoy en día, muchos asocian la evaluación principalmente con funciones de control que asignan calificaciones buenas o malas a un programa... y a los responsables del mismo. Luego, el experto pregunta: ¿a qué temperatura estamos hoy?. Las funcionarias de la salud consideran que hace algo de frío, los expatriados canadienses que hace calor y el experto quebequense que acaba de llegar estima que hace mucho calor. ¿Cómo han hecho ustedes para estimar la temperatura y decir que hace frío o calor?. Todos responden de manera diferente a la pregunta del experto: es invierno, miré el termómetro, comparé con la temperatura del día anterior, hoy estoy sudando mucho más que ayer, esta es la temporada fresca. A continuación, todos los participantes aceptan que eligieron sus prendas de vestir de acuerdo con la temperatura de aquella mañana. Los asistentes a este taller de capacitación tomaron entonces conciencia del hecho de que la evaluación es un acto que permite hacer una valoración (frío, caliente, templado) según un enfoque crítico basado en la recopilación sistemática de datos (temperatura, sudoración, temporada) en relación con múltiples objetos (la temperatura) con el fin de tomar decisiones (cómo vestirse).

Algunos autores sostienen que la apreciación valorativa de un programa debe hacerse de acuerdo con un enfoque científico o mediante el uso de métodos científicos. Nosotros preferimos no emplear el término científico, ya que en nuestra práctica de la evaluación esta palabra siempre ha tendido a crear cierta distancia con respecto a las partes involucradas en la evaluación. El evaluador es percibido, de manera inmediata, como un investigador, con todas las connotaciones que, con razón o sin ella, se asocian a este término. Por otra parte, aludir a la ciencia perpetúa la dificultad que tiene la mayoría de autores para diferenciar la investigación de la evaluación (capítulo 2). A nuestro juicio, la diferencia fundamental entre la investigación y la evaluación es que el objetivo principal de la primera es la producción de conocimiento, mientras que el objetivo de la segunda es proporcionar una información útil sobre el funcionamiento de un programa o la toma de decisión al respecto.

Obviamente, las cosas no siempre son tan tajantes: a veces se pueden producir conocimientos con la ayuda de una evaluación, o tomar decisiones como consecuencia de los trabajos de investigación. Sin embargo, la decisión de no definirla explícitamente como una ciencia no significa que la evaluación sea un enfoque frívolo en el cual la apreciación que se hace del objeto programa no es válida. Al contrario, el rigor y la sistematización son sus dos valores emblemáticos.

La analogía con el clima es simple, pero lo suficientemente clara para definir el acto de evaluación y garantizar que las personas con las que vamos a trabajar no la perciban como un proceso de control (aunque algunas veces pueda ser así). Evaluar la temperatura es un poco más sencillo que evaluar un programa, sobre todo cuando este es tan complejo como la mayoría de intervenciones sociales (véase el capítulo 14). Pero ¿cómo puede definirse un programa? Aquí también confluyen una multitud de definiciones. Destacamos la de Plante (1994) que, aunque un poco larga, tiene el mérito de definir con claridad los límites de lo que constituye un programa:

[Un programa es un] todo coherente, organizado y estructurado con objetivos, medios y personas que lo dirigen. Se justifica tomando como base las necesidades definidas como una carencia o una falta que afecta a los individuos, una comunidad o una sociedad. Está bajo el control de una o más personas responsables de la calidad de su formulación y de su funcionamiento. Se crea para transformar las cosas o el estado de una cosa.

La palabra clave de esta definición es transformación. En efecto, no sirve de nada desarrollar un programa de maternidad de bajo riesgo si este solo tiene como objetivo construir maternidades, capacitar parteras o redactar protocolos terapéuticos. Lo que se pretende, ante todo, es la obtención a corto plazo de una mejor calidad de la atención a las madres y sus hijos recién nacidos y, a más largo plazo, la reducción de la mortalidad materna e infantil (véase el capítulo 18). También es necesario entender que todo programa puede producir cambios inesperados de los que los evaluadores también deben dar cuenta (Morell, 2010). Estos efectos podrían haberse previsto o no, ser beneficiosos, neutrales o perjudiciales para los participantes.

Aunque las fronteras no siempre son fáciles de trazar, este libro se ocupa de la evaluación de programas, y deja de lado la evaluación de las prácticas profesionales, del conocimiento individual o incluso de las políticas públicas.

Más allá de los aspectos conceptuales de estas definiciones sobre qué es un programa, es preciso señalar cómo los actores sociales desempeñan un papel fundamental en su dinámica. Mediante el ejercicio del poder se llevan a cabo o no los programas, que de ninguna manera se implementan por sí mismos (Crozier y Friedberg, 1977; Lemieux, 2002). Por lo tanto, es preciso estar muy atentos a las actuaciones de los actores, las relaciones de poder y las interacciones sociales. Además, varios actores se encuentran involucrados en la definición de un programa y luego en su implementación, así como también en su evaluación. La evaluación, en su calidad de actividad humana, es fuente de tensiones y de relaciones de poder. Por consiguiente, no se debe ver un programa y su evaluación como una actividad mecánica, exclusivamente técnica, de la que solo nos interesan los objetivos y los indicadores.

Si bien un programa también puede concebirse intelectualmente como el resultado de un orden negociado entre los actores sociales, en palabras de Ansel Strauss, a efectos de esta introducción, debemos recurrir a subterfugios didácticos para explicar los conceptos teóricos. Así pues, los diferentes términos que sugerimos son fundamentalmente heurísticos, pues explican el tema tratado. Sin embargo, no se trata de negar la complejidad de los programas ni de las interacciones sociales, como diría Edgar Morin. Los partidarios de la evaluación realista, que se analiza en el capítulo 14, perciben el cambio social como un sistema de transformación, un sistema abierto que es producto de una mirada de elementos y de fuerzas imposibles de cuantificar (Pawson, 2006; Ridde y Guichard, 2008; Blaise et al., 2009). Por tanto, se entenderá que la visión del mundo y de la ciencia que tienen los evaluadores —su perspectiva paradigmática— determina su forma de percibir y evaluar un programa.

LA EVALUACIÓN NO ES LA ETAPA FINAL DE UN PROGRAMA

La visión de los programas que quiere que estos deban adaptarse, contradice aquella que describe su vida según un ciclo ineluctable que va desde la identificación de las necesidades hasta la evaluación, pasando por las etapas de planificación e implementación. La mayoría de los manuales de gestión de programas ilustran el proceso de los programas mediante un círculo que representa las distintas etapas unidas por flechas. Los fundamentos de esta concepción seguramente se remontan a los etapistas de la década de 1950 que estudiaban las políticas públicas. Para ellos, la evaluación es la última etapa del proceso. Otros añaden a veces la sostenibilidad o la capitalización (véase el capítulo 10 para un ejemplo) para cerrar el círculo.

Nosotros creemos que el proceso de los programas no es lineal ni cíclico. Según las propuestas teóricas enunciadas por Pierre Pluye y sus colaboradores (2004), un programa debería concebirse como compuesto por una serie de cuatro subprocesos concomitantes e interdependientes: la planificación, la implementación, la evaluación y la sostenibilidad. De tal modo, estos cuatro subprocesos pueden ser representados por los cuatro hilos de una misma cuerda programática.

Figura 1.2. Concomitancia e interdependencia de los subprocesos de un programa

Adaptado de Pluye et al., 2004.

La planificación permite prever la asignación de los recursos necesarios para alcanzar objetivos concretos mediante la realización de actividades previamente definidas. En cuanto a la evaluación de un programa, al adaptar definiciones más clásicas y formales (Grembowski, 2001; Mathison, 2004; Patton, 1997) de las que hemos mencionado, diremos que se trata de un proceso sistemático de recopilación de datos utilizables para valorar un programa y sus componentes, con el fin de tomar decisiones. La evaluación es generalmente un proceso de mejora de proyectos y de prácticas; en resumidas cuentas, un motor de cambio (Ridde, Pommier y Jabot, 2010). Finalmente, mientras que la implementación de un programa consiste en la movilización de recursos para organizar actividades con el fin de lograr los objetivos, la sostenibilidad se refiere al futuro de los programas; se centra en el proceso que permite la continuación de las actividades y los efectos de los programas. La continuidad es el resultado del proceso de sostenibilidad —resultado que se manifiesta en las rutinas organizativas— y puede evaluarse de manera transversal, en cualquier momento y, puntualmente, dependiendo de los niveles de continuidad. Las acciones favorables a la continuidad deben iniciarse desde la implementación del programa, y no al final de este (Pluye et al., 2005). No vamos a profundizar en esta reflexión sobre la sostenibilidad y la continuidad, sin duda nueva en este campo, pero cuyos pormenores conceptuales e ilustraciones empíricas se presentan en otro lugar (Pluye et al., 2004; Ridde, Pluye y Queuille, 2006).

Volvamos a estos cuatro subprocesos concomitantes. Quienes han estado involucrados en programas saben bien que al ponerlo en marcha (implementación), siempre nos preguntamos qué pasa (evaluación). Siempre se revisa lo que se ha previsto hacer (planificación). Sin embargo, esto sigue siendo el eslabón débil de los programas, de la forma de proceder para asegurar el futuro de estos últimos (sostenibilidad).

LA FINALIDAD DE UNA EVALUACIÓN

A mediados de la década de 1980, Patton estableció una sopa de letras de la evaluación (alphabet soup) en la cual terminó por encontrar cien tipos de evaluación de programas. En épocas más recientes, redujo el número a 58. Stufflebeam (2001) sugiere, a su vez, agrupar 22 tipos de evaluación en cuatro grandes categorías:

Pseudoevaluaciones: relaciones públicas.

Cuasievaluaciones: orientadas hacia las preguntas y los métodos.

Mejora e imputabilidad: orientadas hacia el mérito y el valor.

Promoción social: orientado hacia la diferencia en la sociedad.

A pesar de estas diversas distinciones es posible sugerir diferencias según las finalidades de las evaluaciones. Convencionalmente, se considera que las evaluaciones tienen dos objetivos principales: la rendición de cuentas o la mejora de un programa. El primer tipo de objetivos permite a los responsables de un programa la rendición de cuentas desde una perspectiva de imputabilidad. Algunas veces se le denomina evaluación acumulativa, ya que con mucha frecuencia se hace al final de un programa, o ex post. El segundo tipo de objetivos produce información útil para corregir la manera como se realizan las actividades de un programa. También se conoce como evaluación formativa, ya que normalmente se lleva a cabo durante la implementación de un programa. Además de esta gran distinción en la finalidad de una evaluación, algunos autores han querido añadir dos más. Por un lado, la evaluación también sería útil para mejorar el estado de los conocimientos acerca de la eficacia de una intervención, para construir una teoría y para publicar artículos científicos (Patton, 1997). Se acerca, así, a la práctica de la investigación. Por otro lado, la finalidad de la evaluación de programas no se relacionaría únicamente con los programas y sus componentes, sino también con la mejora de las condiciones sociales y colectivas, cosa que ya decía Carol Weiss a principios de la década de 1970. La evaluación se vuelve entonces un medio, no es un fin en sí misma. Algunos tratan incluso de fortalecer el poder de actuar (empowerment) de los participantes en el programa y en la evaluación, tema del que hablaremos en el capítulo 15.

PLANIFICACIÓN DE UNA EVALUACIÓN

Si dejamos de lado la concomitancia de los subprocesos, un proceso evaluativo por lo general se lleva a cabo en dos fases, a veces sucesivas, pero que también pueden ser paralelas o en bucle. Se trata de la fase preevaluativa y la fase evaluativa. Algunos autores añaden una tercera fase: la utilización de los resultados de la evaluación para la toma de decisiones (Grembowski, 2001). Señalemos, no obstante, que no todos los evaluadores parecen estar dispuestos a asumir esta responsabilidad.

El nombre de la primera fase es una traducción del concepto anglófono de evaluability assessment. La etapa preevaluativa (Beaudry y Gauthier, 1992) permite garantizar no solo que es posible realizar la evaluación de un programa, sino también que los evaluadores disponen de toda la información sobre la solicitud de evaluación. Wholey, por su parte, ofrece dos ideas en este sentido: distingue el estudio de la viabilidad de la evaluación (la presencia de las condiciones que permiten realizarla), por una parte, y el análisis del carácter evaluable de un programa (esencialmente vinculado a la coherencia del modelo lógico, véase el capítulo 5), por otra parte. De este modo, es preciso comprender los retos de la evaluación, que a veces son políticos (capítulo 4), así como anticipar los posibles conflictos. Los partidarios de una evaluación centrada en la utilización de los resultados, como Patton (1997) (capítulo 8), y aquellos que lo son de una evaluación reactiva, como Stake (2004), se preguntarán inmediatamente qué preocupa a las partes interesadas y cómo se proponen aplicar las recomendaciones.

Entonces, el foco de este proceso preevaluativo es comprobar que los individuos que participan en la evaluación saben en qué consiste exactamente el programa que se requiere evaluar. Si bien muchas organizaciones implementan intervenciones y quieren que se haga una valoración de estas, rara vez cuentan con una descripción detallada del programa, de sus componentes y de sus objetivos. Nuestra experiencia demuestra que esta laguna constituye más la norma que la excepción. Por lo tanto, el trabajo fundamental que debe hacerse de inmediato es el de reconstituir la lógica del programa (capítulo 5), tal como realmente se ha implementado. Aunque esta lógica a veces está presente en diversas formas en los documentos de planificación, siempre existe una diferencia entre lo que se planea hacer y lo que realmente se hace, y el programa muchas veces se aplica de manera diferente de un territorio a otro y de una persona a otra. Esto es lo que mide la evaluación de implementación (Carroll, 2007). Por lo tanto, sigue siendo indispensable describir de manera consensuada el programa que será objeto de la evaluación, así como sus componentes. El papel de las partes interesadas en este proceso se discute especialmente en el capítulo 13. Si no se sabe con exactitud cuáles son los efectos esperados de un programa, ¿cómo evaluar su eficacia? Si no se conoce con precisión la secuencia de las actividades y los posibles vínculos de causalidad con los efectos esperados, es imposible atribuir al programa los cambios observados.

De acuerdo con las escuelas de pensamiento y su terminología, será necesario disponer, al final de esta preparación, de un modelo lógico, de una teoría o de la lógica del programa a evaluar. Algunos autores hacen una distinción entre el modelo lógico operativo de un programa y su modelo teórico conceptual. Del mismo modo, Chen (2005) diferencia el modelo de cambios (hipótesis descriptivas con respecto a las relaciones causales que explican el logro de objetivos) del modelo de acción (hipótesis preceptivas con respecto a los componentes del programa que van a procurar que este funcione). Pero recordemos especialmente aquí que la descripción precisa de un programa y que los vínculos entre sus componentes es indispensable en todo proceso evaluativo.

Para esto, a menudo es útil hacer una representación gráfica de las relaciones entre las actividades previstas y los efectos esperados, cuyos símbolos y forma habrán de elegirse. En la segunda parte de este libro se ofrecen ejemplos interesantes a este respecto. Lo importante de estas imágenes es que las relaciones sean claras y lo suficientemente precisas para llegar a un entendimiento común del programa estudiado y para orientar la manera en que se plantearán los temas de la evaluación.

Estas representaciones también pueden ser útiles para demostrar que la lógica de un programa no producirá efectos por cuanto que, por ejemplo, la manera en que este es concebido va en contra de los conocimientos de los que disponemos sobre las formas de intervenir en un ámbito particular. Los datos actuales en materia de reducción de la mortalidad materna en los países en vías de desarrollo, por ejemplo, nos dicen que la formación de parteras tradicionales y la realización de consultas prenatales son relativamente ineficaces. Si la construcción de la lógica de un programa por sus actores pone de manifiesto que ellos desarrollan su programa siguiendo estos vínculos de causalidad, el evaluador puede inmediatamente emitir un juicio sobre esta lógica ilógica. En tal caso, la etapa preevaluativa permite evitar la realización de una inapropiada evaluación de efectos y sugerir, por ejemplo, una evaluación de las posibilidades de acción con el fin de revisar la lógica del programa. En la figura 1.3 proponemos una representación gráfica de los elementos que componen un programa, pero hay muchos otros.

Si continuamos con el ejemplo del programa de maternidad de bajo riesgo, las necesidades (mortalidad, morbilidad) de los participantes (las mujeres en edad fértil) conllevan a la implementación de un programa cuyo objetivo esté orientado a reducir la mortalidad materna dentro de un contexto particular (una región de África). Este programa se compone de insumos (recursos financieros y humanos necesarios para la realización de las actividades) y procesos (formación, proyecto de construcción) que generan productos (libros, edificios de maternidad) con el propósito de producir efectos a corto plazo (calidad y accesibilidad de la atención) en los participantes (parturientas y parteras) o efectos a más largo plazo (reducción de la tasa de mortalidad materna).

Figura 1.3. Representación genérica de la lógica de una intervención

En la figura 1.3 los participantes están separados visualmente de los procesos con el fin de destacar el hecho de que un programa se justifica en función de los cambios que trata de inducir a favor de sus beneficiarios. Las flechas horizontales hacen hincapié en la cadena de resultados, los vínculos de causas y efectos. Cuanto más nos movemos hacia la derecha de la figura (hacia los efectos a largo plazo), los factores externos (otros programas, actores, cambios contextuales) pueden ser más la causa de estos efectos y, por consiguiente, menos podemos atribuir a la intervención los efectos o resultados encontrados. Es evidente que un programa de salud pública, cualquiera que sea su magnitud, no puede contribuir por sí solo a la reducción de la mortalidad materna. Por ejemplo, es bien sabido que el aumento de la tasa de escolarización de las niñas tendrá en la mortalidad materna un efecto a largo plazo tan o más importante que un programa de salud pública.

Una vez circunscrita la lógica de la intervención, es necesario determinar las preguntas de evaluación a responder. En muchos contextos, quienes encargan una evaluación quieren saberlo todo, en poco tiempo y con un presupuesto limitado. Por lo tanto, a menudo es indispensable clasificar las preguntas y verificar la viabilidad de la evaluación. Podemos basarnos en el planteamiento sugerido en el capítulo 9 para determinar mejor las preguntas de evaluación con la ayuda de criterios de tiempo, recursos y acceso a los datos, así como de criterios políticos o estratégicos.

Pusimos este modelo en práctica en el año 2005, en una evaluación realizada en Haití. Una vez comprendidos los retos y las necesidades, se elaboró una lista de todas las preguntas de evaluación que permitirían satisfacer todas las peticiones formuladas en la demanda de evaluación recibida. Ante la magnitud de la tarea y la imposibilidad manifiesta de responder a todos estos interrogantes, se hizo una lista de preguntas prioritarias. Dos conjuntos de criterios se aplicaron sucesivamente para hacer esta selección. El primer conjunto era de carácter técnico y se basaba en tres indicadores: tiempo, presupuesto y acceso a los datos. Algunas preguntas fueron eliminadas enseguida por razones metodológicas. El segundo conjunto de criterios era de carácter estratégico y estaba relacionado con el uso potencial de los resultados de la evaluación.

Una vez resueltas estas cuestiones cruciales, fue necesario elaborar un plan de evaluación. Damos ejemplos en la segunda parte de este libro. Una vez más, con el fin de no crear distancias innecesarias entre los evaluadores y las partes interesadas, a veces es preferible utilizar el término plan, en lugar de protocolo o diseño de evaluación, que tienen una connotación del mundo de la investigación. Para cada una de las preguntas de evaluación seleccionadas fue preciso determinar:

Los datos necesarios para responderla.

Los instrumentos de recolección de estos datos.

Las personas que tienen estos datos y los lugares en los que se encuentran.

El momento en que los instrumentos de recolección se utilizarán y quién lo hará.

Los métodos de análisis de datos.

Después, una evaluación de programas se gestiona como cualquier acción: es necesario prever una lista de tareas, un calendario de ejecución, una descripción de los recursos humanos y un presupuesto. Dijimos que una evaluación era especialmente útil para la toma de decisiones, y en particular para mejorar los programas. Por consiguiente, es indispensable, desde la planificación, interrogarse sobre la manera en que se recibirán los resultados. Es preciso examinar las estrategias que se pretenden implementar para comunicarlos (presentaciones cara a cara, resumen no técnico, formatos diferentes según las partes interesadas, etc.) y asegurarse de que las personas concernidas puedan apropiárselos. Una evaluación solo es realmente útil si sus resultados son utilizables y utilizados.

Los pocos trabajos empíricos sobre las condiciones de utilización de la evaluación (Cousins y Shulha, 2006) muestran que se asemejan a las condiciones de utilización de la investigación. Este rico campo de estudios muestra que hay una multitud de condiciones que favorecen la utilización de los conocimientos producidos por las actividades de los investigadores. Pueden clasificarse en cinco categorías (Dagenais, 2010; Dagenais et al., en prensa): 1) la opinión de los usuarios potenciales, 2) su experiencia individual, 3) el contexto organizacional propio de los usuarios, 4) las estrategias de apoyo a la utilización de los resultados y 5) las características de los investigadores y de su entorno. El cuadro 1.1 presenta ejemplos para cada una de estas categorías.

Cuadro 1.1. Categorías de condiciones que favorecen la utilización de la investigación

LA IMPLEMENTACIÓN DE UNA EVALUACIÓN: TIPOS Y ENFOQUES

Elegimos ignorar aquí el aspecto teórico de la implementación de una evaluación. En efecto, en lugar de disertar sobre la implementación, hemos preferido presentar al lector estudios de casos concretos que proporcionan respuestas a una pregunta que los estudiantes plantean con frecuencia: ¿cómo se hace la evaluación de un programa?. Por consiguiente, el lector encontrará en la segunda parte de este libro varios ejemplos de procesos evaluativos. Para ampliar el alcance de estos ejemplos, presentaremos evaluaciones realizadas en diversas áreas, tales como el trabajo social, la educación, la salud o la administración; evaluaciones de diferentes tipos y que se basan en distintos enfoques organizados en contextos sociales variados.

LOS TIPOS DE EVALUACIÓN

La representación esquemática de la figura 1.4 es una introducción eficaz a los distintos tipos de evaluación definidos como el objeto en el que se centra la valoración del evaluador. En el caso de la evaluación de un programa, este objeto puede ser un componente del mismo o la relación entre sus componentes. Tomaría demasiado tiempo examinar aquí los diferentes tipos de evaluación, por lo tanto solo daremos algunos ejemplos de ellos.

Figura 1.4. Los tipos de evaluación y sus relaciones con los componentes de un programa

El cuadro 1.2 presenta algunos ejemplos de preguntas seleccionadas en función de los distintos tipos de evaluación. Los estudios de caso de la segunda parte de este libro proporcionan varios ejemplos empíricos de estas preguntas genéricas.

Cuadro 1.2. Tipos de evaluación y preguntas genéricas

Señalemos que se proponen muchas otras tipologías en la literatura sobre la evaluación. Pero cualquiera que sea la opción preferida, siempre es indispensable analizar el contexto: dependiendo de su naturaleza, un programa tendrá efectos distintos y se implementará de diversas maneras. También debemos recordar que se pueden generar efectos no previstos, sean favorables o no a los participantes (Morell, 2010), y es imperativo registrarlos.

Chen