Más allá de las pruebas/Beyond testing: Siete formas más efectivas que las pruebas estandarizadas para evaluar a los estudiantes y a las escuelas / Seven assessments of students and schools more effective than standardized test

Por Deborah Meier y Matthew Knoester

Un problema fundamentalmente complejo sobre cómo evaluar el conocimiento de un niño no se puede reducir a una simple calificación de prueba. Ese es el argumento principal del libro Más allá de las pruebas, que describe siete formas de evaluación más efectivas que los resultados de las pruebas estandarizadas: (1) autoevaluaciones de los estudiantes, (2) observaciones directas del maestro sobre los estudiantes y su trabajo, (3) revisiones descriptivas del niño, (4) entrevistas de lectura y matemáticas con niños, (5) portafolios y defensa pública del trabajo de los estudiantes, (6) revisiones escolares y observaciones de profesionales externos, y (7) juntas escolares y reuniones de la ciudad.
Según los destacados autores Deborah Meier y Matthew Knoester, estas evaluaciones serían lo que podemos y no podemos saber sobre el conocimiento, las habilidades y las disposiciones de los niños, y son más adaptables a las distintas misiones educativas. Por primera vez en español, el libro ganador del Critics' Choice Award 2019 (American Educational Studies Association).
"En una época en la que el uso de pruebas estandarizadas se ha visto como un mecanismo para mejorar los resultados educativos en todo el mundo, este libro ofrece a los educadores poderosas perspectivas y ejemplos detallados de formas en las que podemos descubrir, documentar y celebrar lo que los niños saben y pueden hacer. Lo recomiendo con entusiasmo a profesores, formadores de maestros y responsables de la formulación de políticas". Guadalupe Valdés, Profesora de Educación en la Universidad de Stanford.

• Idioma: Español
• Editorial: Ediciones UC
• Fecha de lanzamiento: 20 ago 2021
• ISBN: 9789561428324

Vista previa del libro

CAPÍTULO 1

Introducción

Como un ancla que es levantada luego de muchos años en el fondo de la bahía, arrastra consigo largas hebras de materiales pegados, el tema de la evaluación educacional necesariamente pone énfasis en muchos temas en educación, todos ellos unidos de forma inseparable a ella.

—Brenda Engel en Holding Values: What We Mean

by Progressive Education

Para quienes hemos pasado nuestras vidas profesionales en escuelas y hemos pensado acerca de lo que requiere una buena educación, no siempre es fácil imaginar cómo ven el mundo quienes hacen las leyes. ¿Cómo esta o aquella política puede apoyar lo que estamos haciendo en las escuelas? Puede ser una distancia insalvable, llevando a algunos al cinismo. ¿Cómo escuelas enormes que tienen una sensación de anonimato pueden satisfacer las necesidades de niños con problemas? Y aun así se siguen construyendo escuelas del tamaño de pequeños pueblos. ¿Cómo pueden utilizarse fondos para escuelas públicas en escuelas privadas, cuando estas no deben responder al público y aceptan y expulsan estudiantes según su voluntad? Sin embargo, vemos fuertes partidarios de los bonos escolares en los más altos niveles del gobierno.

Quizás lo más preocupante es que en las últimas décadas hemos visto a los legisladores exigir pruebas estandarizadas cuyos puntajes están vinculados a decisiones de alto impacto, incluyendo el progreso de estudiantes, evaluaciones de profesores, calificaciones en la escuela y la evaluación de las mismas políticas educacionales. Cuesta trabajo comprender esto.

En su libro seminal Seeing like a State (1998), James C. Scott nos ayuda a ponernos en los zapatos de quienes hacen las leyes. Él propone que los legisladores simplifican el mundo para poder verlo. Utilizando esta generosa perspectiva sobre lo que son, al menos en nuestra perspectiva, políticas dañinas, las pruebas estandarizadas pueden ser entendidas como una especie de mapa. Los cartógrafos deben simplificar necesariamente el terreno complejo para poder tener esa perspectiva desde arriba. Pero, aunque esta perspectiva puede ayudar, es útil recordar que un proceso de simplificación –tal como el reducir un globo terráqueo en 3 dimensiones a una superficie en 2 dimensiones– necesariamente distorsiona las masas de tierra y agua y les da prioridad a algunas partes sobre otras. Scott entrega docenas de ejemplos sobre como los intentos de los legisladores de simplificar y administrar a un nivel micro el mundo que los rodea, causa daño a personas que son gobernadas por estas leyes, aunque las intenciones del legislador parezcan ser benévolas.

Las pruebas estandarizadas de alto impacto son los datos que usan los legisladores para evaluar y racionalizar las políticas educacionales. Estos componen los datos que luego constituyen su mapa simplista y fallido de las escuelas. Sin embargo, para quienes hemos visto como estas políticas afectan a los estudiantes y a las escuelas que nos importan, sabemos que este mapa está distorsionado y que prioriza datos que presentan fallos; y esto se podría evitar. Las evaluaciones de estudiantes y escuelas son importantes; son las herramientas que utilizan los educadores y las comunidades escolares para entender las necesidades de ambos, para evaluar cómo les está yendo y debemos prestarles cuidada atención. Pero algunas evaluaciones son mejores que otras.

Desafortunadamente, el imaginario público tiende a confundir la responsabilidad de rendir cuentas para las escuelas con las pruebas estandarizadas de alto impacto. De seguro queremos asegurar la rendición de cuentas, queremos asegurarnos de que nuestras escuelas están siendo efectivas y que el futuro de nuestra nación –nuestros niños– están en buenas manos. Pero el crecimiento basado solamente en los resultados de pruebas estandarizadas no es una forma legítima de asegurar esta rendición de cuentas, a pesar de lo que puedan decir presidentes, gobernadores, superintendentes, académicos y periodistas. Incluso los agentes inmobiliarios usualmente publican los resultados de las escuelas locales en sus sitios web, utilizando esta información para valorizar y vender propiedades.

Con el tiempo hemos visto como los puntajes obtenidos en estas pruebas estandarizadas se han ligado a decisiones de alto impacto en torno a la evaluación de estudiantes, profesores, escuelas y políticas educacionales, especialmente a partir de la implementación de la ley No Child Left Behind [Que ningún niño se quede atrás] en el 2002. Pero muchos padres y educadores ya han comenzado a notar que estos puntajes no se condicen con una rendición de cuentas. Por ejemplo, en una encuesta Phi Delta Kappa/Gallop reciente (Bushaw & Calderon, 2014) un 68% de los padres encuestados reportaron dudar que las pruebas estandarizadas ayudaran a los profesores a saber qué enseñar. Y la ley No Child Left Behind, la cual requiere pruebas estandarizadas anuales para cada curso e implica consecuencias ligadas a esos resultados, empezó a ser mal vista, recibiendo más evaluaciones negativas que positivas en encuestas de opinión antes de que en el 2015 se le cambiara el nombre a Every Student Succeeds Act (ESSA) [Todos los estudiantes tienen éxito] en su reautorización. A pesar de esto, las pruebas estandarizadas siguen siendo la principal herramienta utilizada por legisladores y otros para juzgar el desempeño de escuelas y estudiantes. Bajo la ley ESSA, las escuelas están obligadas a evaluar a sus estudiantes con pruebas estandarizadas cada año desde el tercer grado¹ hasta el octavo y al menos una vez en secundaria. Las consecuencias ligadas a estos resultados ahora están bajo jurisdicción estatal en vez de federal, pero la mayoría de los estados han optado por vincular decisiones de alto impacto, como es la evaluación de estudiantes, profesores y/o escuelas, a partir de los resultados de estas pruebas.

Algunas dudas sobre el uso de pruebas en las escuelas

Todos hemos tenido alguna experiencia con pruebas estandarizadas y probablemente ya nos hemos formado una opinión propia acerca de qué tan buenas son para medir nuestro conocimiento y habilidades. Mi propia aventura (de Deborah) con pruebas estandarizadas incluyó una serie de revelaciones que noté a partir de información confusa con la que me encontré cuando me inicié como profesora hace más de cinco décadas. Personalmente, yo no había rendido ninguna prueba estandarizada durante mis años de enseñanza escolar. Cabe la posibilidad de que haya rendido un test de coeficiente intelectual en algún momento, según lo que mis padres me han comentado posteriormente. Pero más allá de esto, yo no tuve idea de la existencia de este tipo de instrumento de evaluación, a diferencia de las pruebas que eran diseñadas y corregidas por mis profesores buscando explicarme qué cosas había hecho correctamente y qué no. Aún más, en mi escuela se motivaba a que los estudiantes conversaran sobre sus notas con sus profesores. (Nota: Era una escuela independiente de la Ciudad de Nueva York y los estudiantes en su mayoría eran de clase acomodada.)

En 1951, decidí trasladarme a la Universidad de Chicago luego de dos años en Antioch College. Mi aceptación estaba condicionada a mis resultados en sus pruebas estandarizadas, con algunas de ellas incluyendo temas que nunca había estudiado. Me fue muy bien, y esto me desconcertó. El hombre con quien me casé –quien no había completado la secundaria por razones complicadas no relacionadas en nada con dificultades académicas– también pudo entrar a la Universidad de Chicago ¡En base a los puntajes de la prueba!

Mi siguiente experiencia fue cuando mi hijo Nicky rindió una prueba como un favor a una amiga que, como requisito para uno de sus cursos, debía administrar una prueba de este tipo. Ella notó que frecuentemente él se equivocaba en las preguntas fáciles, pero casi nunca fallaba en las más complejas. Su puntaje, en pocas palabras, era inútil. El ejemplo que ella me dio de una de las preguntas fáciles era sobre qué hacer si te mandaban a una tienda a comprar un tipo de pan que no había en esa tienda. Las opciones incluían ir a otra tienda, elegir otro tipo de pan o devolverte a casa. Él eligió esta última; en nuestro vecindario la siguiente tienda más cercana implicaba cruzar una calle altamente transitada y caminar otras cuatro cuadras, con sus ocho años esto estaba fuera de los límites permitidos. Comprar otro tipo de pan, la respuesta correcta, no era el tipo de riesgos que le gustara tomar.

Nicky rindió también una prueba estandarizada de lectura de la Ciudad de Nueva York (NYC) en el otoño de ese mismo año, nuestro primer otoño en NYC, y la escuela recomendó apoyo académico por su bajo puntaje. Me sentí desorientada, ya que era una lector fluido y voraz de cualquier libro que pudiese obtener. No acepté las clases de apoyo y cuando en el test de la primavera le fue mejor, la escuela dejó de insistir con esto. Mientras, conseguí una copia de la prueba de tercer grado (estaba trabajando en una escuela en ese momento) y le pedí que me mostrara como había afrontado la prueba. Descubrí que él consideraba que si el no cubría el pasaje sobre el que trataba la pregunta estaba haciendo trampa: Sino siempre vas a obtener la respuesta correcta. Nadie, me dijo, le había dicho que debía hacer esto. Fue su propia idea. Le pareció obvio.

Cuando se trataba de elegir respuestas de alternativa le pregunté por un par que había tenido mal. Me dijo que no le sorprendía, tenía la idea de que querían que marcara la B, pero él en verdad le parecía que D era más apropiada, Pero protesté, ¿Cómo iban a saber cuál había sido tu razonamiento? Me respondió: Lo expliqué en los márgenes.

Cuando mi clase de kindergarten pasó a segundo grado (cuando NYC empezó a implementar pruebas para los estudiantes), decidí hacerles preguntas similares sobre sus respuestas y las estrategias que habían seguido. Obtuve un pequeño fondo de investigación de una fundación para este fin y grabé las sesiones. Intenté diferentes técnicas, por ejemplo, les leí algunos de los pasajes en voz alta para ver si esto afectaba sus respuestas, pero no mostró mejora. Cuando les pedí a los estudiantes que me explicaran su lógica quedé sorprendida. Su dificultad no tenía que ver con una incapacidad de leer los pasajes de manera apropiada, por lo mismo mi lectura en voz alta no solucionaba nada. Su lógica al momento de contestar los ítems de forma incorrecta parecía un excelente raciocinio, basado en la evidencia presentada. A partir de esto escribí un pequeño libro sobre el tema para City College bajo el título Reading Failure and the Tests (1973).

Estaba también sorprendida por la cantidad de padres que, cuando les preguntaba sobre cómo leía su hijo, me daban el puntaje de la prueba, pero no tenían idea lo que significaba y frecuentemente parecían confundidos porque su hijo estaba leyendo mejor de lo que les indicaba el puntaje.

También me llamó la atención una noticia que se quejaba porque, a pesar de que por años se venía aumentando el presupuesto para las escuelas públicas, todavía se mantenía el mismo porcentaje de estudiantes que leían sobre o bajo el nivel del curso. Este periodista de educación no sabía que los puntajes son simplemente un reporte que establece el nivel de curso en la mediana; de manera que los porcentajes se mantienen estáticos. ¿Esperábamos acaso que niños pobres superaran a niños de clase media y acomodada en los rankings? Los puntajes que indican que niños de clase alta rinden mejor que los niños de clases menos acomodadas no debiesen usarse como evidencia para disminuir los fondos para aquellos que más los necesitan.

De a poco también me fui dando cuenta de la cantidad de trampas que estaban ocurriendo, especialmente en esos años en que no era difícil saber que era lo que iba a estar en la prueba. Me sorprendía cada vez que periodistas o superintendentes se tomaban en serio informes que hablaban sobre grandes diferencias en los puntajes de una escuela, o los puntajes de un profesor en comparación de otro. Me dio vergüenza descubrir que una profesora que me había informado que había hecho trampa y que temía que se dieran cuenta, todavía se jactaba sobre el puntaje de sus alumnos al año siguiente.

Recuerdo un caso en que una historia en los medios celebraba a una escuela del Lower East Side porque sus puntajes habían subido significativamente. Descubrí que esa escuela, durante el año en cuestión, se había convertido en el sitio para dotados y prodigios del distrito. ¿Qué se hace frente a eso?

Empecé a intentar explicarles cada vez más a los chicos acerca del test –incluyendo algunas pistas sobre cómo proceder para mejorar sus suposiciones y nunca dejar una pregunta sin contestar. Los hacía crear pruebas para sus compañeros para que pudieran tener una mejor noción de lo que intentan hacer las personas que crean las pruebas. Les demostré que, porque los conozco bien, yo podría diseñar una prueba en la que le fuera mejor a Jackie al igual que una que favoreciera a otros. Ayudó un poco –más que nada, en qué tan seriamente se tomaban los resultados, ahora estaban menos ansiosos. Sabía de igual forma que esto podría llevar a resultados negativos si es que los estudiantes dejaban de tomar en serio la prueba. Sin embargo, yo sentía que el explicarles que los ítems se iban complejizando a medida que avanzaban en la prueba los reconfortaba, y que en verdad son esos pocos últimos ítems los que estaban pensados para que muy pocos chicos los respondieran correctamente.

Me di cuenta de que mi habilidad para tomar pruebas estandarizadas estaba relacionada directamente con mi capacidad de entender cómo veían el mundo las personas que habían diseñado la prueba. Y lo que estos y otros adultos querían que yo respondiera. El problema era que las experiencias pasadas de mis estudiantes los habían llevado a una trampa. Ellos también contestaban con aquello que creían que los adultos aprobarían –pero la experiencia los dirigió a conclusiones erróneas. Las experiencias de mis estudiantes, sus familias y comunidades eran diferentes a las de quienes diseñaban las pruebas y a las de los niños que ellos tenían en mente al decidir qué respuestas eran correctas. Mis estudiantes tenían suficiente vocabulario en cuanto al número de palabras, pero no eran las palabras que habían sido seleccionadas para la prueba. En resumen, su propia inteligencia intuitiva y sofisticada era más una desventaja que un beneficio.

Claramente mi base de conocimiento –haber hablado y leído con y para los niños– me había dado una mejor base para evaluar sus habilidades y conocimientos. Lamentablemente, los niños y sus padres tenían demasiada confianza en las pruebas y esto los había conducido a un sentimiento de desesperación e incompetencia: Todavía estoy bajo el nivel del curso no importa cuánto me esfuerce o cuánto crea que he mejorado. Es por esta razón que en la Escuela Primaria Central Park East (CPE) desarrollamos una escala diferente de lectura junto a una forma diferente de presentar la información a los chicos y sus familias. También les explicamos todas las razones por las cuales sus puntajes en las pruebas estandarizadas no representaban sus habilidades –incluyendo error de medida estándar, las cuales eran bastante considerables. Así que grabamos a los niños leyendo y desarrollamos una escala que pudiésemos usar de forma confiable entre nosotros y también para las familias. Los chicos y sus padres disfrutaban de escuchar esas grabaciones a lo largo de los años y ver que se reconocía su progreso. La escala incluía lectura, hablar acerca de lectura asignada y conversaciones sobre aspectos de leer. Y continuamos apoyándonos en un número creciente de evaluaciones diferentes a las pruebas estandarizadas.

El poder de los portafolios

Cuando asumí el cargo de directora de la Escuela Secundaria Central Park East, estaba sorprendida de que tanto los estudiantes como las familias tomaron tan en serio y con tanto respeto los portafolios y sus presentaciones (véase el capítulo siete). Les habíamos explicado que ellos estaban haciendo algo similar a lo que hacen los candidatos a doctorado cuando presentan sus tesis a sus comités, o también algo más cercano a lo que los empleadores hacen cuando evalúan candidatos para trabajos que requieren habilidades y comprensión real. Ellos –profesores y empleadores– en lo posible buscan evaluar a los candidatos en base a su trabajo real y a las explicaciones que estos dan sobre cómo hicieron su trabajo. También se acercaba al sistema profesional desarrollado por la Junta Nacional de Estándares Profesionales de Enseñanza (yo participé en su junta fundadora). Su sistema incluía portafolios y videos de enseñanza real seguido por conversaciones y explicaciones acerca de porqué habían hecho tal o cual cosa.

La autenticidad del proceso era impresionante para los chicos. Rara vez cuestionaban su precisión, y si un profesor o un estudiante, o la familia tenían dudas acerca de los resultados, siempre podíamos repetir la evaluación teniendo en cuenta sus comentarios. Tenían la oportunidad de cuestionar nuestras conclusiones y algunas veces incluso hacernos cambiar de opinión. Nos ofrecía a nosotros, como profesores, una oportunidad para entender de mejor manera los trabajos de otros y cómo nuestros estudiantes entendían su propio trabajo. El involucrar evaluadores externos, los padres y estudiantes más jóvenes también nos daban información útil para mejorar nuestro trabajo.

Era tan impresionante que, en retrospectiva, claramente debimos haber usado un método similar para pasar del sexto al séptimo grado, del octavo noveno y del decimos al onceavo. En estas ocasiones utilizamos un acercamiento menos riguroso y formal que estaba basado prácticamente en la misma idea, pero estaba apoyado principalmente en nuestras intuiciones individuales y menos en el diálogo abierto entre adultos observantes y los mismos estudiantes.

También era muy útil al final del doceavo grado la reflexión personal obligatoria que debían escribir como autoevaluación, sobre sus planes para la próxima fase de su vida e ideas sobre mejoras o cambios que estas prácticas necesiten (véase el capítulo tres). Esto no tenía ningún tipo de puntaje, pedir una oportunidad para que las familias, los estudiantes y los profesores reflexionaran en conjunto acerca de las formas en que cada uno podía ser de ayuda. Debimos haberlo empezado antes.

El hecho de que durante todo este proceso el juicio y la experiencia de los adultos era respetada y mostrada abiertamente a los estudiantes era un aspecto importante del diseño. Creíamos que les ayudaría en el futuro a ver que la adultez y la experiencia como algo altamente valioso –¡aunque no perfecto! Por esto no nos sorprendía cuando profesores universitarios y los encargados de admisión nos comentaban acerca de estas cualidades en nuestros graduados, cómo también de la facilidad que tenían para participar en discusiones con adultos.

Argumentos en contra de las pruebas estandarizadas de alto impacto

En retrospectiva, debimos haber sabido mucho antes que depender de pruebas estandarizadas de alto impacto para asegurar calidad en las escuelas, no era inevitable ni deseable. La historia de las pruebas estandarizadas al