El efecto backwash de la evaluación

Reseña del artículo
Examination and learning: an activity-theoretical analysis of the relationship between assessment and educational practice. Assessment & Evaluation in Higher Education, 29 (2), 159-176, de Anton Havnes

     El artículo corresponde al informe de una investigación cualitativa realizada por Anton Havnes en la Universidad de Oslo, con respecto al efecto secundario o influjo que tiene la evaluación en las prácticas educacionales. Considera como marco conceptual la teoría de la actividad sociocultural de Yrjö Engeström (1), para la comprensión y el análisis de las relaciones que se dan entre los elementos que constituyen el contexto de aprendizaje.

     El contexto de la investigación es el Sistema de Educación Superior de Noruega, específicamente el sistema de examinación o de acreditación de aprendizajes, que , según el autor, orienta todas las prácticas educativas de la universidad. Constituye un hacer altamente estructurado, que se justifica, adquiere significado y permanencia gracias a una "tradición universitaria" que se asienta en los saberes de generaciones de estudiosos que le han dado forma. El autor emplea el término artefactos(2)  para referirse a los programas de la educación superior noruega, y en esta categoría también estarían las normas nacionales, las modalidades de exámenes, los libros de texto, los ejercicios que complementan esos programas y otros elementos, cuyo valor sería más bien histórico.  Estos artefactos estarían obstaculizando la innovación y perpetuarían prácticas pedagógicas fuertemente dirigidas a la "aprobación de exámenes" ,  privilegiando simplificaciones conceptuales, la  memorización y el adiestramiento en la resolución de problemas, mermando las posibilidades de desarrollar competencias complejas en los estudiantes, como por ejemplo la reflexión profunda. Es en este contexto que se justifica el marco conceptual elegido por Havnes: 

                 

              En los términos de la investigación de Havnes, lo planteado por Engeström significaría que  para entender las prácticas de aprendizaje ( y también de enseñanza) tenemos que ir más allá de los individuos y considerar los sistemas socioculturales y los mecanismos que sustentan los patrones de acción.  

                    En esta teoría se plantean tres niveles en la práctica humana:

                    "The simplest level of understanding of human behavior is that of operations: routine activities that we carry out without any conscious intention. At some stage theu might have been conscious, but not any more. An action, on the other hand, is individual, intentional and consciously performed in a manner unlike an automatic operation. An activity  is more abstract and more difficult to come to grips with. It reaches beyon the individual and is part of a wider, social context. It cannot be accounted for by referring to what individuals do or think."

                 Señala Havnes que es en el nivel de la actividad en donde se encuentran las prácticas socialmente más estables y donde pretende centrar su atención a fin de comprender las relaciones que se establecen. El problema es saber cuáles son los mecanismos que sostienen la práctica social dentro de un determinado entorno social y cultural. La sostenibilidad no se basa en las intenciones de los individuos; el motivo es colectivo, no surge de las personas (subject) y debe tener su origen en otro lugar: en el objeto (object) de la actividad, es decir aquello hacia lo cual se dirigen todas las acciones colectivas. Ahora, la continuidad de una actividad también es sostenida a través de una serie de artefactos de mediación , que permiten una cierta manera de actuar en una situación dada. Estos tienen su origen en condiciones institucionales y determinan lo que se permite o lo que se prohíbe. Desde esta perspectiva los programas noruegos sólo son la punta de un Iceberg.

                               El objetivo de la investigación es comprender el proceso de aprendizaje desde la perspectiva de los estudiantes, proceso que se centra en un artefacto específico: el Examen Philosophicum (Ex-Phil), curso obligatorio  que pretende introducir en el razonamiento científico profundo a los alumnos que inician su vida  universitaria. El examen data de 1635 y ha sufrido modificaciones a lo largo del tiempo(3). 

                    La hipótesis  de la investigación es que la estructura de la evaluación, enmarcada y justificada en una tradición histórica y sociocultural, contribuye a la creación de un contexto de aprendizaje que trabaja en contra del contenido/objetivo del Ex-Phil.

                   Los aspectos metodológicos de la investigación se resumen en el siguiente cuadro:

Información obtenida

        En términos generales, para los alumnos el programa no respondía a los ideales declarados en los discursos de los profesores que les daban la bienvenida, ni a los objetivos que aparecían escritos. Se dedicaban principalmente a aprender sólo lo que les serviría para aprobar ( listados de conceptos descontextualizados, por ejemplo) o a ejercitarse en la forma de responder, tanto a través de manuales como en los seminarios a los que les indicaban que debían inscribirse. Para los profesores, había una simplificación de los contenidos que conllevaba el riesgo de trivializarlos, lo que se complementaba con prácticas de aula que no daban cabida a la reflexión más allá de lo necesario para aprobar. El programa así trabajado entregaba muy pocas herramientas reales para desarrollar trabajos de investigación a futuro.

            No obstante, la profundización se daba en grupos de discusión con estudiantes de niveles superiores, grupos informales en los que los contenidos aprendidos eran utilizados para reflexiones y discusiones más complejas.

Ex-Phil como un actividad sistémica

                  Havnes  describe los elementos de la actividad sistémica relacionada con el Ex-phil, utilizando el modelo de Engeström: las guías curriculares, los libros de textos, la formas y estructuras de enseñanza, la literatura de apoyo, los manuales de ejercitación para el examen, las modalidades de las asignaturas, median entre los estudiantes y lo que pretenden alcanzar: se declara el desarrollo del cuestionamiento y la práctica científica como objeto que orienta la actividad, pero aparece en contraposición con la preparación del examen mismo que se convierte así en una finalidad y no en un medio

          Havnes descubre tensiones en la actividad que sería posible revisar, pues en ellas es posible vislumbrar acciones de transformación:

                   Por último, aun cuando parece obvia la conclusión de que la Evaluación efectivamente tiene un efecto backwash en el resto de los elementos del contexto  de aprendizaje, es la comprensión de la dinámica del modelo y el descubrimiento de las tensiones en juego lo que se torna más relevante:

        

(1)ENGESTRÖM, Yrjö (2000) Activity theory as a framework for analyzing and redesigning work, Ergonomics, 43 (7), 960-974.

(2) Cada objeto considerado como una herramienta, arma u otros que fue hecho en la antigüedad y es históricamente importante.(SUMMERS, D. (Directora) (2003). Longman dictionary of contemporary English. Harlow: Pearson Education.

(3)Para ampliar la información sobre el Ex-Phil, en http://www.hit.no/eng/HiT/Study-Programmes/Studier/Culture-and-Humanities/Examen-Philosophicum-Examen-Facultatum

De utopías, status quo y complejidad en evaluación

La práctica pedagógica se mueve en el terreno intermedio entre la utopía que nos habla de las mejores prácticas de alguien en algún lugar, confirmadas por investigaciones, y la fuerza del status quo de los contextos escolares. Evaluación auténtica, feedback ( en el tercer nivel), portafolios, negociación, construcción de rúbricas cooperativamente, simulación de tareas (para la evaluación de competencias) aluden a una nueva forma de evaluar que hace ingresar la vida a las aulas e instaura la "vitalidad" como criterio que ayuda a dimensionar el valor de lo que enseñamos. No se trata de que lo que enseñemos "sirva para algo" sino que aporte a la mayor comprensión de la vida que tenemos y nos aporte a nuestro estar "inteligente" en el día a día, un estar que requiere de autonomía en la toma de decisiones y responsabilidad frente a los actos que acometemos producto de la respuesta que damos a las paradojas, a los dilemas, a las tareas que sostienen la vida y otras labores propias del existir.

Pero si hemos tomado el devenir vital como referencia evaluativa, significa que hemos de considerar los procesos "a escala humana" y esto tiene varias implicancias:

Primero, que la implementación de estas prácticas evaluativas requiere de tiempos que el sistema educativo y el sistema social no provee. Significa trabajar de manera simultánea en varios frente, tiempo para reflexionar y construir, tiempo para formarse e ir logrando la apropiación de las mismas a través de la práctica, y también para discutirlas, abandonarlas o enriquecerlas.

Segundo, que estas prácticas evaluativas tiene una configuración multidimensional y no lineal, por lo tanto requieren de un cambio de visión acerca de la forma en que se "visualiza" el proceso evaluativo, inseparable del proceso de aprendizaje y no en un tiempo "fuera".

Tercero, redireccionar en las organizaciones escolares los objetivos de los proyectos educativos, aun más muchos de ellos tienen en su misión o visión loables declaraciones sobre la ciudadanía, el desarrollo integral, la educación en valores; pero responden pragmáticamente a las demandas evaluativas del sistema: SIMCE, PSU, PISA y los profesores y alumnos se enferman de "evaluación".

Además están los resultados. Los mejores Liceos Municipalizados de Chile, que invierten en la selección de alumnos debido al círculo "virtuoso" de la oferta y la demanda, no han variado fundamentalmente sus estrategias de evaluación, y¿por qué habrían de hacerlo si tienen los mejores resultados en las pruebas nacionales? Estos establecimientos son los puntos de referencia, no del profesor, sino de los sostenedores y directores de centros educativos. El contrasentido se produce al buscar resultados similares en poblaciones escolares distintas: por un lado alumnos de alto rendimiento, motivados por una competencia en la que siempre han sido ganadores, donde la inclusión no comprende las discapacidades cognitivas, ni el déficit atencional, donde el modelo de clase es la del aula universitaria y la intervención educativa corresponde a un factor importante, pero no decisivo en el éxito escolar; por otro, centros donde la selección es sólo parte del marketing necesario para que la escuela sea valorada por la comunidad y en los que la admisión es prácticamente universal, entonces la motivación está ligada al término de un nivel de enseñanza, donde la inclusión en el aula es de facto pero no afecta mayormente la práctica pedagógica, donde el modelo de clase tiene al maestro como protagonista, ubicado en la tensión lineal entre la cobertura curricular y el logro de aprendizajes.

Valga precisar que en los liceos "exitosos" la tensión lineal se reduce al mínimo, pues el profesor se encarga de cubrir el currículum y los alumnos de aprender: lo que aprendan o no los alumnos no es de responsabilidad el docente, porque esos alumnos  siempre aprenden. Y se aumentan los niveles de exigencia emulando lo que será, en teoría, la Universidad y la evaluación se convierte en el proceso final que otorga todos los honores. Las bajas de la guerra son necesarias para el general y su estrategia, por lo tanto los que repiten (suspenden), pierden la pertenencia a esos centros educativos.

Desde una visión fragmentada de la realidad en la que se escoge las relaciones de causa y efecto que puedan responder esta pregunta y dejar indemne el sistema, la explicación está en la falta de preparación, de voluntad o de compromiso del docente. Si generamos formación esto por sí mismo generaría cambio en las prácticas; así que damos formación y si  no hay cambio, es que falta voluntad y hay que "jugarse las cartas" en la formación inicial a la espera que los docentes sin voluntad ni espíritu dejen el sistema.

Si el sistema y sus recompensas sigue siendo los mismos y la comprensión de los procesos evaluativos nacionales o internacionales no cambian por parte de quienes "interpretan los resultados" sin la autocrítica al estado de cosas que, al parecer nunca se transparenta, difícilmente haya cambios de fondo y la evaluación como proceso de aprendizaje y las estrategias que se inscriban en ella, no pasarán de ser prácticas anecdóticas que no se sostengan en el tiempo.

En una visión compleja de la realidad, la preparación del docente es uno de los factores por considerar, pero se le concibe en el territorio de la práctica educativa, no aislado, sino en imbricación y red con otros elementos. Abordar las practicas evaluativas, significa trabajar con docentes en particular y en los centros en los que se encuentran, modificar las estructuras organizativas y administrativas, alinear la declaración de intenciones con las acciones que las hacen efectivas. Las grandes ideas tienen fuerza por las personas que las acogen y las desarrollan; ningún cambio es posible sin las personas y ninguna persona podrá realizar cambios de fondo sino se modifican a la vez las estructuras.

La pregunta es si los centros están dispuestos a asumir los costos que esto implica. Un profesor que atiende 16 cursos, 640 alumnos semanales y 40 horas lectivas, con atención de apoderados y alumnos, programadas desde la administración, a imitación de algunos colegios particulares ( una buena idea pero descontextualizada ), lo pensará dos veces o tres o tal vez no lo pensará, tal vez no tendrá tiempo ni para pensar, lo que aporte la evaluación al aprendizaje de los alumnos. Y no es tema de mayor o menor compromiso, ni de mayor o menor "vocación".

Los cambios deben plantearse en los centros y en las Corporaciones en las motivaciones reales que los impulsan. Porque, lo paradójico es que la propuesta del Ministerio en los planes y programas, en las propuestas de evaluación, en las actividades de aprendizaje, en la evaluación docente, en la acreditación de los centros,incluso en las pruebas nacionales, está en la línea de las tendencias que se centran en el aprendizaje, en la evaluación formativa, en el feedback, en las competencias, en la innovación y otras. El problema está en las acciones que las acompañan y en qué marco comprensivo  se les da sentido. Por ejemplo, que el valor de un centro educativo esté reducido al rendimiento de sus alumnos en SIMCE o PSU o que se haya generado todo un mercado de servicios académicos a través de los Preuniversitarios que adiestran y nivelan a los estudiantes para rendir la prueba que les permite el ingreso a las universidades tradicionales.

Recuerdo que en la reforma educativa más reciente en Chile se dio la opción a las Corporaciones y centros escolares, bajo el concepto de libertad de enseñanza que daba la LOCE, de no acogerse a los planes y programas del MINEDUC y presentar sus propuestas. Aunque algunos centros inicialmente presentaron sus programas, básicamente por mantener  la visión academicista que les había rentado buenos resultados, terminaron por acogerse a los planteamientos del MINEDUC, porque la nueva prueba de selección universitaria (PSU) que aplicarían las universidades tradicionales, se basaría en los objetivos fundamentales verticales (OFV) y contenidos mínimos obligatorios (CMO) del Decreto 220. Inicialmente no se detallarían los programas de manera que cada centro pudiera contextualizar la propuesta del MINEDUC, pero las demandas por más orientación llevó a la elaboración y publicación de Programas Oficiales que declaraban el principio de flexibilidad en la elección de contenidos y objetivos siempre que se cumpliera con lo fundamental y lo mínimo. Estos estaban diseñados desde una perspectiva constructivista, pero las prácticas pedagógicas siguieron guiadas por los contenidos y la cobertura curricular, por dos razones de supervivencia: la PSU evalúa habilidades  pero sobre contenidos específicos  y estos contenidos, no siempre bien explicitados, no son mínimos.

La opción por la complejidad incluye salir del reduccionismo, de las miradas lineales y de las relaciones causales directas. Antes que señalar causas, responsables y llegar a la culpabilidad, que focaliza en unos exculpando a otros, tal vez la tarea prioritaria sea comprender lo que pasa en un centro y las relaciones organizativas que en él hay, no para comprobar que tenemos razón en lo mal que todos lo hacen, porque en términos reales ellos hacen algo y viven en las paradojas del sistema; sino para aprehender y, si queremos involucrarnos con los docentes reales, ayudar a la transformación.

Calvin y Hobbes por Bill Waterson

La finalidad inicial de los estudios etnográficos era estudiar el comportamiento de grupos humanos, conocer la estructura y sus funcionamiento como grupo social. De ellos se escribían libros para dar cuenta de que había otras formas de convivir distintas a  nuestras estructuras y organizaciones que sentimos tan naturales. La idea no era alterar el devenir de esas comunidades y, a partir de lo aprendido, realizar generalizaciones sobre el comportamiento humano. El problema para el científico tradicional era que terminaba por involucrarse con las personas que dejaban de ser el "objeto de estudio" y comenzaba un aprendizaje recíproco de humanización, en el mejor de los casos; en el peor, seguían siendo objeto de estudio, incluso de exposición magistral en seminarios y congresos.

Tal vez la única orientación general válida sea que no olvidemos la humanidad de quienes son "objeto" de nuestras afirmaciones y no nos situemos en la vanguardia, de espaldas a la realidad y en el extremo de los triunfadores, fragmentando, reduciendo y con miradas disyuntivas, porque la gran paradoja de la investigación desde la complejidad es que todo lo que le ocurre al sistema nos acontece a nosotros mismos, y que mientras más nos esforcemos en dar cuenta de lo que falta, aumentará gradualmente la ceguera frente a lo que existe. La batalla por la lucidez de Edgar Morin parte por ver la dimensión y la estructura del telescopio con el que observamos el universo.