El efecto backwash de la evaluación

Reseña del artículo
Examination and learning: an activity-theoretical analysis of the relationship between assessment and educational practice. Assessment & Evaluation in Higher Education, 29 (2), 159-176, de Anton Havnes

     El artículo corresponde al informe de una investigación cualitativa realizada por Anton Havnes en la Universidad de Oslo, con respecto al efecto secundario o influjo que tiene la evaluación en las prácticas educacionales. Considera como marco conceptual la teoría de la actividad sociocultural de Yrjö Engeström (1), para la comprensión y el análisis de las relaciones que se dan entre los elementos que constituyen el contexto de aprendizaje.

     El contexto de la investigación es el Sistema de Educación Superior de Noruega, específicamente el sistema de examinación o de acreditación de aprendizajes, que , según el autor, orienta todas las prácticas educativas de la universidad. Constituye un hacer altamente estructurado, que se justifica, adquiere significado y permanencia gracias a una "tradición universitaria" que se asienta en los saberes de generaciones de estudiosos que le han dado forma. El autor emplea el término artefactos(2)  para referirse a los programas de la educación superior noruega, y en esta categoría también estarían las normas nacionales, las modalidades de exámenes, los libros de texto, los ejercicios que complementan esos programas y otros elementos, cuyo valor sería más bien histórico.  Estos artefactos estarían obstaculizando la innovación y perpetuarían prácticas pedagógicas fuertemente dirigidas a la "aprobación de exámenes" ,  privilegiando simplificaciones conceptuales, la  memorización y el adiestramiento en la resolución de problemas, mermando las posibilidades de desarrollar competencias complejas en los estudiantes, como por ejemplo la reflexión profunda. Es en este contexto que se justifica el marco conceptual elegido por Havnes: 

                 

              En los términos de la investigación de Havnes, lo planteado por Engeström significaría que  para entender las prácticas de aprendizaje ( y también de enseñanza) tenemos que ir más allá de los individuos y considerar los sistemas socioculturales y los mecanismos que sustentan los patrones de acción.  

                    En esta teoría se plantean tres niveles en la práctica humana:

                    "The simplest level of understanding of human behavior is that of operations: routine activities that we carry out without any conscious intention. At some stage theu might have been conscious, but not any more. An action, on the other hand, is individual, intentional and consciously performed in a manner unlike an automatic operation. An activity  is more abstract and more difficult to come to grips with. It reaches beyon the individual and is part of a wider, social context. It cannot be accounted for by referring to what individuals do or think."

                 Señala Havnes que es en el nivel de la actividad en donde se encuentran las prácticas socialmente más estables y donde pretende centrar su atención a fin de comprender las relaciones que se establecen. El problema es saber cuáles son los mecanismos que sostienen la práctica social dentro de un determinado entorno social y cultural. La sostenibilidad no se basa en las intenciones de los individuos; el motivo es colectivo, no surge de las personas (subject) y debe tener su origen en otro lugar: en el objeto (object) de la actividad, es decir aquello hacia lo cual se dirigen todas las acciones colectivas. Ahora, la continuidad de una actividad también es sostenida a través de una serie de artefactos de mediación , que permiten una cierta manera de actuar en una situación dada. Estos tienen su origen en condiciones institucionales y determinan lo que se permite o lo que se prohíbe. Desde esta perspectiva los programas noruegos sólo son la punta de un Iceberg.

                               El objetivo de la investigación es comprender el proceso de aprendizaje desde la perspectiva de los estudiantes, proceso que se centra en un artefacto específico: el Examen Philosophicum (Ex-Phil), curso obligatorio  que pretende introducir en el razonamiento científico profundo a los alumnos que inician su vida  universitaria. El examen data de 1635 y ha sufrido modificaciones a lo largo del tiempo(3). 

                    La hipótesis  de la investigación es que la estructura de la evaluación, enmarcada y justificada en una tradición histórica y sociocultural, contribuye a la creación de un contexto de aprendizaje que trabaja en contra del contenido/objetivo del Ex-Phil.

                   Los aspectos metodológicos de la investigación se resumen en el siguiente cuadro:

Información obtenida

        En términos generales, para los alumnos el programa no respondía a los ideales declarados en los discursos de los profesores que les daban la bienvenida, ni a los objetivos que aparecían escritos. Se dedicaban principalmente a aprender sólo lo que les serviría para aprobar ( listados de conceptos descontextualizados, por ejemplo) o a ejercitarse en la forma de responder, tanto a través de manuales como en los seminarios a los que les indicaban que debían inscribirse. Para los profesores, había una simplificación de los contenidos que conllevaba el riesgo de trivializarlos, lo que se complementaba con prácticas de aula que no daban cabida a la reflexión más allá de lo necesario para aprobar. El programa así trabajado entregaba muy pocas herramientas reales para desarrollar trabajos de investigación a futuro.

            No obstante, la profundización se daba en grupos de discusión con estudiantes de niveles superiores, grupos informales en los que los contenidos aprendidos eran utilizados para reflexiones y discusiones más complejas.

Ex-Phil como un actividad sistémica

                  Havnes  describe los elementos de la actividad sistémica relacionada con el Ex-phil, utilizando el modelo de Engeström: las guías curriculares, los libros de textos, la formas y estructuras de enseñanza, la literatura de apoyo, los manuales de ejercitación para el examen, las modalidades de las asignaturas, median entre los estudiantes y lo que pretenden alcanzar: se declara el desarrollo del cuestionamiento y la práctica científica como objeto que orienta la actividad, pero aparece en contraposición con la preparación del examen mismo que se convierte así en una finalidad y no en un medio

          Havnes descubre tensiones en la actividad que sería posible revisar, pues en ellas es posible vislumbrar acciones de transformación:

                   Por último, aun cuando parece obvia la conclusión de que la Evaluación efectivamente tiene un efecto backwash en el resto de los elementos del contexto  de aprendizaje, es la comprensión de la dinámica del modelo y el descubrimiento de las tensiones en juego lo que se torna más relevante:

        

(1)ENGESTRÖM, Yrjö (2000) Activity theory as a framework for analyzing and redesigning work, Ergonomics, 43 (7), 960-974.

(2) Cada objeto considerado como una herramienta, arma u otros que fue hecho en la antigüedad y es históricamente importante.(SUMMERS, D. (Directora) (2003). Longman dictionary of contemporary English. Harlow: Pearson Education.

(3)Para ampliar la información sobre el Ex-Phil, en http://www.hit.no/eng/HiT/Study-Programmes/Studier/Culture-and-Humanities/Examen-Philosophicum-Examen-Facultatum