Monográfico
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado
Educational Design Research of a Summative Evaluation Task in Transmedia Form for Initial Teacher’s Preservice Training
Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado
RIED. Revista Iberoamericana de Educación a Distancia, vol. 24, núm. 2, 2021
Asociación Iberoamericana de Educación Superior a Distancia
Recepción: 16 Diciembre 2020
Aprobación: 12 Febrero 2021
Cómo referenciar este artículo: Castañeda, L. (2021). Una experiencia de diseño de una tarea de evaluación sumativa en formato transmedia para formación inicial de profesorado.
RIED. Revista Iberoamericana de Educación a Distancia, 24(2), pp. 203-224. https://doi.org/10.5944/ried.24.2.29148
Resumen: La importancia de llevar a cabo procesos de evaluación formativa y sumativa que se complementen y enriquezcan la experiencia de aprendizaje del estudiantado, es una de las premisas de los modelos de evaluación de aprendizajes de los últimos 40 años. Sin embargo, la mayoría de los esfuerzos en investigación se han centrado en potenciar la evaluación formativa y la retroalimentación derivada de ella, y muy poco se ha escrito sobre experiencias de evaluación sumativa que vayan más allá del control y que desafíen las prácticas evaluativas tradicionales en Educación Superior. Este trabajo tiene como objetivo identificar las características principales que describen una tarea de evaluación sumativa concreta que cumple con las expectativas de certificación propias de un curso universitario, pero que a la vez ofrece una experiencia potencialmente educativa para los estudiantes, tanto desde el punto de vista cognitivo como metacognitivo. Para ello se presenta bajo el enfoque de investigación naturalista basada en el diseño (IBD), un estudio de caso a lo largo de 8 años y 5 iteraciones –4 de diseño y 1 de implementación de prototipo final– en el que se ha diseñado una tarea de evaluación sumativa final individual y transmedia y en el que se usan evidencias no intrusivas para la colección de los datos. En el diseño final, destacan los elementos de diseño de contenidos de la tarea que se describen en las conclusiones de este trabajo, y elementos como la reflexión, la comunicación de los objetivos de logro a través de rúbricas, el manejo del tiempo y la complementariedad de los medios expresivos, que aparecen como características destacadas de un diseño que pretende acercarse a los principios del aprendizaje conectado como ideal para encarar los condicionantes del momento en que nos encontramos.
Palabras clave: evaluación sumativa, aprendizaje conectado, tareas de conocimiento, reflexión, evaluación transmedia.
Abstract: The importance of conducting formative and summative assessment processes that complement and enrich the student learning experience is one of the premises of the learning assessment models of the last 40 years. However, most research efforts have been focused on enhancing formative assessment and the feedback derived from it, and very little has been written about summative assessment experiences that go beyond surveillance and challenge traditional assessment practices in Higher Education. This paper aims to identify the main characteristics that describe a particular summative assessment task which fulfils the certification expectations of a university course but, at the same time, offers a potentially educational experience for students, both from a cognitive and metacognitive point of view. For this purpose, a case study is presented in the format of educational design research based on the IBD design, being this case study over 8 years and 5 iterations - 4 of design and 1 of final prototype implementation - in which a final individual and transmedia summative assessment task has been designed. In the final design, the design elements of the task contents described in the conclusions of this work stand out, as well as the elements such as reflection, communication of the achievement objectives through rubrics, time management and the complementarity of the expressive media, which appear as outstanding characteristics of a design that intends to approach the principles of networked learning as ideal to face the conditioning factors of the moment in which we are in.
Keywords: summative assessment, networked learning, knowledge tasks, reflection, transmedia assessment.
En la evaluación de aprendizajes de los estudiantes se ha escrito reiteradamente acerca de la importancia de recoger datos en diferentes modalidades y de diversificar las evidencias que se recogen sobre los aprendizajes (Secolsky y Denison, 2018) y aunque esa diversidad incluya la combinación de evaluaciones formativas y sumativas en formatos diversos (Banta y Palomba, 2015; Sambell et al., 2018; Secolsky y Denison, 2018), lo cierto es que, poco se ha escrito sobre experiencias de evaluaciones sumativas que intenten desafiar las prácticas habituales en Educación Superior y abordar los principios de la evaluación de aprendizajes que ya desde hace años conocemos como fundamentales (Shepard, 2000).
Si bien la investigación sobre evaluación de los últimos años demuestra que nuestros esfuerzos se centran en potenciar la evaluación formativa y el feedback que se deriva de ella, es ampliamente aceptado que la evaluación sumativa bien diseñada puede promover un aprendizaje efectivo, y que parte de ese buen diseño de la evaluación reside en que ofrezca oportunidades de tareas auténticas y válidas, es decir, que midan lo que dicen que miden ( Sambell et al., 2018) y en que evaluación, objetivos y actividades de aprendizaje estén alineadas (Biggs, 2014). Se trata en últimas de conseguir que las prácticas de evaluación –y particularmente de evaluación sumativa– mejoren el enganche de los estudiantes con su proceso de aprendizaje y, por tanto, sus resultados de aprendizaje y su satisfacción (Biggs, 2014), en lugar de convertirse simplemente en una “sucesión alienada de respuestas insustanciales y la persecución de una nota” (Sambell et al., 2018, p. 140).
El objetivo de este trabajo es identificar las características principales que describen precisamente una tarea de evaluación sumativa que tiene esa pretensión, servir como tarea de conocimiento para los estudiantes mientras es útil como momento final en el que se pueden resumir y exhibir los niveles de logro de las competencias en el marco de la Educación Superior formal.
MARCO TEÓRICO
Aunque la evaluación sumativa se ocupe tradicionalmente de resumir y hacer juicios que suelen suponer un punto final de un proceso de enseñanza-aprendizaje (Sambell, 2018), una de las ambiciones cuando se intentan hacer propuestas de evaluación sumativa es tratar de reducir el componente de control que tiene la evaluación y convertir este momento en una experiencia de aprendizaje interesante, que cumpla con las expectativas de certificación que sean precisas, pero que a la vez ofrezca una experiencia potencialmente educativa para los estudiantes, tanto desde el punto de vista cognitivo como metacognitivo (Marzano y Kendall, 2006).
Como bien remarca Shepard (2006), desde una perspectiva cognitiva no es mejor una propuesta educativa SIN evaluación sumativa; por el contrario, lo que indica la investigación conocida es que el sistema ideal de evaluación sería uno en que “las evaluaciones sumativa y formativa estuvieran mutuamente alineadas con objetivos de aprendizaje orientados conceptualmente, y en el que las evaluaciones sumativas se utilizaran como momentos importantes de logro” … “después de periodos de aprendizaje reforzados por la evaluación formativa” (p. 35). Así, la evaluación sumativa se lleva a cabo después de que un programa haya estado en funcionamiento durante un tiempo, o a su conclusión, para hacer juicios sobre su calidad o valor en comparación con las normas de rendimiento previamente definidas (Banta y Palomba, 2015).
Incluir tareas finales o pruebas hacen que los estudiantes revisen lo trabajado, procesen mentalmente el contenido y, si se plantean adecuadamente y con calidad los contenidos de las tareas vuelvan a aprender, lo que opera como una forma limitada de práctica distribuida. Además, para bien o para mal, la prueba dirige la atención a los temas y las habilidades que se examinan, lo cual tiene implicaciones para los esfuerzos de estudio de los estudiantes (Shepard, 2006).
La cuestión sobre la calidad de las tareas de evaluación parte fundamentalmente de proponer un modelo coherente de evaluación, lo cual a su vez parte de tener claro cómo entendemos que aprenden los estudiantes (Pellegrino et al., 2001) y de alinear la evaluación con objetivos y las actividades de aprendizaje (Biggs, 2014) .
En el caso que nos ocupa entendemos que el modelo de aprendizaje de los estudiantes debería responder a lo que podríamos considerar una evolución del modelo social-constructivista, entendido como la reunión entre la teoría cognitiva y la teoría social, del que habla Shepard (2006), más allá del alineamiento constructivista (Biggs, 1996). Sin embargo, entendemos el aprendizaje como una actividad emergente en un momento tecnológico que podríamos considerar como post-digital (de Laat y Dohn, 2019) lo cual sitúa nuestra perspectiva en el marco de lo que ha dado en llamarse el aprendizaje conectado (Networked Learning) y que se perfila con 8 principios básicos (Networked Learning Editorial Collective (NLEC), 2020) que pueden servir como guías de diseño y análisis de la propuesta evaluativa:
Eso implica que la tarea que se les pedirá a los estudiantes sea una tarea lo más auténtica posible, entendiendo que esas tareas requieren un pensamiento de más alto nivel y la solución activa de problemas que, además de incrementar la motivación del estudiante, son intrínsecamente más interesantes que la memorización o la aplicación de procedimientos sencillos. No en vano, las creencias del estudiantado acerca de la importancia en el mundo real de lo que aprenden aumentan su motivación intrínseca (Shepard, 2006).
Esa premisa de aprendizaje conectado también exige una apuesta por la reflexión crítica, que en este trabajo caracterizaremos con la propuesta de Llopis (2017, p. 45), cuando indica que la reflexión
es un proceso que recurre a la experiencia individual, utiliza procesos metacognitivos, parte de una habilidad que debe ser enseñada, implica investigación e indagación, involucra una toma de decisiones, que requiere intencionalidad y puede afectar positivamente al rendimiento de los estudiantes,
y que forma parte fundamental de toda la propuesta del desarrollo de la asignatura, y muy especialmente de esta tarea de evaluación.
Además, el hecho de enmarcar la propuesta en un modelo de aprendizaje conectado tecnológicamente situado nos impulsa a hacer una propuesta de desarrollo transmedia, principalmente apoyada en el desarrollo de audiovisuales (vídeo) (Scolari, 2014). Como indica este autor, la narrativa transmedia se caracteriza por tratarse de un relato a través de diferentes medios que, además, más que consumirse, se crea. La creación de los vídeos por parte de los estudiantes en esta propuesta requiere no solo la movilización de habilidades de pensamiento de nivel superior (Tur et al., 2016), sino que permite a los estudiantes expresarse de formas que les hacen sentir más cómodos, motivados y estimulados, y a la vez les permite abundar en narrativas más creativas e imaginativas (Arruabarrena et al., 2019) y además, en su calidad de futuros educadores, abundar en sus habilidades como prácticos reflexivos (Challinor et al., 2017).
Eso implica que la tarea que se les pedirá a los estudiantes sea una tarea lo más auténtica posible, entendiendo que esas tareas requieren un pensamiento de más alto nivel y la solución activa de problemas que, además de incrementar la motivación del estudiante, son intrínsecamente más interesantes que la memorización o la aplicación de procedimientos sencillos. No en vano, las creencias del estudiantado acerca de la importancia en el mundo real de lo que aprenden aumentan su motivación intrínseca (Shepard, 2006).
Esa premisa de aprendizaje conectado también exige una apuesta por la reflexión crítica, que en este trabajo caracterizaremos con la propuesta de Llopis (2017, p. 45), cuando indica que la reflexión
es un proceso que recurre a la experiencia individual, utiliza procesos metacognitivos, parte de una habilidad que debe ser enseñada, implica investigación e indagación, involucra una toma de decisiones, que requiere intencionalidad y puede afectar positivamente al rendimiento de los estudiantes,
y que forma parte fundamental de toda la propuesta del desarrollo de la asignatura, y muy especialmente de esta tarea de evaluación.
Además, el hecho de enmarcar la propuesta en un modelo de aprendizaje conectado tecnológicamente situado nos impulsa a hacer una propuesta de desarrollo transmedia, principalmente apoyada en el desarrollo de audiovisuales (vídeo) (Scolari, 2014). Como indica este autor, la narrativa transmedia se caracteriza por tratarse de un relato a través de diferentes medios que, además, más que consumirse, se crea. La creación de los vídeos por parte de los estudiantes en esta propuesta requiere no solo la movilización de habilidades de pensamiento de nivel superior (Tur et al., 2016), sino que permite a los estudiantes expresarse de formas que les hacen sentir más cómodos, motivados y estimulados, y a la vez les permite abundar en narrativas más creativas e imaginativas (Arruabarrena et al., 2019) y además, en su calidad de futuros educadores, abundar en sus habilidades como prácticos reflexivos (Challinor et al., 2017).
DESARROLLAR UNA TAREA DE EVALUACIÓN SUMATIVA
Contexto
La experiencia que se presenta se desarrolla como tarea final de dos asignaturas de primer curso del Grado de Educación Primaria en una universidad pública española. Se trata de asignaturas de formación obligatoria, en las que han participado en torno a 55 estudiantes en cada iteración, aunque no todos ellos presentan esta tarea final.
Las asignaturas en las que se implementa esta tarea final responden a una propuesta didáctica de aprendizaje por tareas semanales en grupos con roles predefinidos de desempeño que se ha analizado parcialmente en trabajos anteriores (Castañeda, 2019; Castañeda y Marín, 2020).
Objetivos
El objetivo de este trabajo es diseñar una tarea de evaluación sumativa final alineada con las metas de la formación en la que se enmarca y eso implica tres objetivos específicos:
Es importante destacar que, si bien se entienden como cuestiones separadas hasta cierto punto, las competencias específicas de la asignatura y el desarrollo de procesos metacognitivos, son objetivos importantes de las asignaturas en casi todos los niveles, pero muy particularmente, en Educación Superior. No en vano, la concreción de los currículos universitarios incluye la definición de competencias específicas de materia, asignatura y una serie de competencias transversales que deben ser incluidas en el marco de los procesos educativos.
El Proceso
La experiencia que se presenta se ha desarrollado a lo largo de 8 años de trabajo, iniciando la primera tarea de evaluación, que podría considerarse precedente en este contexto, en el curso 2012-2013.
Este estudio de caso utiliza un enfoque naturalista (es decir, que estudia la realidad tal cual se presenta), y realiza una recogida de datos no intrusiva (Hatch, 2002) . Es decir, toma como base de análisis los documentos que ya han sido publicados, en el marco de la asignatura, (habitualmente en el Entorno Virtual de Enseñanza Aprendizaje - EVEA), por parte de los participantes, ya sea como instrucciones para el alumnado, o como trabajos de los estudiantes, y que se consideran evidencias no intrusivas porque no han sido creados para este estudio (Yin, 2013).
En estos 8 años, el proceso ha seguido una dinámica que puede situarse en el marco de la investigación educativa basada en el diseño (DBR por sus siglas en inglés de Educational Design Research) profusamente descrita en los trabajos de Plomp y Nieveen (2013) y en el ámbito más cercano en trabajos como los de De Benito y Salinas (2016). Así, se han realizado hasta cinco iteraciones de la tarea (ver figura 1), que a la vez podrían dividirse en tres partes: dos etapas clave de refinamiento del diseño: una primera etapa con tres iteraciones en donde la tarea misma se entiende como un proceso de evaluación parcial preliminar y de primera aproximación a la calificación de la asignatura, y una segunda etapa (cuarta iteración), donde la tarea de evaluación adquiere un matiz más específico y en el que se incluyen más matices asociados al logro de las competencias de la asignatura. Finalmente, la quinta iteración es una réplica del diseño en otra asignatura, lo que nos permitió el ajuste de las características generales y una pequeña validación del diseño final.
La entrega de la tarea siempre se ha propuesto como un trabajo en diferido (entendiendo que el tiempo de reflexión entre la fecha de publicación de las instrucciones de evaluación y la entrega es un tiempo necesario no solo para la elaboración del producto final, sino para la reflexión sobre lo que implica) con fecha final en el día y hora que aparece asignado a la asignatura en el calendario oficial de exámenes de la facultad y siempre en formato vídeo.
La evolución de la tarea en las diferentes iteraciones ha implicado la definición de nuevos elementos en ella, estos nuevos elementos pretendían la mejora de la calidad de los productos presentados por los estudiantes; lo cual lejos de estar definido por un único constructo o factor, se ha desvelado como un conjunto de aspectos que parecen difícilmente predecibles de forma anticipada y solo definidos por la práctica misma. Por lo mismo, los documentos que se han recogido de cada una de las iteraciones (documentos de instrucciones para el alumnado, documentos de evaluación de los estudiantes y registro de los resultados de la evaluación) se han analizado bajo una óptica de Grounded Theory pero en una escala de estudio de caso (Corbin y Strauss, 1990), o lo que es lo mismo, donde la recogida de datos y el análisis sean procesos interrelacionados y las categorías de análisis vayan surgiendo –y aumentando– conforme se va analizando el material (Bryant y Charmaz, 2010).
Es importante apuntar que el objetivo en cada iteración ha sido conseguir mejores desempeños por parte de los estudiantes, eso significa análisis y reflexiones más profundas con tratamientos visuales más creativos (aunque no necesariamente mejor producidos en términos audiovisuales).
Iteraciones 1 a 3: evaluación sumativa final para calificación preliminar
Las primeras iteraciones de este tipo de tarea de evaluación surgieron como una alternativa de examen.
Como se ha indicado anteriormente, los estudiantes ya realizan, en otra asignatura con la misma docente, un examen oral presencial y con esta prueba se pretendía ofrecer una alternativa de examen final (con las ventajas para la perspectiva respecto del logro que se han mencionado en el marco teórico de este trabajo), pero a la vez, intentando ampliar las experiencias de tareas del estudiantado.
En sus primeras iteraciones, el objetivo de esta tarea de evaluación no era constituir la parte más importante de la calificación de la asignatura, sino ofrecer una visión general sobre el logro conseguido. Una vez calificada esta actividad, que podría considerarse para el total de la asignatura como un apto o no apto, la calificación final de los estudiantes podría matizarse suficientemente con los resultados de las tareas en grupo que se iban presentando a lo largo de todo el periodo lectivo de la asignatura y que habían sido objeto de evaluación formativa.
En estas 4 primeras iteraciones se planteó una tarea individual en la que se pedía a los estudiantes que respondieran a dos cuestiones; la primera de autoevaluación y la segunda de integración teórico-práctica con una perspectiva personal:
Iteración 1. Curso 12-13
Instrucciones
Resultados
En esta primera iteración participaron un total de 42 estudiantes, de cuyas tareas fueron aprobadas 37. Las 7 tareas suspensas no incluían una parte de las preguntas o limitaban la respuesta al enunciado principal de la pregunta (“merezco un 7 porque es la nota que me pondría porque me he esforzado bastante en la asignatura”; o “el TPACK es…”), normalmente incluyendo cuestiones literales de la documentación de la asignatura, pero no hacían reflexiones que justificasen la respuesta que se les pedía. En la totalidad de los casos no había créditos del trabajo.
El nivel de rendimiento dentro de las tareas aprobadas fue variado. 14 tareas incluían una reflexión excesivamente superficial y, aunque se incluían los elementos conceptuales de la asignatura y la experiencia de los estudiantes, no se hacían conexiones entre los diferentes elementos, y por ello fueron valoradas como de bajo rendimiento. 10 de las tareas presentadas fueron valoradas como de rendimiento medio: la reflexión fue superficial, pero se realizaban conexiones entre elementos de la asignatura. Finalmente, 11 tareas fueron consideradas de alto rendimiento con reflexiones que incluían elementos dialógicos en la reflexión (“creo que la tarea 2 se puede enmarcar tanto en mi TPK (Technological Pedagogical Content) como en mi PK (Pedagogical Knowledge) por separado, porque no solo hacíamos un trabajo de la herramienta, sino que nos centrábamos en sus características para usarla en nuestra clase”) y, además, porque ofrecían tratamientos especialmente creativos del discurso (infografías, grafitis, generación de un discurso visual, etc.).
Carencias percibidas de la tarea
Ninguna de las tareas desarrolladas por los estudiantes aludía a bibliografía de la asignatura, ni hacía reflexiones en las que se relacionasen conocimientos no explicitados en el material de la propia asignatura o información externa de ningún tipo (noticias, perspectivas críticas, etc.). En últimas, no aportaban una reflexión crítica (Hatton y Smith, 1995). No obstante, si bien era una aspiración de la docente y los niveles de reflexión habían sido tratados dentro de la asignatura de forma explícita, parecía evidente que al no haberse enfatizado el nivel de reflexión como un criterio clave a considerar en el examen, no debía considerarse como penalizador para el total de la clase y se consideró suficiente con un nivel intermedio de reflexión y un nivel creativo en el discurso alto.
En referencia a esto último, es también importante remarcar que la creatividad y unidad en el discurso del vídeo solo era evidente en las tareas consideradas de desempeño alto, las demás carecían de un discurso ordenado o global que diera coherencia al trabajo.
Decisiones
Introducir un formato de discurso y remarcar la importancia de los niveles de reflexión en las instrucciones de la tarea.
Iteración 2. Curso 14-15
Instrucciones
Resultados
En esta iteración participaron un total de 50 estudiantes y todas las tareas presentadas se consideraron aptas.
Como en el caso anterior, el nivel de logro de las tareas fue diverso. De las 50 tareas presentadas, 9 fueron consideradas de bajo rendimiento, 21 de medio, y 20 de alto nivel de rendimiento. En los tres grupos hay que remarcar que la categorización coincidía con los niveles de reflexión que se habían marcado como criterio en las instrucciones (reflexión descriptiva, dialógica o crítica). Sin embargo, no siempre los vídeos que tenían un tratamiento más creativo del viaje del héroe desde un punto de vista audiovisual o narrativo eran aquellos que habían hecho reflexiones más profundas, sino más bien al contrario.
Carencias percibidas de la tarea
Aunque empiezan a ser más frecuentes las reflexiones críticas, parece que sigue sin estar clara la importancia de indicar en los créditos las referencias a la documentación trabajada en el curso o en otras asignaturas.
El viaje del héroe como propuesta narrativa no se había trabajado en clase de forma explícita y a la luz de los resultados de las tareas entendimos que, si bien aportaba unas narrativas muy llamativas e interesantes, puede que supusiera un esfuerzo narrativo excesivo que restase tiempo de desarrollo a las reflexiones que son el objetivo prioritario de la tarea.
Decisiones
Se opta por eliminar la alusión expresa al viaje del héroe como herramienta en torno a la cual orientar la narrativa. Se decide explicitar la necesidad de aludir a bibliografía especializada.
Iteración 3. Curso 16-17
Instrucciones
Resultados
En esta iteración participaron un total de 59 estudiantes, y solo una de las tareas se consideró no-apta, por incluir solamente pre-reflexiones o lo que es lo mismo, meras descripciones de lo hecho en clase y solo las acciones, sin relación con los contenidos (“Mi TPACK se ha enriquecido mucho con las exposiciones en clase que han sido de gran interés para mi XXXX… …todos los trabajos propuestos han contribuido a mi TPACK”), pero ninguna que se justificase claramente como respuesta a las preguntas planteadas y por incluir en el documento de bibliografía, la bibliografía de la asignatura copiada y pegada de la guía docente de la asignatura pero sin haberla utilizado claramente en el cuerpo del trabajo.
Como en el caso anterior, el nivel de logro de las tareas fue diverso. De las 59 tareas que se consideraron aptas, 9 fueron consideradas de bajo rendimiento, 38 de medio, y 11 de alto nivel de rendimiento. Como en la iteración anterior, en los tres grupos hay que remarcar que la categorización coincidía con los niveles de reflexión, y aunque en este caso la riqueza de las narrativas era de menor calidad en general, sí que los niveles de reflexión de nivel medio habían sido incluidos en más tareas y se notaba que los estudiantes habían hecho un esfuerzo por incluir conceptos evidentemente fundamentados en la bibliografía.
Carencias percibidas de la tarea
A diferencia de los casos anteriores, donde no se había recibido feedback directo de los estudiantes, en esta ocasión algunos estudiantes manifestaron de forma informal a la docente (una vez terminado el proceso de evaluación), que no sabían muy bien cuál era el peso de cada uno de los criterios en el trabajo, ni qué se consideraba usar bien o mal la bibliografía. Además, alguno ponía de relieve el problema de incluir en una narrativa transmedia un elemento tan “ajeno” como la bibliografía académica.
Aunque había sido una preocupación por parte de la docente en la iteración anterior, en esta iteración se acusó especialmente una de las dificultades a la hora de corregir las tareas: entender claramente el discurso oral incluido en el documento. Además, surgió la preocupación del plagio, al haberse incluido mayores cantidades de texto académico en el discurso.
Decisiones
Se opta por solicitar al estudiantado una versión en formato texto de la transcripción del audio del audiovisual y se les pide que solo incluyan las citas en ese escrito y no en la versión oral. Además, se opta por realizar una rúbrica de evaluación para evaluar el resultado de la tarea.
Iteración 4. Curso 18-19. Evaluación sumativa final para la calificación en detalle
Una vez probadas las posibilidades de la tarea como examen final, y vista la evolución de la tarea misma y la acogida entre los estudiantes del procedimiento, se decidió dar una mayor importancia a esta tarea. Además, se tomó la decisión de reducir la carga de trabajo de las tareas semanales, de manera que su contribución fuese mucho más formativa y de desarrollo. No se disminuyó el trabajo relativo de reflexión y coevaluación de tareas, pero se aumentó el peso de la tarea final en la calificación y, con ella, se aumentó sustancialmente en cantidad de contenidos.
Se optó además por diferenciar claramente las preguntas de orden metacognitivo de las preguntas de competencias específicas de la asignatura.
En consecuencia, se decidió aumentar la cantidad de tiempo disponible para preparar la tarea. Así que los estudiantes tuvieron a disposición la definición completa de la tarea desde un mes antes de la fecha del examen y tres semanas antes de terminar la asignatura.
Las iteraciones 4 y 5 corresponden a los cursos 2018-2019 y 2019-2020, lo que implica que en el caso de la iteración 5, y por las particularidades organizativas ocasionadas por la crisis del Covid-19, esta tarea de evaluación final fue utilizada como estrategia de evaluación en dos asignaturas.
Veámoslo con detalle:
Instrucciones
En el documento online (http://bit.ly/38erwCY) se incluye el detalle de las instrucciones entregadas a los estudiantes. Estas instrucciones se entregaron a los estudiantes un mes y una semana antes de la fecha de entrega, y una semana más tarde de entregarse se discutieron en clase, en concreto se clarificaron dudas sobre el contenido de las preguntas y se abrió la posibilidad de modificar o repasar las especificaciones de la rúbrica. No hubo cambios a la formulación original.
Resultados
En esta iteración se recogieron un total de 60 tareas, de las que 2 resultaron consideradas no aptas en ambos casos por incluirse casos evidentes de plagios de páginas web copiadas y pegadas en el contenido sin referencia alguna. De las tareas restantes, 16 se consideraron de bajo rendimiento, 18 de rendimiento medio y 24 de alto rendimiento y, aunque el incremento en el tramo de bajo rendimiento es notable, hay que decir que la dificultad de la prueba se había incrementado igualmente. No obstante, y a la vez, el aumento en la cantidad de tareas consideradas de alto rendimiento se consideró muy satisfactorio. Hablamos de un 40% del estudiantado que demuestra en una prueba final original –no repetitiva– un nivel muy alto de reflexión profunda y de capacidad de conexión de los conocimientos de la asignatura, expresados además de forma creativa y coherente, y haciendo uso crítico y variado de la bibliografía, no solo de la asignatura sino de otras asignaturas que aparecen mencionadas en los trabajos.
Iteración 5. Curso 19-20. Réplica del modelo. Una evaluación en confinamiento
En esta iteración no se preveía realizar cambios en la propuesta de la tarea. Sin embargo, la situación generada por el Covid-19, el confinamiento y las condiciones de no presencialidad para la evaluación que se vieron forzadas, obligaron a los participantes en el proceso educativo a una profunda reflexión. Se trataba de reformular el examen de la otra asignatura (oral y presencial, en grupo e individual) para una situación de realización online.
Teniendo en cuenta no solo las condiciones materiales del proceso (online a distancia), sino los condicionantes emocionales, familiares y de acceso de los estudiantes y aprovechando los muy satisfactorios resultados de la tarea de evaluación en la otra asignatura; tras consultar con los estudiantes, se decidió replicar la tarea en la otra asignatura, ampliar el plazo de desarrollo (hasta un mes y medio para cada una) y aprovechar la oportunidad para identificar los componentes y características clave de la tarea que nos permitiesen replicarla eficazmente.
Instrucciones
Los únicos cambios que se implementan en esta iteración son correcciones de erratas y precisiones en la rúbrica.
Resultados
En la asignatura en la que tradicionalmente se había realizado la tarea se recogieron 50 tareas de las que 3 no se consideraron aptas, 8 se consideraron como de rendimiento bajo, 24 medio y 15 de alto rendimiento.
En el caso de la asignatura en la que se implementó por primera vez, se recogieron un total de 60 tareas finales, de las que se consideraron no aptas 5, 8 tuvieron un rendimiento bajo, 18 tareas de rendimiento medio, y 29 tareas de alto rendimiento.
Todos los datos de este proceso explicados anteriormente se resumen en el esquema de la figura 2:
CONCLUSIONES Y DISCUSIÓN
El objetivo de este trabajo era caracterizar y diseñar una tarea de evaluación sumativa que respondiese a un modelo de aprendizaje conectado, explorando de manera sistemática el proceso de toma de decisiones.
Sin embargo, antes de detallar las características a las que responden las conclusiones de este proceso, es preciso explicitar qué resultados hicieron que en la iteración 4 el diseño se considerase como suficientemente exitoso y completo y se detuvieran las iteraciones de diseño (Plomp y Nieveen, 2013), de manera que la iteración 5 se convirtiese en una iteración de réplica:
Dicho eso, las diferentes iteraciones del proceso que se han relatado nos han permitido caracterizar un diseño de tarea final sumativa y, por lo tanto, dirigida principalmente a la demostración del logro (Sambell et al., 2018) que se ha ido refinando a lo largo del proceso y que responde principalmente a las siguientes características:
Diseño del contenido de la tarea
La tarea consiste en la propuesta y desarrollo de un discurso fundamentado que explicite la capacidad de los estudiantes para reflexionar, comprender y promover (verbos fundamentales de las competencias de las asignaturas en cuestión) los contenidos de la asignatura.
Para ello la tarea contiene dos partes:
La aportación del medio audiovisual/transmedia
Ofrecer formatos transmedia que incluyan narrativas elaboradas por los estudiantes abunda en una de las clásicas estrategias didácticas que ha demostrado reiteradamente no solo favorecer la competencia comunicativa y digital de los estudiantes, sino además tener efectos muy positivos en lo que se llama el “enganche” con las asignaturas (Perry, 2020). En la experiencia que nos ocupa, esas narrativas se han visto muy enriquecidas por la complementariedad de los medios, por un lado, enriqueciendo las oportunidades de reflexión a través de lenguajes no verbales que se incluyen en los audiovisuales presentados (gifs, emoticonos, efectos especiales, música, referencias cinematográficas, etc.), y por otro, incluyendo elementos académicos clásicos y evitando malentendidos con la presentación de la transcripción final en formato texto.
El desarrollo transmedia de las narrativas del estudiantado no solo se ha desvelado en todas las iteraciones como una fuente extra de información y como un espacio donde se revelan aprendizajes emergentes y no previstos. Gracias a esa perspectiva se desvelan relaciones entre los contenidos de la asignatura con otras asignaturas de la carrera, los estudiantes hacen gala de desarrollo de habilidades técnicas e incluso pueden desplegar conocimientos y habilidades complementarias (cine, música, arte) que enriquecen sus aportaciones. No obstante, el análisis llevado a cabo en este trabajo no abunda con la profundidad suficiente en estos asuntos y entendemos que merecería la pena hacer un estudio profundo de la característica transmedia de los productos elaborados en estas y otras tareas académicas.
Además, con base en los resultados finales, esta apuesta por la transcripción del texto actúa como disuasión a la hora de copiar acríticamente otros trabajos y favorece que se citen trabajos de otros (incluidos otros compañeros), lo cual se entiende que enriquece el discurso.
La importancia del tiempo
Uno de los componentes de la tarea que se ha revelado como más importante es el tiempo de desarrollo. Entendemos que, si de verdad tenemos como objetivo que la tarea sumativa final permita que el estudiante exhiba las competencias que ha desarrollado en la asignatura, esas competencias requieren procesos cognitivos superiores (evaluar, analizar, sintetizar), y además se espera que lo haga de forma reflexiva, para hacerlo necesita tiempo. Tiempo de conocimiento de la tarea que se le va a pedir, de manera que pueda abordar el desarrollo de las competencias de la asignatura de una manera consciente y coherente.
Este tiempo permite a los estudiantes tomar sus propias decisiones sobre qué resultado esperan de la asignatura (más allá de aprobar o no), qué nivel de logro esperan, o lo que es lo mismo, ir más allá de la autorregulación del aprendizaje e incursionar como adultos en la autodirección de su aprendizaje (Blaschke, 2012).
Finalmente, ese tiempo les permite abordar las fuentes de la asignatura de una forma más auténtica, es decir, pueden leer mucho, no solo de los documentos que hemos manejado en clase, sino de otras cosas de incluso otras asignaturas que les ayudan a mirar con perspectiva.
La importancia de la rúbrica
El trabajo a lo largo de estos años y el incremento en la calidad de las tareas pone de manifiesto la importancia de compartir explícitamente los criterios de evaluación con los estudiantes. Como apunta Smith et al. (2013), si queremos que los estudiantes se conviertan en aprendices autorregulados, es imprescindible que sean capaces de juzgar su propio trabajo, cuán buena es su respuesta en relación con los estándares de logros académicos pertinentes. La comprensión por parte de los estudiantes de los propósitos de la evaluación y de los procesos que la rodean forma parte del contexto en el que aprenden a hacer esos juicios y a autorregularse eficazmente y eso, en muchas situaciones implica el desarrollo de una rúbrica (Secolsky y Denison, 2018).
En este caso, la rúbrica implementada pone un especial énfasis en definir a grandes rasgos los niveles de desempeño (bajo, medio y alto), y en acotar muy claramente los criterios que harán no apta la tarea.
Una experiencia como esta es, por definición, una propuesta en constante desarrollo. No obstante, el camino hasta aquí traza no solo las características de un diseño de tarea de evaluación concreta, sino que perfila un modo de desarrollo profesional docente en Educación Superior. Se trata de un proceso que parte de una definición fundamental sobre cuáles son los marcos teóricos y pedagógicos que fundamentan la acción –educativa en general y evaluativa en particular– y que pretende la mejora de los procesos educativos en Educación Superior partiendo de las necesidades de los estudiantes en un marco de enseñanza formal, pero con perspectiva de su formación para el aprendizaje a lo largo de la vida en una realidad tecnológica concreta.
Se trata de un formato de tarea que responde claramente a los principios del aprendizaje conectado. Eso significa que la tarea pedida es situada, contextualizada, su valor es percibido por parte de los estudiantes, explota la responsabilidad compartida por los actantes, se valora el tiempo como un factor fundamental, se apoya en el diálogo, la co-construcción y la identidad de los sujetos, enfatiza en la reflexividad crítica y es apoyada y facilitada por el profesorado ( Networked Learning Editorial Collective (NLEC), 2020), si bien es importante precisar que esta facilitación del profesorado se limita en el caso estudiando a la facilitación de elementos que abunden en la autonomía del estudiante (definición y redefinición de la rúbrica, clarificación del enfoque de las preguntas durante el periodo en el que las preguntas se entregan a los estudiantes).
Si bien las condiciones de la pandemia que descolocó el mundo en 2020 y parte de 2021 (Bozkurt et al., 2020) han marcado una de las iteraciones de este desarrollo, lo cierto es que todas las excepcionalidades contextuales deberían hacerlo igualmente y, si bien el modelo de confinamiento no debe considerarse como el ideal en Educación Superior presencial, esperamos sinceramente que haya servido para remarcar la urgencia de explorar modelos y formatos evaluativos diferentes a los exámenes de conocimiento declarados presenciales en formato de pregunta corta o de elección múltiple, más encaminados al control que al verdadero enriquecimiento de los estudiantes (Biesta, 2010).
REFERENCIAS
Arruabarrena, R., Sanchez, A., Blanco, J. M., Vadillo, J. A., y Usandizaga, I. (2019). Integration of good practices of active methodologies with the reuse of student-generated content. International Journal of Educational Technology in Higher Education, 16, 10. https://doi.org/10.1186/s41239-019-0140-7
Banta, T. W., y Palomba, C. A. (2015). Assessment Essentials: Planning, Implementing, and Improving Assessment in Higher Education. Jossey Bass Wiley.
Biesta, G. J. J. (2010). Good Education in an Age of Measurement: Ethics, Politics, Democracy (1 edition). Routledge.
Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher Education, 32(3), 347-364. https://doi.org/10.1007/BF00138871
Biggs, J. (2014). Constructive alignment in university teaching. HERDSA. Review of Higher Education, 1, 5.
Blaschke, L. M. (2012). Heutagogy and lifelong learning: A review of heutagogical practice and self-determined learning. The International Review of Research in Open and Distributed Learning, 13(1), 56-71. https://doi.org/10.19173/irrodl.v13i1.1076
Bozkurt, A., Jung, I., Xiao, J., Vladimirschi, V., Schuwer, R., Egorov, G., Lambert, S., Al-Freih, M., Pete, J., Don Olcott, J., Rodes, V., Aranciaga, I., Bali, M., Alvarez, A. J., Roberts, J., Pazurek, A., Raffaghelli, J. E., Panagiotou, N., Coëtlogon, P. de, … Paskevicius, M. (2020). A global outlook to the interruption of education due to COVID-19 pandemic: Navigating in a time of uncertainty and crisis. Asian Journal of Distance Education, 15(1), 1-126.
Bryant, A., y Charmaz, K. (2010). The SAGE Handbook of Grounded Theory: Paperback Edition (Edición: 1). SAGE Publications Ltd.
Castañeda, L. (2019) Formación inicial del profesorado en el uso educativo de la tecnología, una propuesta curricular. Quaderns Digitals, 89. 1-49. http://www.quadernsdigitals.net/index.php?accionMenu=hemeroteca.VisualizaArticuloIU.visualiza&articulo_id=11517
Castañeda, L., y Marin, V. (2020) Exploring pre-established performed roles in a networked learning activity: A sociomaterial study case. Networked Learning Conference Proceedings, 2020, 9. https://bit.ly/2NwTPFW
Challinor, J., Marín, V. I., y Tur, G. (2017). The development of the reflective practitioner through digital storytelling. International Journal of Technology Enhanced Learning, 9(2-3), 186-203. https://doi.org/10.1504/IJTEL.2017.084498
Corbin, J., y Strauss, A. (1990). Grounded theory research: Procedures, canons and evaluative criteria. Zeitschrift Für Soziologie, 19(6), 418-427. https://doi.org/10.1515/zfsoz-1990-0602
De Benito, B., y Salinas, J. (2016). La Investigación Basada en Diseño en Tecnología Educativa. Revista Interuniversitaria de Investigación en Tecnología Educativa. https://doi.org/10.6018/riite2016/260631
de Laat, M., y Dohn, N. B. (2019). Is Networked Learning Postdigital Education? Postdigital Science and Education, 1(1), 17-20. https://doi.org/10.1007/s42438-019-00034-1
Gulikers, J. T. M., Bastiaens, T. J., y Kirschner, P. A. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, 52(3), 67. https://doi.org/10.1007/BF02504676
Hatch, J. A. (2002). Doing Qualitative Research in Education Settings.
Hatton, N., y Smith, D. (1995). Reflection in teacher education: Towards definition and implementation. Teaching and Teacher Education, 11(1), 33-49. https://doi.org/10.1016/0742-051X(94)00012-U
Llopis Nebot, M. Á. (2017). Pensamiento reflexivo en el Prácticum I del alumnado de Grado de Maestro en Educación Primaria a través de diarios online [Ph.D. Thesis, Universitat Jaume I]. http://doi.org/10.6035/14034.2017.6627
Lupton, E. (2017). Design is Storytelling. Cooper Hewitt.
Marzano, R. J., y Kendall, J. S. (2006). The New Taxonomy of Educational Objectives. Corwin Press.
Networked Learning Editorial Collective (NLEC). (2020). Networked Learning: Inviting Redefinition. Postdigital Science and Education. https://doi.org/10.1007/s42438-020-00167-8
Pellegrino, J. W., Chudowsky, N., y Glaser, R. (2001). Knowing what students know: The science and design of educational assessment. National Academy Press: Washington.
Perry, M. S. (2020). Multimodal Engagement through a Transmedia Storytelling Project for Undergraduate Students. Gema Online Journal of Language Studies, 20(3), 19-40. https://doi.org/10.17576/gema-2020-2003-02
Plomp, T., y Nieveen, N. (Eds.). (2013). Educational Design Research. Netherlands Institute for Curriculum Development (SLO). http://downloads.slo.nl/Documenten/educational-design-research-part-a.pdf
Sambell, K., Brown, S., y Graham, L. (2018). Professionalism in Practice: Key Directions in Higher Education Learning, Teaching and Assessment. Palgrave Macmillan. https://doi.org/10.1007/978-3-319-54552-3
Scolari, C. (2014). Narrativas transmedia: Nuevas formas de comunicar en la era digital. Anuario AC/E de Cultura Digital, 1, 71-81.
Secolsky, C., y Denison, D. B. (2018). Handbook on Measurement, Assessment, and Evaluation in Higher Education. Routledge. https://doi.org/10.4324/9781315709307
Shepard, L. A. (2000). The Role of Assessment in a Learning Culture. Educational Researcher, 29(7), 4–14. https://doi.org/10.3102/0013189X029007004
Shepard, L. A. (2006). La Evaluación en el aula. In R. L. Brennan (Ed.), Educational Measurement (Fourth Edition). American Council of Education.
Smith, C. D., Worsfold, K., Davies, L., Fisher, R., y McPhail, R. (2013). Assessment literacy and student learning: The case for explicitly developing students ‘assessment literacy’. Assessment & Evaluation in Higher Education, 38(1), 44-60. https://doi.org/10.1080/02602938.2011.598636
Tur, G., Challinor, J., y Marín, V. I. (2016). Digital Artefacts for Reflection on Identity in Teacher Education. Reflecting Education, 10(1), 4-25.
Yin, R. K. (2013). Case Study Research: Design and Methods. SAGE Publications, Inc.
Notas
Notas de autor