Monográfico

¿Cómo implicar a los estudiantes para que utilicen el feedback online?

How to Engage Students to Take Advantage of Online Feedback

Anna Espasa Roca 1
Universitat Oberta de Catalunya, UOC, España
Teresa Guasch Pascual 2
Universitat Oberta de Catalunya, UOC, España

¿Cómo implicar a los estudiantes para que utilicen el feedback online?

RIED. Revista Iberoamericana de Educación a Distancia, vol. 24, núm. 2, 2021

Asociación Iberoamericana de Educación Superior a Distancia

Recepción: 15 Diciembre 2020

Aprobación: 15 Febrero 2021

Cómo referenciar este artículo: Espasa Roca, A., y Guasch Pascual, T. (2021). ¿Cómo implicar a los estudiantes para que utilicen el feedback online? RIED. Revista Iberoamericana de Educación a Distancia, 24(2), pp. 127-148. https://doi.org/10.5944/ried.24.2.29107

Resumen: A pesar de una apuesta firme por la implantación de una evaluación continua y formativa en el contexto universitario, en la práctica, este tipo de evaluación todavía hoy no es una realidad. En este marco de evaluación, los procesos de feedback toman una relevancia clave como facilitadores del aprendizaje. Sin embargo, los resultados de las investigaciones que se han llevado a cabo en los últimos años sobre el feedback concluyen que los estudiantes no lo utilizan, es decir, no lo aprovechan para mejorar su aprendizaje. El objetivo del presente artículo es aportar evidencias sobre cómo la estrategia basada en la reelaboración del trabajo académico puede promover la implicación de los estudiantes con el feedback en entornos virtuales o híbridos. Para dar respuesta a este objetivo se diseñó un cuasi-experimento con medidas pre-post. La muestra estuvo compuesta por 76 estudiantes que recibieron la intervención (reelaboración del trabajo a partir del feedback recibido y entrega final) y 60 del grupo control. Los resultados ponen de manifiesto que la reelaboración del trabajo va asociada a niveles más altos de implicación con el feedback. La discusión sitúa la relevancia de los resultados en contextos virtuales o con un uso intensivo de la tecnología y su potencialidad para transferirlos a la práctica educativa, por su impacto en la regulación y en el diseño de prácticas realmente formativas que contribuyan al aprendizaje.

Palabras clave: feedback, virtual, evaluación formativa, reelaboración, implicación, educación superior.

Abstract: Despite a firm commitment to the implementation of continuous and formative assessment in Higher Education, in practice, this type of assessment is still not a reality. In this assessment framework, feedback processes take on a key relevance as learning facilitators. However, recent research on feedback concludes that students do not use it and they do not engage with it. The aim of this study is to provide evidence on how the strategy based upon the resubmission of an assignment can promote students’ engagement with feedback in online or hybrid environments. To achieve this aim, a quasi-experiment with pre-post measurements was designed. The sample consisted of 76 students who received the intervention (resubmission of the assignment after receiving feedback) and 60 students in the control group. Results show that resubmission is associated with higher levels of engagement with feedback. The discussion highlights the relevance of the results in online contexts or with intensive use of technology, and the potential to transfer them to educational practice. This, in turn, has an impact on the regulation and design of actual effective training practices that can eventually contribute to learning.

Keywords: Feedback, online, formative assessment, reelaboration, engagement, Higher Education.

En las últimas décadas, con la adaptación de las titulaciones universitarias al Espacio Europeo de Educación Superior, se apostó por la evaluación continua y formativa (López, 2006; Coll, et al., 2008) entendiendo que este tipo de evaluación se centra más en el proceso de aprendizaje y en el desarrollo competencial y no tanto en los productos, es decir, en las notas, en la evaluación final. Sin embargo, estudios posteriores ponen de manifiesto que este tipo de evaluación todavía no está plenamente implantado, siendo la evaluación basada en una prueba final tipo examen la más común (San Martín et al., 2016).

Entre estos estudios destacan los que apuntan los retos necesarios a abordar en los próximos años. Por un lado, destacamos el reciente análisis del profesor Boud (2020) que señala como la propia naturaleza de la evaluación formativa requiere un rol activo por parte del estudiante, el cual, actualmente todavía no es evidente en el contexto universitario. Este es uno de los aspectos no resueltos y que, según el autor, será necesario abordar en los próximos años. Por otro lado, la pandemia provocada por la COVID-19 ha conllevado períodos de docencia totalmente remota/online o de forma discontinua en educación superior en los que resulta aún más ambicioso promover esta evaluación continua (García Aretio, 2021; Guasch y Espasa, 2020). La tecnología, en este sentido, es un aliado que puede contribuir a generar nuevas prácticas de evaluación en entornos educativos no presenciales que en un futuro podrían consolidarse (UNESCO, 2020).

Planteados estos retos todavía no resueltos, compartimos el enfoque sobre la evaluación formativa, que de acuerdo con Black y Wiliam (1998) consiste, en primer lugar, en la representación que hacen los estudiantes de los objetivos que tienen que conseguir, en segundo lugar, en cómo se sitúan ellos/as en relación a éstos y, por último, tiene en cuenta las acciones que el estudiante debe llevar a cabo para conseguir los objetivos propuestos y continuar aprendiendo. Coll et al. (2008) destacan la importancia de la evaluación continua y formativa en la universidad por ser un tipo de evaluación que promueve la autorregulación del aprendizaje. La definen como una recogida de evidencias que permiten al docente conocer cómo van evolucionando los estudiantes teniendo en cuenta los objetivos o competencias establecidas y, poder ajustar así la ayuda que estos necesitan promoviendo la regulación de su propio aprendizaje.

En este sentido, se puede concluir que la evaluación formativa es el tipo de evaluación que contribuye a la mejora del aprendizaje. En esto no hay ninguna duda en las investigaciones sobre los procesos evaluativos, así como también se apunta la importancia que tiene el feedback en este tipo de evaluación (Black y Wiliam, 1998 y más recientemente Kirschner y Hendrick, 2020). Tanto la evaluación formativa como el feedback pueden considerarse incluso más necesarios en contextos educativos a distancia/remotos, online o híbridos con soporte de tecnología en los cuales docente y estudiantes no comparten el mismo espacio ni el mismo tiempo y ambos se convierten en el eje que promueve el aprendizaje (Gikandi et al., 2011).

El concepto de feedback ha ido evolucionando a lo largo de las décadas pasando de una concepción monológica y unidireccional a otra en la que se espera que el estudiante sea un agente activo para promover su propio aprendizaje y generar su propio feedback (Boud y Molloy, 2013). Actualmente se han definido dos paradigmas de feedback en la educación superior: el transmisivo y el dialógico (Ajjawi y Boud, 2015; Winstone y Carless, 2019). El paradigma transmisivo, también se le conoce como el paradigma antiguo, se centra en proporcionar información y comentarios a los estudiantes; el paradigma dialógico o nuevo paradigma, se centra en la interacción y contempla las acciones futuras para promover el aprendizaje. Este artículo parte de este segundo paradigma y se sitúa desde una perspectiva sociocultural (Evans, 2013). De esta manera, el feedback es un proceso dialógico y cíclico que se da en tres fases: una primera que se centra en la acción de dar y recibir feedback (puede ser del docente, de un compañero, o un feedback interno generado por la propia persona o bien un feedback automático); una segunda fase denominada de procesamiento y que se centra en comprender el feedback y tomar decisiones enfocadas a la mejora del aprendizaje, y una tercera fase, la implementación, que consiste en llevar a cabo estas decisiones y mejoras (Guasch y Espasa, 2015). Este tipo de feedback, en los procesos de enseñanza y aprendizaje de educación superior a distancia y online en el cual situamos la investigación que se presenta en este artículo, se convierte en la clave que garantiza el aprendizaje. Es necesario que el estudiante reciba feedback, que lo utilice/implemente, para que impacte en el aprendizaje. Gibbs y Simpson (2009) afirman que los estudiantes de la Open University en el Reino Unido “pueden pasar sin mucho contacto presencial, o incluso sin ninguno, pero no pueden pasar sin feedback periódico sobre las actividades y trabajos realizados” (p. 17).

A pesar de la importancia del feedback en la educación superior y en los contextos de educación a distancia, muchas investigaciones concluyen que los estudiantes no están satisfechos con el feedback que reciben puesto que consideran que no les resulta útil. Las razones por las cuales los estudiantes no lo utilizan o no se implican con el feedback son de naturaleza diferente: porque no lo comprenden, porque no llega en el momento adecuado, porque no les ayuda a mejorar, entre otros (O’Donovan et al., 2015).

Entendemos la implicación de los estudiantes en el proceso de aprendizaje (engagement, en la literatura anglosajona) como la integración de tres dimensiones que definen Fredricks et al. (2004): la dimensión comportamental, la afectiva y la cognitiva. A pesar que sus contribuciones se contextualizan en el ámbito escolar, son ampliamente utilizadas en la investigación sobre la implicación educativa en diferentes niveles educativos. En la investigación que presentamos nos centramos únicamente en la dimensión cognitiva, la cual se conceptualiza en términos de promover la autorregulación del aprendizaje y el aprendizaje estratégico. En este sentido, los estudiantes deben ser competentes en utilizar estrategias metacognitivas como planificar, monitorear y evaluar su cognición cuando están llevando a cabo una tarea de aprendizaje (Pintrich y De Groot, 1990; Zimmerman, 1990, citados en Fredricks et al., 2004). Además, es necesario añadir que nos centramos, específicamente, en la implicación cognitiva en relación al feedback, es decir, hacemos referencia a aquellas decisiones y acciones que el estudiante lleva a cabo para aprovechar el feedback recibido y que le permiten regular su propio aprendizaje (Price et al., 2011).

Los estudios en esta línea describen que para implicar a los estudiantes con el feedback puede haber diferentes tipos de intervenciones o estrategias que se pueden poner en práctica. En la revisión sistemática que llevaron a cabo Winstone et al. (2017) identificaron cuatro grupos de intervenciones con respecto a la implementación del feedback. Una de ellas se centraba en la manera y el momento en el cual hay que facilitar el feedback (siendo más formativa o más sumativa). La investigación que se presenta va en esta línea y, concretamente, se centra en el análisis de la reelaboración de un trabajo académico/actividad de aprendizaje, es decir, esta estrategia consiste en proporcionar feedback en dos momentos: uno a mitad del trabajo o actividad y enfocado a la reelaboración y otro, después de la entrega final de este trabajo.

Otros autores han hecho referencia a esta intervención o estrategia como una de las posibles para promover la implicación de los estudiantes con el feedback (Carless et al., 2011; O’Donovan et al., 2015; Carless y Winstone, 2020), sin embargo, hay pocos estudios empíricos que confirmen el impacto de la misma en el aprendizaje. Uno de los que nos interesa especialmente es el de Fisher et al. (2011). En este estudio se llevó a cabo una intervención con los estudiantes de primer año de universidad. Se les dio la oportunidad de entregar un borrador antes de la entrega final y los docentes proporcionaron feedback a cada estudiante para que pudieran mejorar su trabajo. Los resultados muestran que los estudiantes que recibieron feedback sobre el borrador obtuvieron mejores notas en la entrega final.

La investigación que presentamos a continuación parte de los resultados de una investigación anterior que ya se centró en analizar este tema en entornos virtuales (Espasa et al., 2018). Las conclusiones confirmaron que la reelaboración de un trabajo académico es una de las condiciones que promueven un feedback dialógico y, por lo tanto, que contribuye al aprendizaje.

Considerando estos resultados, el presente estudio va un paso más allá y analiza el efecto de la reelaboración en la implicación con el feedback. En este sentido, se abordan las dos siguientes preguntas de investigación:

  1. 1. ¿La reelaboración de un trabajo académico o actividad de evaluación (a partir del feedback recibido) incide en la implicación de los estudiantes con el uso del feedback?
  2. 2. ¿Cómo afecta no tener la posibilidad de reelaborar el trabajo académico en la implicación con el feedback recibido?

METODOLOGÍA

Este estudio se ha llevado a cabo en la Universitat Oberta de Catalunya (UOC), una universidad online en la cual el proceso de enseñanza y aprendizaje se basa en la comunicación asíncrona y mayoritariamente escrita. A lo largo de un semestre el estudiante debe elaborar diferentes trabajos académicos o actividades de evaluación (debates, discusión de casos, elaboración de resúmenes, mapas conceptuales, etc.) que se planifican de forma consecutiva y con finalidad formativa.

Los resultados que se presentan se han obtenido de los datos recogidos en la asignatura Trastornos del aprendizaje de la lectura del Máster Universitario de Dificultades del Aprendizaje, constituida por diferentes grupos-aula. En esta asignatura se diseñaron 3 actividades de evaluación o trabajos académicos que requerían la respuesta y reflexión a unas preguntas así como la elaboración de textos argumentativos sobre diagnósticos. La recogida de datos se realizó de octubre del 2019 a febrero del 20201.

Diseño de la investigación

Esta investigación utiliza técnicas de investigación y análisis cualitativas y cuantitativas, encuadrándose en las estratégicas de métodos mixtos, si bien el presente artículo se centra en los resultados cuantitativos. Concretamente, se analizan los resultados correspondientes a un cuasi-experimento implementado en el campus online de la UOC, en el que los estudiantes se agruparon aleatoriamente a diferentes situaciones experimentales (correspondientes a diferentes aulas) y se mantuvo un grupo de control. El presente artículo se centra en la comparación de los estudiantes que recibieron feedback para la reelaboración de los trabajos académicos o actividades evaluativas (situación experimental 1) y los estudiantes que no (grupo control).

Además de la condición relacionada con el experimento, se controlaron otras condiciones: todos los estudiantes son del mismo nivel y el mismo curso y los grupos-clase están acompañados por el mismo profesorado, con la misma metodología y mismo criterio de evaluación y feedback. Para realizar el cuasi-experimento el profesorado participó en sesiones de formación para que todos facilitaran el mismo tipo de feedback orientado a fomentar el aprendizaje y con contenido epistémico y sugestivo (Guasch et al., 2019). Es importante destacar que el feedback que se proporcionaba con la finalidad de reelaborar el trabajo no incluía una calificación.

En conjunto (ver figura 1), el cuasi-experimento consistió en tres etapas correspondientes a las tres actividades evaluativas o trabajos académicos que elaboraron los estudiantes. En cada una de estas actividades, los estudiantes enviaron un esbozo de la misma, recibieron feedback por parte del profesorado, reelaboraron la actividad y la volvieron a entregar obteniendo la calificación final. Este artículo se centra en los resultados comparados del momento inicial y el final (ver figura 1, la caja con el fondo gris más oscuro), por lo que debe considerarse una evaluación ex-ante y ex-post. De esta manera se trata de un diseño cuasi-experimental de diseño de grupos no equivalentes con medidas antes y después en el que se ha respetado el ecosistema del grupo clase. La aleatoriedad se ha focalizado en la asignación de aulas a intervenciones y se ha controlado y verificado que las observaciones ex-ante no presenten diferencias significativas, con el objetivo de dotar de validez interna a los grupos a comparar (Fontes de Gracia, et al., 2015). En el siguiente apartado se detalla la muestra que ha participado en el estudio y el instrumento empleado para producir los datos que se analizan en este artículo.

Figura 1. Diseño de investigación. Fases y evidencias claves
Diseño de investigación. Fases y evidencias claves
Fuente: Elaboración propia

Participantes

Un total de 210 estudiantes completaron los cuestionarios iniciales y finales del cuasi-experimento. Como se ha indicado, en el presente artículo se analizan los resultados concretos de los estudiantes de los grupos que tuvieron la posibilidad de reelaborar su trabajo a partir del feedback recibido (76) comparados con el grupo de control (60).

Si bien no es habitual identificar la validez y precisión muestral en diseños cuasi-experimentales (Fernández-García et al., 2014) en grupos pre-establecidos (como aulas o grupos clase), es importante informar de estos criterios con el objetivo de evaluar la potencia de los resultados obtenidos a partir de diferentes criterios, y específicamente la validez externa. Por un lado, si se considera el conjunto de grupo aula matriculado inicialmente en la asignatura como universo de estudio (N=375), la muestra total conseguida (n=210) implica un margen de error global de los resultados de +4,58 (para un nivel de confianza del 95% (bajo los supuestos de muestreo aleatorio en universos finitos y p=q=50). Focalizando en los estudiantes que pudieron reelaborar o son grupo de control, el total del universo inicial fue de 254 casos (N), de manera que el error global de la muestra n=136 es de + 5,86 bajo los mismos supuestos y condicionantes. Por otro lado, se trata de un cuasi-experimento que limita el sesgo en los errores, dado que las muestras están equilibradas y como se explicará en los resultados, las medidas ex-ante no presentan diferencias significativas entre grupos.

Instrumento de recogida de datos

Para llevar a cabo esta investigación se diseñó un cuestionario online ad-hoc, a partir de la revisión de la literatura que permitió identificar los conceptos y dimensiones clave objeto de análisis. Se tomaron los ítems validados en cuestionarios existentes, como el de Fredricks et al. (2004) y de Fredricks et al. (2016), y se adaptaron al contexto (online) y temática concreta (feedback). Antes de realizar el cuasi-experimento se realizó un proceso de validación interna con jueces expertos (7) y una prueba piloto con tres estudiantes. Las aportaciones se discutieron en el marco del grupo de investigación que generó un cuestionario definitivo, más sólido, en tanto que sus conceptos, dimensiones e ítems son más pertinentes, relevantes y están mejor formulados para el objetivo que se pretendía. El cuestionario definitivo está formado por 6 bloques. El presente artículo analiza los datos recogidos correspondiente al bloque 4, que trata sobre la implicación con el feedback, y específicamente sobre la implicación cognitiva (ver tabla 1). Los ítems han sido medidos en una escala de 1-7 en la que el 1 significa implicación baja (poco frecuente) y 7 una implicación alta (muy frecuente).

Tabla 1. Operativización de la implicación cognitiva con el feedback en entornos online
Operativización de la implicación cognitiva con el feedback en entornos online
Fuente: Elaboración propia a partir de Fredricks et al. (2004) y de Fredricks et al. (2016).

Análisis de los datos

El análisis de datos se llevó a cabo mediante dos procedimientos básicos: (1) estadística descriptiva univariada y bivariada y (2) estadística inferencial bivariable para muestras relacionadas. El análisis estadístico se realizó con SPSS. Con respecto al punto 1, se empleó estadística descriptiva univariante produciendo los resúmenes básicos como medias (M) y desviaciones estándar (SD) así como análisis de posición (cuartiles). Por lo que se refiere al punto 2: el análisis inferencial bivariado, antes de abordar el contraste de hipótesis, se llevó a cabo la prueba de la normalidad de Kolmogorov-Smirnov (K-S), que fue positiva. Por este motivo, para comparar los resultados ex-ante y ex-post en cada grupo experimental por separado (grupo que ha recibido feedback para la reelaboración y grupo control) se ha utilizado el test de Wilcoxon para muestras relacionadas en condiciones no paramétricas. De esta manera, la selección de las pruebas a llevar a cabo se ha planificado previamente y se han ajustado a criterios metodológicos (métrica de las variables y contraste de la normalidad de su distribución) evitando así el estrés asociado a la realización de múltiples test y limitando el error de Tipo I (Fernández-García et al., 2014).

RESULTADOS

A continuación, pasamos a responder las dos preguntas de investigación formuladas previamente.

1. ¿La reelaboración de un trabajo académico o actividad de aprendizaje (a partir del feedback recibido) incide en la implicación cognitiva de los estudiantes con el uso del feedback?

Los resultados muestran que la estrategia o intervención basada en la reelaboración de un trabajo académico a partir del feedback recibido incide de manera significativa en la implicación cognitiva de los estudiantes con el feedback. Esto significa que aquellos estudiantes que a lo largo de la asignatura han enviado al profesorado un borrador, es decir una primera versión de su trabajo o actividad, que han obtenido feedback y lo han implementado reelaborando la actividad para su evaluación final, demuestran mayores niveles de implicación cognitiva con el feedback (ver figura 2).

Figura 2. Implicación cognitiva con el feedback de los estudiantes que han recibido feedback para la reelaboración. Valores medios de los tipos de implicación cognitiva
Implicación cognitiva con el feedback de los estudiantes que han recibido feedback para la reelaboración. Valores medios de los tipos de implicación cognitiva
Fuente: Elaboración propia.

Nota: Valores medios en una escala de 1 (implicación baja) a 7 (implicación alta)

Concretamente (ver tabla 2) los estudiantes que han podido reelaborar su trabajo a partir del feedback recibido experimentan un aumento significativo de las acciones cognitivas asociadas a la “identificación de los aspectos fuertes y de mejora del trabajo académico” (z=-5,669; p<0,001) y la “regulación cognitiva del trabajo o actividad de evaluación” (z=-3,519; p<0,001). Con mayor detalle, en relación a la identificación de los aspectos positivos y los aspectos a mejorar del trabajo, todos sus indicadores mejoran y se observan aumentos significativos. Estos se centran en la frecuencia con que los estudiantes buscan información a partir del feedback (z=-4,490; p<0,001), la frecuencia con la que revisan la actividad identificando los puntos fuertes y débiles así como los elementos de mejora y posibles errores (z=-5,278; p<0,001), y también con el indicador relacionado con la búsqueda de información para realizar dichas mejoras (z=-3,858; p<0,001). Mejoran las frecuencias medias pasando de 5-5,41 a 6,3-6,6.

Las mejoras en la “regulación cognitiva de la tarea” se concentran en dos ítems y son menos intensas en términos medios: mayor hábito de reelaborar la actividad chequeando, es decir, supervisando lo que se ha ido haciendo con el objetivo de valorar si realmente se tienen en cuenta los aspectos indicados en el feedback (z=-4,250; p<0,001) así como haciendo una revisión final para valorar si realmente se contemplan los aspectos indicados en el feedback (z=-3,561; p<0,001).

Los elevados efectos en la “identificación de los aspectos positivos y a mejorar” y en la “regulación cognitiva de la tarea”, es decir en los niveles medio alto y alto de la implicación cognitiva con el feedback, van acompañados de otras transformaciones algo más complejas en niveles inferiores. En primer lugar, en términos de “comprensión del feedback”, no se produce un cambio neto pero sí en acciones concretas que se compensan entre sí, puesto que son de signo contrario. Por un lado, los estudiantes que han recibido feedback para la reelaboración de la actividad mejoran leve pero significativamente en cuanto a tratar de comprender todo lo que se les ha querido comunicar con el feedback (z=-2,278; p=0,023), también en el indicador que hace referencia a relacionar el feedback con las experiencias previas (z=-3,105; p=0,002) y relacionar feedback y el trabajo presentado (z=-3,0023; p=0,003), es decir, en general se puede decir que los estudiantes se activan: preguntan al profesor, vuelven a leer, etc. (z=-1,970; p=0,049). Sin embargo dejan de consultar al profesorado de manera evidente (pasando de una frecuencia media de 5,30 a 4,08) (z=-3,599; p<0,001).

Esto se traduce también en menor tendencia global a la “lectura del feedback” (z=-3,040; p=0,002), es decir un nivel de implicación cognitiva medio bajo, específicamente por dejar de comentar el feedback recibido con los compañeros (z=-3,257; p<0,001).

En definitiva, la reelaboración del trabajo o actividad conlleva mayores índices en la “identificación de los aspectos positivos y a mejorar del trabajo” y en la “regulación cognitiva del trabajo académico” y mayor análisis de feedback focalizándose en mejoras concretas y aplicadas, y menos en comentarlo y discutirlo sin finalidad clara de implementación.

Tabla 2. Implicación cognitiva con el feedback de los estudiantes que han recibido feedback para la reelaboración. Detalle de ítems
Implicación cognitiva con el feedback de los estudiantes que han recibido feedback para la reelaboración. Detalle de ítems
Fuente: Elaboración propia.Nota Escala de 1 (poco frecuente/implicación baja) a 7 (muy frecuente/implicación alta)

2. ¿Cómo afecta no tener la posibilidad de reelaborar el trabajo académico en la implicación cognitiva con el feedback recibido?

Los resultados muestran que no posibilitar la reelaboración del trabajo académico o las actividades que los estudiantes están realizando, tiene efectos significativos y negativos para la implicación cognitiva de los estudiantes con el feedback. El grupo de estudiantes que no recibieron la intervención y por lo tanto no tuvieron la posibilidad de reelaborar el trabajo, pero sí recibieron feedback al final del mismo, ven alterados sus niveles de implicación cognitiva reduciéndose significativamente a la “lectura del feedback”, “comprensión” del feedback y “regulación cognitiva del trabajo” y aumentado la falta de atención al feedback (“no utilizar el feedback”) (ver figura 3).

Figura 3. Implicación cognitiva con el feedback de los estudiantes que no han recibido feedback para la reelaboración (grupo control). Valores medios de los tipos de implicación cognitiva
Implicación cognitiva con el feedback de los estudiantes que no han recibido feedback para la reelaboración (grupo control). Valores medios de los tipos de implicación cognitiva
Fuente: Elaboración propia.

Nota: Valores medios en una escala de 1 (implicación baja) a 7 (implicación alta)

Como se ha realizado cuando hemos presentado los resultados a propósito de la primera pregunta de investigación, esos efectos generales se pueden detallar según los diferentes indicadores (ver tabla 3). Por un lado, los estudiantes que no recibieron feedback para la reelaboración declaran con mayor frecuencia no haber hecho nada con el feedback final recibido (z=-2,843; p=0,004), pasando de una media de 1,58 a 2,42.

Paralelamente se produce una reducción significativa de la implicación media baja, identificada con la lectura (z=-2,331; p=0,002), pero concretamente, y como en el caso de los estudiantes que sí han recibido feedback para la reelaboración, por el hecho de dejar de comentarlo con los compañeros (z=-2,699; p=0,007).

Las acciones asociadas a niveles de implicación cognitiva media, es decir, de “comprensión”, también se reducen significativamente si el feedback es solo al final del trabajo académico y no está asociado a la reelaboración del mismo (z=-3,102; p=0,002). En concreto, los resultados obtenidos apuntan a que se deja de hacer preguntas a la profesora de manera muy intensa (z=-4,875; p<0,001) y se percibe una desactivación en general, es decir, que si no se ha entendido algo con relación al feedback recibido, el estudiante se moviliza poco para comprender el feedback, preguntar dudas, volverlo a leer, buscar información, etc. (z=-2,001; p=0,045).

En lo que concierne a la “identificación de los aspectos positivos y a mejorar el trabajo académico” (nivel de implicación cognitiva con el feedback medio-alto), se trata de un nivel de implicación que no se ve alterado significativamente en conjunto pero sí en dos de sus tres indicadores y en sentido contrario, de manera que el efecto neto queda compensado y anulado. Por un lado, al no recibir feedback para la reelaboración de las actividades los estudiantes buscan con menos frecuencia información a partir de él (z=-2,310; p=0,021), pero aumenta la frecuencia con que revisan el trabajo identificando puntos fuertes y elementos de mejora y/o incomprensiones/errores (z=-2,676; p=0,007).

Por último, es necesario destacar que si no se recibe feedback para reelaborar los trabajos académicos o actividades de evaluación, se reducen significativamente los comportamientos de “regulación cognitiva” a partir del feedback. Específicamente, los estudiantes muestran valores más bajos en relación al indicador que hace referencia a la “identificación de aspectos a mejorar para planificar las próximas acciones” (z=-2,398; p=0,017) y, por otro lado, con respecto a los dos indicadores que se refieren a la revisión del trabajo: tanto la revisión del trabajo académico en el momento de su reelaboración para asegurar que se está teniendo en cuenta el feedback que han recibido (z=-5,211; p<0,001) como la revisión para, una vez reelaborado el trabajo, asegurar que integra el feedback que el estudiante ha recibido (z=-3,653; p<0,001).

La menor frecuencia de estos dos últimos comportamientos de regulación cognitiva del trabajo académico, pueden parecer lógicos, puesto que el diseño de la evaluación no parece sugerir al estudiante que debe procesar e implementar el feedback siendo solo final y con cualificación.

Tabla 3. Implicación cognitiva con el feedback de los estudiantes que no han recibido feedback para la reelaboración (grupo control). Detalle de ítems
Implicación cognitiva con el feedback de los estudiantes que no han recibido feedback para la reelaboración (grupo control). Detalle de ítems
Fuente: Elaboración propia.Nota Escala de 1 (poco frecuente/implicación baja) a 7 (muy frecuente/implicación alta)

3. En síntesis: relación entre las dos preguntas de investigación.

En la tabla 4 se presentan de manera sintética los principales efectos en la implicación cognitiva en función de si los estudiantes han recibido feedback para reelaborar las actividades (grupo experimental) o no (grupo control). Si repasamos cada uno de los tipos de implicación cognitiva, empezando por el “no uso del feedback recibido” los valores correspondientes a la utilización del feedback aumentan en el grupo de estudiantes que reciben el feedback para la reelaboración y disminuyen en el caso del grupo que no reciben este feedback.

La “lectura del feedback” se reduce significativamente en los dos grupos porque ambos dejan de comentar sobre él con los compañeros como también se reduce el comentar con el profesorado, sea cual sea el diseño de la asignatura.

Por lo que se refiere a la “comprensión del feedback" para la reelaboración, los efectos positivos en la gran mayoría de sus indicadores, son claros. Mientras que no recibirlo implica básicamente dejar de activarse respecto al feedback en general.

En los niveles de implicación cognitiva medio-alto y alto se produce igualmente un efecto positivo de recibir feedback para la reelaboración, en todos los indicadores de “identificación de los aspectos positivos y los aspectos a mejorar del trabajo académico” y en los vinculados a la implementación del feedback. A su vez, no recibir este feedback tiene claros efectos negativos en la identificación de estos aspectos a mejorar del trabajo y en la regulación cognitiva en relación al trabajo.

Por último, se pueden mencionar además dos indicadores que no se ven alterados en función de recibir o no feedback para la reelaboración. Por un lado, “leer el feedback” recibido se hace en frecuencia similar tanto si se ha recibido feedback para la reelaboración como si no. Y además, tampoco se observan efectos en el intentar extraer del feedback aquellos aspectos a considerar en futuras ocasiones o actividades.

Tabla 4. Análisis comparativo de la implicación cognitiva con el feedback de los estudiantes según si han recibido feedback para la reelaboración
Análisis comparativo de la implicación cognitiva con el feedback de los estudiantes según si han recibido feedback para la reelaboración
Fuente: Elaboración propia.

DISCUSIÓN

El objetivo de esta investigación es aportar evidencias sobre el impacto que tiene la reelaboración del trabajo académico a partir del feedback recibido y antes de una entrega final, así como aportar evidencias de qué impacto tiene no tener la oportunidad de reelaboración. Los resultados muestran un claro efecto positivo en la implicación cognitiva de los estudiantes y un claro efecto negativo cuando no se da este feedback para la reelaboración. Presentamos la discusión abordando tres aspectos que sitúan los resultados en cuanto a la importancia que tienen en entornos virtuales: el momento en el cual se da el feedback, el diseño de la asignatura y la interacción entre docente y estudiantes y entre los estudiantes. Así mismo, apuntamos algunas interpretaciones que emergen de la comparación de los resultados de ambos grupos de estudiantes analizados.

En primer lugar, por lo que concierne al momento en el que se da el feedback, los resultados de nuestra investigación podrían apuntar a una discrepancia en relación a la reflexión que hacen O’Donovan et al. (2015) sobre el momento en el cual se proporciona el feedback. Según estos autores, esta estrategia de reelaboración no comporta más dedicación para el docente puesto que únicamente supone mover el momento en el cual se da el feedback, pasando de darse al final de un trabajo o actividad, a la mitad de esta (durante el proceso de realización). Es en este sentido, que no afectaría a la carga de trabajo. El diseño de nuestra investigación contempla tanto el feedback a la mitad del trabajo académico como al final. En este caso sí hay que considerar la carga de trabajo que supone para el profesorado implementar esta estrategia de reelaboración. Una línea futura de investigación podría analizar este tema y confirmar o no si implementar este tipo de estrategia es realmente una sobrecarga significativa para el profesorado.

En cuanto al diseño de los procesos de enseñanza y aprendizaje, y si nos centramos específicamente en lo que se refiere al grupo de estudiantes que tuvieron la posibilidad de reelaborar el trabajo, los resultados de nuestra investigación confirman la importancia de los resultados que obtuvieron Fisher et al. (2011). Estos autores ponen el énfasis en la importancia de diseñar oportunidades a los estudiantes universitarios para que puedan mostrar que han integrado el feedback. Un aspecto a destacar es que su estudio se centra en estudiantes de primer año de universidad. En el estudio que presentamos, son estudiantes de máster y por tanto, permite ir un paso más allá del estudio de Fisher y sus colaboradores y confirmar que la reelaboración de un trabajo académico también es útil en estudiantes con experiencias previas y específicamente, en entornos online de enseñanza y aprendizaje.

La importancia del diseño también se pone de manifiesto en la revisión que hacen Gikandi et al. (2011) sobre evaluación formativa online en la educación superior. Ellos apuntan la necesidad de que el diseño promueva esta evaluación formativa. Los resultados de nuestra investigación aportan evidencias en esta línea ya que para garantizar la reelaboración de los trabajos académicos es necesario que las asignaturas estén diseñadas y planificadas desde el inicio del proceso de enseñanza y aprendizaje contemplando esta oportunidad de reelaboración y de entrega final del trabajo.

Por otro lado, Gikandi et al. (2011) también destacan la necesidad de promover la interacción para facilitar la evaluación formativa y la implicación de los estudiantes con el feedback. En este sentido, los resultados de esta investigación ponen de manifiesto que el feedback proporcionado para reelaborar el trabajo, comporta que los estudiantes, a pesar de que leen el feedback, lo comentan poco con sus compañeros. Aquí se abriría una línea de investigación para el futuro para contrastar si otro tipo de feedback podría generar mayor interacción entre los estudiantes.

Por último, aportamos algunas reflexiones que se desprenden de la comparación entre los dos grupos de estudiantes que se han analizado (los que han podido reelaborar su trabajo y los que no) y que nos permiten hacer algunas interpretaciones que expliquen los comportamientos de los estudiantes en relación con el feedback en un entorno virtual. En este sentido, un análisis detallado de los resultados evidencia que hay algunos comportamientos similares entre los estudiantes que han podido reelaborar su trabajo y los que no. Así, por ejemplo, es el caso de las acciones que se refieren a comentar el feedback con los compañeros, que en ambos grupos de estudiantes, se da con menor frecuencia. Una posible explicación de este resultado puede asociarse a la metodología de trabajo individual que se plantea en la asignatura, la cual ya no invita a compartir los resultados con los compañeros. Otro ejemplo es que en ambos grupos aumentan las acciones vinculadas a la revisión del trabajo analizando los puntos fuertes y débiles así como errores e incomprensiones. No tenemos datos para interpretar este resultado, sin embargo, se podría pensar que los estudiantes que tienen la posibilidad de reelaborar la actividad chequean el feedback porque pueden volver a entregar la actividad. En el caso de los estudiantes que no han tenido la oportunidad de reelaborar podría interpretarse que revisan el feedback para asegurarse que es acorde a la nota que han recibido.

La contribución de este artículo se centra en la importancia de diseñar estrategias que incorporen la necesidad de los estudiantes de tomar decisiones y llevar a cabo acciones a partir del feedback que han recibido para, así, poder reelaborar y mejorar el trabajo académico realizado. Esta necesidad ha tomado formas y nombres diferentes en los últimos años, como: espirales de feedback ( Carless, 2018 ), feedback dialógico (Steen-Utheima y Wittek, 2017), actividades de evaluación con dos etapas (Carless et al., 2011)… Sea cual sea el nombre recibido, todas estas se enmarcan en la evaluación formativa la cual, como se apuntaba al principio, todavía sigue siendo un reto llevarla a la práctica.

Para concluir y retomando la pregunta del título de este artículo, ¿cómo implicar a los estudiantes para que utilicen el feedback online?, los resultados no solo confirman las bondades de la implementación de la estrategia de reelaboración de un trabajo académico para implicar a los estudiantes, sino que también son especialmente relevantes porque concluyen que si no se facilita este feedback para la reelaboración, se reducen globalmente los niveles de implicación cognitiva de los estudiantes, un aspecto central para el aprendizaje.

Agradecimientos

Esta investigación ha sido parcialmente financiada por el Ministerio de Ciencia, Innovación y Universidades. Forma parte del proyecto I+D: Involucrar a los estudiantes con el feedback dialógico para aprender en entornos virtuales (PGC2018-098552-B-I00).

REFERENCIAS

Ajjawi, R., y Boud. D. (2015). Researching feedback dialogue: an interactional analysis approach. Assessment & Evaluation in Higher Education, 42(2), 1-14. https://doi.org/10.1080/02602938.2015.1102863

Black, P., y Wiliam, D. (1998). Assessment and Classroom Learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7-74. 10.1080/0969595980050102.

Boud, D., y Molloy, E. (2013.) Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in Higher Education, 38(6), 698-712. https://doi.org/10.1080/02602938.2012.691462

Boud, D. (2020). Challenges in reforming higher education assessment: a perspective from afar. RELIEVE, 26(1), art. M3. https://doi.org/10.7203/relieve.26.1.17088

Carless, D., Salter, D., Yang, M., y Lam, J. (2011). Developing sustainable feedback practices. Studies in Higher Education, 36(4), 395-407 https://doi.org/10.1080/03075071003642449

Carless, D. (2018). Feedback loops and the longer-term: towards feedback spirals. Assessment and Evaluation in Higher Education, 44(5), 705-714. https://doi.org/10.1080/02602938.2018.1531108

Carless, D., y Winstone, N. (2020). Teacher feedback literacy and its interplay with student feedback literacy. Teaching in Higher Education. https://doi.org/10.1080/13562517.2020.1782372

Coll, C., Rochera, M. J., Mayordomo, R. M., y Naranjo, M. (2008). La evaluación continuada como instrumento para el ajuste de la ayuda pedagógica y la enseñanza de competencias de autorregulación. Cuadernos de Docencia Universitaria núm. 8. ICE de la Universitat de Barcelona. Editorial Octaedro. http://hdl.handle.net/2445/144979

Espasa, A., Guasch, T., Mayordomo, R. M., Martínez-Melo, M., y Carless, D. (2018). A Dialogic Feedback Index measuring key aspects of feedback processes in online learning environments. Higher Education Research & Development, 37(3), 499-513. https://doi.org/10.1080/07294360.2018.1430125

Evans, C. (2013). Making Sense of Assessment Feedback in Higher Education. Review of Educational Research, 83(1), 70-120. https://doi.org/10.3102/0034654312474350

Fernández-García, P., Vallejo-Seco, G., Livacic-Rojas, P. E., y Tuero-Herrero, E. (2014). Validez estructurada para una investigación cuasi-experimental de calidad. Se cumplen 50 años de la presentación en sociedad de los diseños cuasi-experimentales. Anales de Psicología, 30(2). 756-772. https://doi.org/10.6018/analesps.30.2.166911

Fisher, R., Cavanagh, J., y Bowles, A. (2011). Assisting transition to university: using assessment as a formative learning tool. Assessment and Evaluation in Higher Education, 36(2), 225-237. https://doi.org/10.1080/02602930903308241

Fontes de Gracia, S., García-Gallego, C., y Quintanilla, L. (2015). Fundamentos de investigación en psicología. UNED - Universidad Nacional de Educación a Distancia.

Fredricks, J. A., Blumenfeld, P. C., y Paris, A. C. (2004). School Engagement: Potential of the Concept, State of the Evidence. Review of Educational Research 74(1): 59-109 https://doi.org/10.3102/00346543074001059

Fredricks, J. A., Wang, M., Schall Linn, J., Hofkens, T. L., Sung, H., Parr, A., y Allerton, J. (2016). Using qualitative methods to develop a survey measure of math and science engagement. Learning and Instruction, 43, 5-15. https://doi.org/10.1016/j.learninstruc.2016.01.009

García Aretio, L. (2021). COVID-19 y educación a distancia digital: preconfinamiento, confinamiento y posconfinamiento. RIED. Revista Iberoamericana de Educación a Distancia, 24(1), 09-32. https://doi.org/10.5944/ried.24.1.28080

Gibbs, G., y Simpson, C. (2009). Condiciones para una evaluación continuada favorecedora del aprendizaje. Cuadernos de Docencia Universitaria num 13. ICE de la Universitat de Barcelona. Editorial Octaedro. http://hdl.handle.net/2445/144983

Gikandi, J. W., Morrow, D., y Davis, N. E. (2011). Online formative assessment in higher education: A review of the literature. Computers & Education, 57, 2333-2351. https://doi.org/10.1016/j.compedu.2011.06.004

Guasch, T., y Espasa, A. (2015). Collaborative Writing Online: Unravelling the Feedback Process. En M. Deane y T. Guasch (Eds.), Learning and Teaching Writing Online: Strategies for success (pp. 13–30). Brill. https://doi.org/10.1163/9789004290846_003

Guasch, T., Espasa, A., y Martinez-Melo, M. (2019). The art of questioning in online learning environments: the potentialities of feedback in writing. Assessment & Evaluation in Higher Education, 44(1), 111-123. https://doi.org/10.1080/02602938.2018.1479373

Guasch, T., y Espasa, A. (2020). Menos es más: menos correcciones y más feedback para aprender. En A. Sangrà (Coord.), Decálogo para la mejora de la docencia online. Propuestas para educar en contextos presenciales discontinuos (pp. 151-167). Editorial UOC. http://openaccess.uoc.edu/webapps/o2/bitstream/10609/122307/1/9788491807766_no_venal.pdf

Kirschner, P. A., y Hendrick, C. (2020). How learning happens. Seminal works in educational psychology and what they mean in practice. Routledge. https://doi.org/10.4324/9780429061523

López, V. M. (2006). El papel de la evaluación formativa en el proceso de convergencia hacia el EEES. Análisis del estado de la cuestión y presentación de un sistema de intervención. Revista Interuniversitaria de Formación del Profesorado, 20(3), 93-119.

O’Donovan, B., Rust, Ch., y Price, M. (2015). A scholarly approach to solving the feedback dilemma in practice. Assessment and Evaluation in Higher Education, 41(6), 938-949. https://doi.org/10.1080/02602938.2015.1052774

Pintrich, P. R., y De Groot, E. V. (1990). Motivational and Self-Regulated Learning Components of Classroom Academic Performance. Journal of Educational Psychology, 82(1). 33-40. https://doi.org/10.1037/0022-0663.82.1.33

Price, M., Handley, K., y Millar, J. (2011). Feedback: focusing attention on engagement. Studies in Higher Education, 36(8), 879-896. https://doi.org/10.1080/03075079.2010.483513

San Martín, S., Jiménez, N., y Jerónimo, E. (2016). La evaluación del alumnado universitario en el Espacio Europeo de Educación Superior. Aula Abierta, 44, 7-14. https://doi.org/10.1016/j.aula.2015.03.003

Steen-Utheima, A., y Wittek, A. L. (2017). Dialogic feedback and potentialities for student learning. Learning, Culture and Social Interaction, 15, 18-30. https://doi.org/10.1016/j.lcsi.2017.06.002

UNESCO (2020). COVID-19 y educación superior: De los efectos inmediatos al día después. Análisis de impactos, respuestas políticas y recomendaciones. http://www.iesalc.unesco.org/wp-content/uploads/2020/05/COVID-19-ES-130520.pdf

Winstone, N. E., Nash, R. A., Parker, M., y Rowntree, J. (2017). Supporting learners’ agentic engagement with feedback: A systematic review and a taxonomy of recipience processes. Educational Psychologist, 52(1), 17-3. https://doi.org/10.1080/00461520.2016.1207538

Winstone, N., y Carless, D. (2019). Designing effective feedback processes in Higher Education. A learning focused approach. Routledge. https://doi.org/10.4324/9781351115940

Zimmerman, B. J. (1990). Self-Regulated Learning and Academic Achievement: An Overview. Educational Psychologist, 25(1), 3-17. https://doi.org/10.1207/s15326985ep2501_2

Notas

1 Esta investigación cumple con todos los criterios éticos que se aplican en las ciencias sociales. El proyecto en el cual se enmarca este estudio fue aprobado por el Comité de ética de la universidad.

Notas de autor

1 Anna Espasa es profesora de los Estudios de Psicología y Ciencias de la Educación de la Universitat Oberta de Catalunya (UOC). Actualmente dirige el Máster Universitario de Psicopedagogía. Co-dirige el grupo de investigación Feed2Learn y sus principales líneas de investigación se centran en el estudio de los procesos de evaluación y feedback en los entornos virtuales de enseñanza y aprendizaje.
E-mail: aespasa@uoc.edu
2 Teresa Guasch es directora de los Estudios de psicología y Ciencias de la Educación de la Universitat Oberta de Catalunya (UOC). A nivel de investigación, co-dirige el grupo de investigación Feed2Learn y su foco de investigación está en los procesos de enseñanza y aprendizaje, las ayudas educativas (e-feedback) y la escritura como herramienta para el aprendizaje en entornos virtuales.
E-mail: tguaschp@uoc.edu