Monográfico
Validación del modelo ABPCL para el aprendizaje basado en proyectos colaborativos en línea
Validation of the OCPBL model for online collaborative project-based learning
Validación del modelo ABPCL para el aprendizaje basado en proyectos colaborativos en línea
RIED-Revista Iberoamericana de Educación a Distancia, vol. 27, núm. 2, 2024
Asociación Iberoamericana de Educación Superior a Distancia
Cómo citar: Romero Carbonell, M., Romeu Fontanillas, T., Guitert Catasús, M. y Baztán Quemada, P. (2024). Validation of the OCPBL model for online collaborative project-based learning. [Validación
del modelo ABPCL para el aprendizaje basado en proyectos colaborativos en línea].
RIED-Revista Iberoamericana de Educación a Distancia, 27(2), pp. 159-181. https://doi.org/10.5944/ried.27.2.39120
Resumen: Se presenta la validación del modelo Aprendizaje Basado en Proyectos Colaborativos en Línea en el marco de una asignatura transversal de la Universitat Oberta de Catalunya denominada “Competencias TIC”. La metodología seguida en esta investigación se enmarca en un diseño de métodos mixtos, combinando datos cualitativos y cuantitativos. Mediante un cuestionario con preguntas cerradas y abiertas se recabó la opinión de 978 estudiantes de los diferentes estudios de esta universidad, donde valoran los elementos fundamentales del modelo, así como su transferibilidad a los ámbitos académico y profesional. Las aportaciones se analizan en global, por género y por estudio. Se valida el modelo, y se sugieren algunas mejoras en aspectos de su implementación, abriendo nuevas posibilidades de investigación: se plantea secuenciar el trabajo asíncrono para permitir su implementación por todo el alumnado, adaptar los roles de los equipos de trabajo y contextualizar algunas actividades al ámbito profesional de cada estudio. Se concluye que el modelo es completamente transferible a otras asignaturas o estudios en línea. Como aspecto mejorable se menciona la dificultad de gestionar las situaciones en las que algún miembro del equipo no cumpla con los acuerdos establecidos, mientras que entre los aspectos positivos destacan la relación con los/las compañeros/as, el aprendizaje de nuevas herramientas y recursos digitales, la adquisición de habilidades relacionadas como la empatía y el aprendizaje de trabajar colaborativamente en línea.
Palabras clave: aprendizaje en línea, aprendizaje colaborativo, aprendizaje basado en proyectos, educación superior.
Abstract: This contribution presents the validation of the Online Collaborative Project-based learning model based on the experience of a subject that is present in all the undergraduate programs in the Universitat Oberta de Catalunya called “ICT Competences”. Based on a mixed method research through an online survey that combines quantitative and qualitative data, the opinions of 978 students of the different university programs was gathered. The main aim of this research was to know students’ opinions on the principal elements of the model and its transferability in academic and professional contexts. The contributions of the students are analyzed globally, by gender, and by undergraduate program. The presented results validate the model, but suggest some adjustments in order to improve some aspects of the implementation process and open further research possibilities based on its application. As main conclusions of the study, results suggest the need of sequencing students’ asynchronous communication, adapting the different roles of the teams and to prove a more professional-oriented context of some of the activities in order to make the model more related to the professional field. As an aspect for improvement, students mentioned some difficulty in managing situations in which the established agreements were not complied. Among the positive aspects are the relationship with peers, learning new digital tools and resources, acquiring soft skills such as empathy, teamwork, and learning to collaborate effectively online.
Keywords: online learning, collaborative learning, project-based learning, higher education.
INTRODUCCIÓN
Una de las innovaciones metodológicas fundamentales del “proceso de Bolonia” en Educación Superior ha sido situar en el centro al alumnado como consecuencia de la incorporación de competencias que lo conectan con el entorno profesional ( Montero Curiel, 2010). Este proceso sigue abierto atendiendo a la evolución de la sociedad, que hace emerger nuevas competencias para el desarrollo profesional (Díaz-García et al., 2023).
En el marco del Espacio Europeo de Educación Superior (EEES), se plantea la necesidad de incorporar enfoques metodológicos activos que pongan en práctica las competencias a adquirir. Entre dichas metodologías activas, el aprendizaje colaborativo ha demostrado fomentar el aprendizaje competencial de manera efectiva (Hernández et al., 2021; Okolie et al., 2022).
El aprendizaje colaborativo aúna la adquisición de los contenidos disciplinares con el desarrollo de las competencias necesarias para el mundo laboral, como la resolución de problemas, competencias sociales y de comunicación, o la propia competencia de trabajar en equipo, fundamentales para cualquier profesional del siglo XXI (Rios et al., 2020).
En la era digital, al trabajo en equipo se añade el trabajo en línea como práctica habitual en muchas organizaciones, donde los componentes tienen que ser capaces de comunicarse y colaborar eficazmente a través de plataformas digitales y herramientas en línea. Esto implica habilidades como la gestión de la información y los datos, organizar el tiempo y las tareas eficientemente para trabajar con personas de diferente procedencia e incluso en diferente horario, así como una necesidad de mantenerse actualizado en el uso de herramientas colaborativas en línea, sin olvidar los aspectos éticos y cívicos (Guitert y Romeu, 2020).
Para acompañar a los estudiantes en este proceso complejo, es importante que el profesorado conozca y tenga en cuenta en el diseño de la docencia las características diferenciadoras del trabajo en línea y sus implicaciones, que podemos encontrar en el trabajo de Romero et al. (2021) donde se señalan los diez componentes clave para la enseñanza-aprendizaje en línea: rol activo de los y las estudiantes, competencias, metodologías activas y colaborativas, tipología variada de e-actividades, comunicación síncrona y asíncrona, recursos para la enseñanza-aprendizaje, evaluación continua, papel del profesorado como guía, planificación, entorno de aprendizaje estable y herramientas bien definidas.
El aprendizaje colaborativo suele combinarse con metodologías activas para realizar actividades en grupo, siendo una de las más comunes el Aprendizaje Basado en Proyectos (ABP), caracterizado por fomentar la autonomía, la investigación constructiva, la consecución de objetivos, la colaboración, la comunicación y la reflexión, realizando proyectos anclados en el mundo real (Kokotsaki et al., 2016). Se constata el aumento de su implementación en diversas titulaciones universitarias en diferentes contextos (Guo et al., 2020) y más frecuentemente cuando se implementa en línea (Hernández-Arvizu et al., 2023).
La naturaleza compleja de los procesos de enseñanza-aprendizaje involucrados requiere establecer modelos sistemáticos tanto para que su aplicación active los aspectos mencionados (comunicación asíncrona, evaluación continua, adquisición de competencias, etc.) como para permitir una correcta evaluación y mejora de los procesos llevados a cabo.
Desde la adecuación al EEES en el 2009, la Universitat Oberta de Catalunya imparte una asignatura transversal: “Competencias TIC”, que sirvió como base para el diseño del modelo de Aprendizaje Basado en Proyectos Colaborativos en Línea (ABPCL) mencionado en Guitert et al. (2020), y cuya implementación es el foco del presente artículo.
El modelo ABPCL plantea el proceso en cuatro fases: Inicio, Estructuración, Desarrollo, Cierre y difusión, y tres ejes transversales: Recursos en abierto, Evaluación continua y heterogénea, y Presencia docente. La Figura 1 muestra el diseño del modelo y sus distintos elementos:
El modelo puede ser adaptado a distintos contextos, por ejemplo, enfatizando alguna fase en función de los objetivos de una asignatura.
Este trabajo presenta la validación del modelo ABPCL según los resultados obtenidos siguiendo un enfoque metodológico mixto finalizando el primer semestre del curso 2022-2023, donde las percepciones de los estudiantes de las asignaturas de Competencias TIC ofrecen una comprensión más amplia y profunda de la aplicación del modelo para el aprendizaje del trabajo en equipo en red. También se explora la percepción de los estudiantes acerca de las posibilidades de transferencia al ámbito profesional del modelo. Así, para focalizar la investigación se plantean las siguientes preguntas de investigación:
METODOLOGÍA
La metodología seguida en esta investigación se enmarca en un diseño de métodos mixtos, combinando datos cualitativos y cuantitativos (Creswell, 2021), de forma secuencial en todo el proceso, tanto en la recogida de información como en su análisis.
Los datos se obtuvieron mediante un cuestionario en línea, apropiado para la investigación en el ámbito social (Babbie, 2017), que resulta adecuado para recopilar datos de una población que es demasiado amplia para plantear una observación directa.
Se desarrolla a partir de preguntas cerradas con respuesta en escala de Likert del 1 al 5 y de una serie de preguntas abiertas basadas en el modelo presentado, en las que los estudiantes podían expresar sus opiniones de los distintos aspectos de la asignatura. El cuestionario fue validado por los investigadores del grupo de investigación Edul@b. Posteriormente, se llevó a cabo una revisión de la consistencia interna de las preguntas cerradas a partir del coeficiente alfa de Cronbach ( Amirrudin et al., 2021), obteniendo un índice del 0,94. La redundancia encontrada se evitaría suprimiendo las variables ACAD (Tabla 1) obteniendo un índice de 0,89, pero se decide mantenerlas por la relevancia de la visión dada por ellas sobre la transferibilidad del modelo.
El cuestionario plantea preguntas demográficas (edad, género y estudio) así como cuestiones relativas a la importancia de los aspectos del trabajo en equipo en red, especificadas en la Tabla 1.
Valora la importancia de los siguientes aspectos organizativos | ORG1 | [La definición de los acuerdos de grupo] |
ORG2 | [Revisión de los acuerdos] | |
ORG3 | [Gestión de la información digital (archivos compartidos, etc.)] | |
ORG4 | [La planificación inicial] | |
ORG5 | [Revisión de la planificación (replanificación)] | |
Acciones para comunicarse de forma síncrona | SINC1 | [Iniciar una actividad] |
SINC2 | [Finalizar una actividad] | |
SINC3 | [Agilizar la toma de decisiones] | |
SINC4 | [Resolver un conflicto] | |
SINC5 | [Interacción social] | |
Relevancia de las siguientes tareas a la hora de evaluar el trabajo de tu equipo | EVAL1 | [La autoevaluación] |
EVAL2 | [La Coevaluación] | |
EVAL3 | [Evaluación de un proyecto de los compañeros/as] | |
Imagina que te encuentras con que uno de los miembros de tu grupo no ha realizado ninguna aportación. Valora la adecuación de estas acciones para resolver la situación | CONF1 | [Contactar con la persona para averiguar cuál es el problema] |
CONF2 | [Hablar con el profesorado y que tome las medidas oportunas] | |
CONF3 | [Pedir un alargamiento del plazo mientras se soluciona] | |
CONF4 | [Avanzar el trabajo con el resto del equipo y no decir nada] | |
CONF5 | [Excluir a la persona del grupo y repartir sus tareas] | |
Valora el grado de utilidad académica de los siguientes elementos | ACAD1 | [Acuerdos de funcionamiento del grupo] |
ACAD2 | [Planificación grupal] | |
ACAD3 | [Distribución de roles] | |
ACAD4 | [Organización de la información digital] | |
ACAD5 | [Presentación de la información digital] | |
ACAD6 | [Uso de la comunicación asíncrona] | |
ACAD7 | [Uso de la comunicación síncrona] | |
ACAD8 | [Valoración/Reflexión del trabajo en equipo] | |
ACAD9 | [Estrategias para la resolución de conflictos] | |
ACAD10 | [Consenso, argumentación y negociación] | |
ACAD11 | [Evaluación de un proyecto de los compañeros y compañeras] | |
Valora si los siguientes ítems son o pueden ser transferibles a tu entorno profesional | PROF1 | [Acuerdos de funcionamiento del grupo] |
PROF2 | [Planificación grupal] | |
PROF3 | [Distribución de roles] | |
PROF4 | [Organización de la información digital] | |
PROF5 | [Presentación de la información digital] | |
PROF6 | [Uso de la comunicación asíncrona] | |
PROF7 | [Uso de la comunicación síncrona] | |
PROF8 | [Valoración/Reflexión del trabajo en equipo] | |
PROF9 | [Estrategias para la resolución de conflictos] | |
PROF10 | [Consenso, argumentación y negociación] | |
PROF11 | [Evaluación de un proyecto de los compañeros y compañeras] |
La población está formada por todo el estudiantado de las asignaturas de Competencias TIC de todos los programas de Grado de la UOC en los que se aplica la metodología ABPCL, con un total de 3.731 estudiantes matriculados en el momento del estudio (finales del primer semestre del curso 2022-23). La administración del cuestionario fue confidencial y anónima, y el envío y seguimiento del número de respuestas se realizó a través de un formulario de Google. La muestra obtenida es el resultado de la participación de los estudiantes que voluntariamente respondieron, siendo representativa de cada uno de los estudios donde se imparte la asignatura CTIC, incluyendo al 26 % de la población con un nivel de confianza del 95 % y un margen de error del 2,7 %. La Tabla 2 presenta los datos poblacionales y muestrales del conjunto, así como la separación por estudio.
E1 | E2 | E3 | E4 | E5 | |
Derecho y Ciencia Política | Economía y Empresa | Artes y Humanidades | Psicología yCiencias de la Educación | Informática y Comunicación | |
Población | 918 | 1161 | 305 | 654 | 693 |
Muestra | 253 | 261 | 120 | 133 | 204 |
% población | 28 % | 22 % | 39 % | 20 % | 29 % |
El análisis de los datos se realizó mediante un análisis estadístico de los datos cuantitativos con el programa de software libre JASP y un análisis del discurso escrito (Krippendorff, 2019) mediante codificación en vivo con el programa de software libre QCAmap.
RESULTADOS Y DISCUSIÓN
En la Tabla 3 se presentan, para cada variable, los resultados de las valoraciones medias (Med) tanto globales como por género, así como la desviación típica (DT). Las columnas “Diferencias por género” muestran los valores del estadístico . i el p-valor de la prueba t de Student para muestras independientes. En los casos con valores de Brown-Forsythe significativos se aplicó la prueba de t de Welch, obteniendo iguales resultados. Las columnas “Diferencias por estudio” muestran el estadístico F o H para muestras independientes de más de dos grupos (se aplicó ANOVA o la prueba post hoc de Dunn según la homogeneidad de varianzas) y el valor p o p de Holm correspondiente en cada caso.
Globales | Mujeres | Hombres | Diferencias por género | Diferencias por estudio | ||||||
Med | DT | Med | DT | Med | DT | t | p | F/H* | p/pholm* | |
ORG1 | 4,17 | 1,00 | 4,24 | 0,97 | 4,05 | 1,05 | 2.910 | 0.004 | 1,403 | 0,231 |
ORG2 | 3,96 | 1,02 | 4,03 | 1,01 | 3,84 | 1,02 | 2.879 | 0.004 | 2,334 | 0,054 |
ORG3 | 4,38 | 0,82 | 4,45 | 0,80 | 4,26 | 0,84 | 3.498 | < .001 | 0,506 | 0,731 |
ORG4 | 4,20 | 1,01 | 4,29 | 0,95 | 4,06 | 1,10 | 3.496 | < .001 | 3,453 | 0,008 |
ORG5 | 4,24 | 0,93 | 4,30 | 0,93 | 4,13 | 0,93 | 2.730 | 0.006 | 3,259 | 0,011 |
SINC1 | 3,73 | 1,42 | 3,75 | 1,44 | 3,68 | 1,39 | 0.758 | 0.449 | 22,031* | <0,001* |
SINC2 | 3,87 | 1,33 | 3,94 | 1,34 | 3,77 | 1,32 | 1.920 | 0.055 | 21,423* | <0,001* |
SINC3 | 4,00 | 1,24 | 4,02 | 1,24 | 3,97 | 1,23 | 0.625 | 0.532 | 1,952 | 0,100 |
SINC4 | 3,72 | 1,42 | 3,76 | 1,43 | 3,63 | 1,41 | 1.413 | 0.158 | 11,205* | 0,024* |
SINC5 | 3,45 | 1,48 | 3,52 | 1,49 | 3,33 | 1,47 | 1.909 | 0.057 | 21,673* | <0,001* |
EVAL1 | 4,11 | 0,99 | 4,21 | 0,96 | 3,95 | 1,02 | 3.856 | < .001 | 2,427 | 0,046 |
EVAL2 | 4,18 | 0,94 | 4,25 | 0,93 | 4,04 | 0,96 | 3.367 | < .001 | 1,913 | 0,106 |
EVAL3 | 4,18 | 0,97 | 4,23 | 0,96 | 4,01 | 1,01 | 2.257 | 0.024 | 0,833 | 0,505 |
CONF1 | 4,58 | 0,82 | 4,62 | 0,78 | 4,50 | 0,89 | 2.250 | 0.025 | 0,558 | 0,693 |
CONF2 | 3,34 | 1,33 | 3,37 | 1,36 | 3,30 | 1,29 | 0.839 | 0.402 | 2,133 | 0,075 |
CONF3 | 2,93 | 1,37 | 2,97 | 1,40 | 2,86 | 1,32 | 1.266 | 0.206 | 5,194 | <0,001 |
CONF4 | 2,78 | 1,48 | 2,73 | 1,49 | 2,88 | 1,45 | -1.574 | 0.116 | 1,592 | 0,174 |
CONF5 | 2,09 | 1,31 | 2,00 | 1,31 | 2,23 | 1,30 | -2.672 | 0.008 | 22,200* | <0,001* |
ACAD1 | 4,07 | 1,11 | 4,16 | 1,09 | 3,92 | 1,14 | 3.330 | < .001 | 1,673 | 0,154 |
ACAD2 | 4,28 | 1,03 | 4,34 | 1,01 | 4,19 | 1,05 | 2.154 | 0.032 | 1,036 | 0,388 |
ACAD3 | 3,86 | 1,18 | 3,90 | 1,17 | 3,78 | 1,19 | 1.592 | 0.112 | 0,557 | 0,694 |
ACAD4 | 4,31 | 0,91 | 4,38 | 0,86 | 4,17 | 0,98 | 3.539 | < .001 | 0,880 | 0,475 |
ACAD5 | 4,34 | 0,90 | 4,42 | 0,85 | 4,21 | 0,96 | 3.557 | < .001 | 1,436 | 0,220 |
ACAD6 | 4,04 | 1,12 | 4,09 | 1,10 | 3,94 | 1,15 | 1.963 | 0.050 | 0,720 | 0,579 |
ACAD7 | 4,08 | 1,15 | 4,17 | 1,09 | 3,92 | 1,23 | 3.170 | 0.002 | 2,432 | 0,046 |
ACAD8 | 4,22 | 0,98 | 4,33 | 0,93 | 4,03 | 1,04 | 4.707 | < .001 | 2,016 | 0,090 |
ACAD9 | 4,15 | 1,04 | 4,28 | 0,98 | 3,93 | 1,11 | 5.078 | < .001 | 1,536 | 0,190 |
ACAD10 | 4,34 | 0,96 | 4,43 | 0,88 | 4,20 | 1,04 | 3.618 | < .001 | 0,434 | 0,784 |
ACAD11 | 4,18 | 1,04 | 4,22 | 1,01 | 4,10 | 1,08 | 1.710 | 0.088 | 0,968 | 0,424 |
PROF1 | 4,12 | 1,11 | 4,19 | 1,07 | 4,01 | 1,16 | 2.455 | 0.014 | 2,262 | 0,061 |
PROF2 | 4,34 | 1,00 | 4,39 | 0,98 | 4,25 | 1,03 | 2.107 | 0.035 | 10,257* | 0,036* |
PROF3 | 3,97 | 1,18 | 4,02 | 1,16 | 3,87 | 1,20 | 1.900 | 0.058 | 0,975 | 0,420 |
PROF4 | 4,20 | 1,01 | 4,29 | 0,98 | 4,06 | 1,04 | 3.379 | < .001 | 0,486 | 0,746 |
PROF5 | 4,20 | 1,02 | 4,30 | 0,99 | 4,04 | 1,05 | 3.914 | < .001 | 0,837 | 0,501 |
PROF6 | 4,09 | 1,19 | 4,19 | 1,14 | 3,91 | 1,24 | 3.472 | < .001 | 1,829 | 0,121 |
PROF7 | 4,34 | 1,01 | 4,40 | 0,97 | 4,22 | 1,07 | 2.769 | 0.006 | 0,949 | 0,435 |
PROF8 | 4,17 | 1,04 | 4,26 | 1,01 | 4,02 | 1,07 | 3.500 | < .001 | 4,183 | 0,002 |
PROF9 | 4,34 | 0,96 | 4,44 | 0,91 | 4,17 | 1,02 | 4.198 | < .001 | 12,367* | 0,015* |
PROF10 | 4,40 | 0,93 | 4,45 | 0,89 | 4,30 | 0,99 | 2.414 | 0.016 | 0,780 | 0,538 |
PROF11 | 3,89 | 1,23 | 3,97 | 1,22 | 3,77 | 1,25 | 2.427 | 0.015 | 3,534 | 0,007 |
Seguidamente se discuten los resultados globales incluidos en la tabla anterior, y se añaden otros resultados de elementos cuantitativos y cualitativos para facilitar una discusión más focalizada por dimensiones y por estudios.
Los resultados de la Tabla 3 muestran una valoración en general muy positiva, con 28 de las 40 variables valoradas con una media superior a 4, 9 de ellas con una valoración media entre el 3 y el 4, y 3 con una valoración media entre el 2 y el 3. Estos resultados permiten validar el modelo y su aplicación en conjunto, al tiempo que ayudan a poner el foco en aspectos a mejorar.
Cabe destacar que en 28 de las 40 variables las diferencias entre género son significativas, y que únicamente en 2 de las 40 variables la valoración media de los hombres es mayor que las de las mujeres (CONF4 y CONF5).
La pregunta abierta, “Después de haber trabajado en equipo en red en la asignatura, ¿qué te llevas de la experiencia?”, fue contestada por 723 estudiantes, siendo los aspectos positivos más mencionados la relación con los/las compañeros/as, el aprendizaje de nuevas herramientas y recursos, la adquisición de habilidades blandas como la empatía o la responsabilidad, la dinámica del trabajo en equipo y el aprendizaje de trabajar colaborativamente en línea. Como aspecto de mejora se destaca la dificultad de gestionar situaciones en las que algún miembro del equipo no cumplía con los acuerdos establecidos.
A continuación, se discuten los resultados relativos a la primera pregunta de investigación:
¿Cómo valoran los estudiantes de la asignatura “Competencias TIC” la metodología de trabajo en equipo en el marco del ABPCL?
Se discuten los resultados reflejados en la Tabla 3 para cada una de las dimensiones del modelo ABPCL y su concreción en la asignatura Competencias TIC (CTIC), tratándose de forma transversal la variable género y atendiendo a los cuatro procesos críticos de la colaboración en red: organización y planificación, comunicación, evaluación y toma de conciencia de la colaboración ( Guitert, 2022 ).
Organización
Para cada una de las cinco variables ORG se responde a la pregunta: “Valora la importancia de los siguientes aspectos organizativos”. También se incluyen aquí dos variables de la transferencia al ámbito académico y profesional (ACAD3 y PROF3) que incluyen aspectos íntimamente relacionados con la organización de los equipos como la distribución de los roles.
La planificación inicial, su revisión y adaptación conforme avanza el proyecto son elementos clave para el ABP y para la enseñanza online. El modelo las incluye de forma explícita en las etapas de Inicio, Estructuración y Desarrollo (Figura 1). La alta valoración por parte de los estudiantes de las variables ORG4 (Med = 4.20, DT = 1.01) y ORG5 (Med = 4.24, DT = 0.93) reafirma la utilidad de la planificación para el desarrollo de las actividades de trabajo en equipo en red.
La definición de acuerdos y su revisión (ORG1 y ORG2) son también elementos que mejoran la eficacia del trabajo en equipo, así como aspectos como la responsabilidad o el respeto a las ideas ajenas (Pupik et al., 2023). Las actividades basadas en el modelo ABPCL insisten en la importancia de establecer unos acuerdos previos que deben ser revisados en cada una de las fases del proyecto para ser más efectivos y evitar situaciones críticas o solucionarlas en caso de que se produzcan. Los estudiantes se muestran satisfechos con la realización de dichas tareas y las encuentran útiles para el desarrollo del trabajo en equipo: “Aunque al principio nos costó hacerlo, el hecho de crear los acuerdos de funcionamiento nos ayudó a organizarnos y nos evitó problemas. Tuvimos que rehacer algún aspecto un par de veces, pero fueron muy útiles” (CT68).
Como aspecto muy bien valorado encontramos la variable ORG3, gestión de la información digital (Med = 4.38, DT = 0.82) siendo también este uno de los aspectos destacados como positivos en la valoración cualitativa hecha por el alumnado:
“Aprendizaje en entorno virtual grupal, utilización de herramientas digitales dentro del ámbito de las TIC y también en tareas como creación de proyectos digitales, planificación, organización, innovación de ideas, etc.” (CT57).
La valoración de esta variable puede explicarse por la forma secuenciada y organizada en la que la asignatura CTIC ayuda a gestionar la información de los equipos de trabajo mediante las herramientas Google, estableciendo las bases para la futura gestión de la información digital a lo largo del Grado.
La valoración de las variables ORG es significativamente más alta entre las mujeres que entre los hombres, aunque con tamaños de efecto de Cohen pequeños (min = 0,15, máx = 0,23).
Por otro lado, las variables ACAD 3 y PROF3 con unas valoraciones medias por debajo de 4 (3.86 y 3.97 respectivamente), nos llevan a replantear la gestión de los roles en el trabajo en equipo. La asignatura CTIC propone asignar unos roles establecidos de Coordinador, Secretario y Gestor. Para mejorar este aspecto habría que adaptar los roles a las tareas más comunes y significativas del grado cursado por los estudiantes, siguiendo las indicaciones de Sundlin et al. (2022) que aportan directrices sobre la importancia del contexto y de una clara definición de los roles para su óptima implementación, y en publicaciones como la de Belbin y Brown (2022) que plantean los roles de los equipos profesionales cuando estos se desarrollan en entornos virtuales.
Comunicación
Con la finalidad de ofrecer una mayor flexibilidad geográfica y horaria a los miembros de los equipos de trabajo, el modelo ABPCL propone la comunicación asíncrona, que permite compatibilizar los estudios con otras obligaciones. No obstante, se les plantea la posibilidad de comunicarse de forma síncrona en momentos puntuales como, por ejemplo, para llegar al consenso en alguna decisión urgente, en la línea de otras investigaciones que apuntan a una buena aceptación de la sincronía como modo suplementario de comunicación (Besser, 2023).
Al preguntar sobre aspectos positivos y aquellos que son mejorables en la aplicación del modelo, encontramos respuestas a favor de la asincronía y su descubrimiento: “he aprendido mucho del funcionamiento de las herramientas utilizadas para hacer el proyecto y la experiencia de haber hecho un trabajo con comunicación asíncrona” (CT141). No obstante, también se expresan algunas dificultades en su aplicación: “trabajar de forma asincrónica supone una sobrecarga de trabajo si no se planifica la frecuencia y trabajo de cada uno, puesto que implica estar pendiente de la respuesta de los compañeros” (CT248), aunque se trata de casos poco representativos respecto al número de respuestas al cuestionario. En algunos casos también se valora positivamente el uso de la sincronía en momentos puntuales: “realizando un acta de cada reunión que hacíamos por Google Meet o un resumen de lo que hablábamos por WhatsApp, para que así quedara reflejado en el foro, teniendo en cuenta que para realizar un proyecto así, con tantas actividades, hay que comunicarse mucho” (CS347).
Para conocer en qué situaciones los estudiantes consideran más útil la comunicación síncrona, se les pidió que evaluaran cinco acciones para comunicarse de forma síncrona (Tabla 3, variables SINC).
No se encuentran diferencias significativas respecto al género, si bien existe una valoración media más alta por parte de las mujeres.
Atendiendo a la valoración global, la acción mejor evaluada de media es la correspondiente a la variable SINC3: Agilizar la toma de decisiones. Más allá de la positiva valoración media de todas ellas, vemos que en cuatro de ellas la valoración media es menor que 4, y en una exactamente 4, lo que sitúa al conjunto entre el grupo de las 12 de 40 variables menos valoradas. Un análisis más detallado de las puntuaciones de cada variable (Figura 2) muestra la disparidad de las valoraciones, como indica la alta desviación estándar de todas ellas.
Estos resultados refuerzan el uso prioritario de la asincronía como forma de comunicación del modelo ABPCL, al tiempo que muestran que el uso de la sincronía en algunos casos se valora positivamente por un porcentaje importante del alumnado (un 55,10 % en el caso de la variable menos valorada como es la SINC5), resultando razonable mantenerla como complemento a la comunicación asíncrona.
Evaluación
Otra de las dimensiones del trabajo en equipo en red es la evaluación, que en el modelo ABPCL es continua y de 360º, implicando a profesores y alumnos en distintos momentos y formas de evaluar ( Romeu et al., 2016). Para conocer la percepción de los estudiantes sobre el sistema de evaluación, se les preguntó por la relevancia de las tres formas de llevarla a cabo en la asignatura CTIC (Tabla 3, variables EVAL).
Las tres variables obtienen valoraciones medias por encima del 4, siendo algo superiores las valoraciones de aquellas tareas en las que se evalúa el trabajo ajeno (Med = 4.18) frente a la autoevaluación (Med = 4.11).
Las valoraciones medias de los tres modos de evaluación son muy similares (4,11; 4,18 y 4,18). La Figura 3 refleja con más detalle esta situación:
Estos resultados constatan “la percepción positiva del estudiantado en cuanto a su papel activo en la evaluación del propio proceso de aprendizaje” (Cabrera et al., 2023), al tiempo que se avanza en los objetivos docentes, dado que estas prácticas “promueven la participación y la motivación con actividades orientadas a adquirir la competencia de trabajar en equipo” (Planas-Lladó et al., 2020).
Se encuentran diferencias significativas en las tres variables atendiendo al género, con tamaños de efecto de 0,26, 0,22 y 0,15, siempre con mayor valoración media de las mujeres. Aunque este estudio no profundiza en los motivos de dichas diferencias, sí hay coincidencias con estudios como el de González-Betancor et al. (2019), constatando que las mujeres llevan a cabo procesos de autoevaluación más detallados y reflexivos que los hombres.
Situaciones críticas inherentes al trabajo en equipo en red
En la implementación del modelo ABPCL cabe la posibilidad de que aparezcan situaciones críticas en el seno de algunos equipos de trabajo, que pueden ser más frecuentes cuando sus integrantes tienen conocimientos y bagajes previos (Edmondson y Harvey, 2018) como es en gran medida el perfil de los estudiantes de la UOC.
Lidiar con conflictos de forma controlada puede ser beneficioso para un equipo, al promover la discusión, el compartir diferentes puntos de vista y estimular el análisis de vías alternativas de acción (O’Neill y McLarnon, 2018). Por ello, se propone una actividad al inicio de la asignatura para que los estudiantes adquieran conciencia sobre las desavenencias en el trabajo en equipo y cómo resolverlos, participando de un debate virtual sobre un caso real crítico con preguntas para la reflexión y la acción. También se les pide explicar las formas en las que han resuelto estas desavenencias, por ejemplo, en el caso de que alguno de los componentes no cumpla con su rol asignado. Aun así, siempre pueden surgir otros problemas en la gestión del trabajo colaborativo a lo largo del proceso, bien sea por falta de acuerdo en la formación de los grupos, por las dificultades de evaluar la participación individual en el trabajo colectivo o, en mayor medida, por el comportamiento de “free rider” de algún miembro del equipo (Ramdeo et al., 2022).
Así, en la respuesta a la pregunta “Después de haber trabajado en equipo en red en la asignatura, ¿qué te llevas de la experiencia?”, el aspecto mejorable que se menciona de manera más relevante es la dificultad en algunos casos para gestionar la falta de implicación de otros integrantes: “Me pone muy nervioso que los compañeros no estén igual de implicados que yo en el proyecto” (CS34) es un ejemplo ilustrativo de este malestar.
Sobre este mismo aspecto se incluía la siguiente pregunta cerrada: “Imagínate que te encuentras con que una de las personas miembros de tu grupo no ha realizado ninguna aportación. Valora la adecuación de estas acciones del 1 al 5 para resolver la situación”. Las acciones sobre las que se pedía valoración, así como los resultados obtenidos para cada una de ellas, pueden verse en las variables CONF de las Tablas 1 y 3 respectivamente.
Cabe destacar que las dos acciones con menor valoración, CONF4 (Med = 2.78, DT = 1.48) y CONF5 (Med = 2.09, DT = 1.31) son las que están más alejadas de una buena gestión de los conflictos (Pazos et al., 2022). Las tres mejor valoradas y también cercanas a una buena gestión de conflictos se ven potenciadas por las características del modelo ABPCL, que tiene como ejes fundamentales la evaluación continua y la presencia docente.
La Figura 4 muestra la frecuencia relativa de los cinco niveles de valoración para cada una de estas variables:
Podemos observar que la suma de frecuencias de las dos valoraciones más altas son directamente proporcionales a la adecuación de cada una de las acciones relativas a la gestión de conflictos (un 90,74 % CONF1 frente a un 17,59 % de CONF5), mientras que en las otras tres variables el porcentaje de cada una de las acciones es más equilibrado, dentro de la tendencia de cada una.
Este resultado refuerza la estrategia seguida de proporcionar inicialmente una serie de recursos y pautas, tratando de forma explícita la gestión de los conflictos y enviando mensajes explícitos al respecto durante el transcurso de la asignatura ( Ou y Joyner, 2023).
Los datos cualitativos muestran cómo el trabajo en equipo y aprender a trabajar colaborativamente en línea son los dos aspectos positivos más destacados: “De positivo seguir creciendo en la compleja situación de trabajar en equipo, también en entornos virtuales” (CS39).
Seguidamente se discuten los resultados relativos a la segunda pregunta de investigación.
¿Existen diferencias significativas entre los elementos del modelo en cuanto a su transferencia en el ámbito académico y profesional?
La asignatura CTIC facilita que los estudiantes de los distintos grados de la UOC adquieran las competencias digitales necesarias para un buen desempeño académico y profesional, por lo que en su diseño e implementación se promueve la adquisición y transferencia de dichas competencias a otros entornos, teniendo especial relevancia el trabajo en equipo en red.
Se analizan a continuación los resultados de los grupos de variables ACAD y PROF (Tabla 3), que preguntan sobre la utilidad académica y profesional de los elementos del modelo ABPCL en su concreción en la asignatura CTIC.
Destacan con valoraciones positivas dos variables asociadas con la gestión de la información digital (ACAD5 y ACAD4) y dos variables relacionadas con la gestión del trabajo colaborativo (ACAD10 y ACAD2). Destaca, por ser la única con una valoración media inferior a 4, la variable ACAD3 “Distribución de roles” (Med = 3,86; DT = 1,18). Mientras las cuatro primeras refuerzan la utilidad académica del trabajo colaborativo en línea y la gestión de la información, la última variable nos lleva a repensar cómo se plantea la gestión de los roles en el trabajo en equipo. La asignatura CTIC propone roles generales, como ya vimos al discutir los resultados de los aspectos organizativos. La propuesta puede ser revisada para ver si una adaptación de los roles al grado cursado influye en su valoración.
Las tres variables mejor valoradas del grupo PROF están relacionadas con la gestión del trabajo en grupo y la comunicación síncrona, mientras que también “Distribución de roles” está valorada por debajo de 4, pero en este caso la variable PROF11 tiene una menor valoración media (Med = 3,89; DT = 1,23).
Las altas valoraciones de todas las variables en ambas dimensiones permiten afirmar las posibilidades de transferencia tanto académica como profesional del modelo. Para profundizar en este análisis, la Tabla 4 muestra el nivel de significación de las diferencias de las valoraciones de las mismas parejas de variables para el ámbito académico y profesional.
t | p | t | p | ||
ACAD1/PROF1 | -1627 | 0.104 | ACAD7/PROF7 | -7334 | < .001 |
ACAD2/PROF2 | -1819 | 0.069 | ACAD8/PROF8 | 1522 | 0.128 |
ACAD3/PROF3 | -3169 | 0.002 | ACAD9/PROF9 | -6324 | < .001 |
ACAD4/PROF4 | 3437 | < .001 | ACAD10/PROF10 | -1996 | 0.046 |
ACAD5/PROF5 | 4929 | < .001 | ACAD11/PROF11 | 8348 | < .001 |
ACAD6/PROF6 | -1452 | 0.147 |
Se observan diferencias significativas en las parejas de variables 3 (ya discutida), 4, 5, 7, 9 y 11, escasamente significativa en la pareja de variables 10, y se observa que no existen diferencias significativas en las parejas 1, 2, 6 y 8.
La valoración significativamente superior de la variable ACAD11 (Med = 4,07) “Evaluación de un proyecto de los compañeros y compañeras” frente a la de la variable PROF11 (Med = 3,89) es coherente con que la evaluación de los proyectos se hace con una finalidad académica, orientada al desarrollo de la asignatura, por lo que puede no verse demasiada proyección profesional.
Las valoraciones de las parejas de variables 4 y 5, referentes a la organización y presentación de la información digital, son significativamente más altas en la dimensión académica (Med = 4,31 y Med = 4,34) que en la profesional (Med = 4,20 y Med = 4,20). Este resultado puede explicarse porque los estudiantes ponen en juego estas competencias de forma muy concreta para el desarrollo de las actividades académicas, lo que invita a contextualizar más las actividades con aplicaciones reales en un entorno laboral simulado.
La comunicación síncrona (variable 7) tiene una valoración más alta en el ámbito profesional (Med = 4,34), que en el académico (Med = 4,08) probablemente debido a que se asocia la presencialidad o la relación constante en línea a los entornos de trabajo, en los que la asincronía tiene una menor implantación.
También las estrategias para la resolución de conflictos (variable 9) tienen una valoración significativamente mayor en el ámbito profesional (Med = 4,34) que en el académico (Med = 4,15), lo que podría explicarse porque los conflictos no son muy frecuentes en la asignatura, por los recursos ya comentados al hablar de las situaciones críticas del trabajo en equipo en red, que los estudiantes pueden considerar de utilidad en futuras situaciones de su ámbito profesional.
Para evaluar con más detalle la transferencia del modelo y su implementación en el ámbito académico, se analizan ahora los resultados obtenidos al comparar las valoraciones medias de las variables para los diferentes estudios (Tabla 3).
La Figura 5 muestra las valoraciones medias de cada grupo de variables por estudio.
Las variables EVAL, ACAD y PROF presentan valoraciones medias muy similares entre todos los estudios, siendo en E3 donde las valoraciones son menores y E4 donde son mayores. En el grupo SINC las medias son inferiores en cada caso respecto al resto de variables, con los estudios E2 y E4 con valoraciones más altas que los otros tres. En el grupo de variables ORG, los estudios E3 presentan una media inferior al resto, que son muy similares entre sí.
Este hecho puede explicarse por el perfil de estudiantes, dado que, por una parte, los estudiantes de Artes y Humanidades (E3) corresponden a un perfil de estudiantes de más edad que estudia fundamentalmente para su realización personal, lo que les supone un menor valor para su desarrollo profesional, mientras que los estudiantes de los grupos E2 y E4 suelen estudiar un grado para implementarlo en el ámbito profesional y, a su vez, están más pendientes de la importancia de los procesos psicológicos inherentes al trabajo en equipo.
El grupo de variables SINC presenta menores medias en relación con el resto de variables en todos los estudios. Este resultado es coherente con la importancia que desde la asignatura CTIC se da a la asincronía, como se ha comentado anteriormente en el apartado de Comunicación.
Atendiendo al nivel de significación de estas diferencias (Tabla 3), no se han encontrado diferencias significativas en la valoración del grupo de las variables ACAD, mientras que los grupos de variables SINC y PROF son los que presentan mayor número de variables con diferencias significativas y valores del tamaño de efecto superiores al resto.
Analizando con más detalle el grupo de variables ORG, dos de ellas presentan diferencias significativas entre los estudios: ORG4 con p = 0,008 y ORG5 con p = 0,011. La Figura 6 muestra entre qué estudios se dan estas diferencias, así como el tamaño del efecto en cada caso.
Vemos que en estas dos variables son los estudiantes de Artes y Humanidades (E3) quienes dan valoraciones medias por debajo de los de otros estudios. Para la planificación inicial (ORG4) respecto a E1, E2 y E4, y para la revisión de la planificación (ORG5) respecto a E4 y E5.
Los resultados nos permiten constatar estas diferencias, así como las relativas al resto de variables, pero no permiten profundizar en los motivos de las mismas, cuestión que queda fuera de los objetivos del presente estudio, pero sí ofrecen suficientes evidencias como para generar instrumentos que ayudan a entender los motivos de las diferencias encontradas.
CONCLUSIONES
Respondiendo a la primera pregunta de investigación, los resultados muestran cómo la valoración que hacen los estudiantes de la metodología de trabajo en equipo del modelo ABPCL es muy positiva, lo que permite validar en su conjunto el modelo y su aplicación, al tiempo que ayuda a poner el foco en aspectos a mejorar.
Los aspectos referentes a la evaluación y organización del trabajo en equipo son valorados muy positivamente, proponiendo como mejora asignar roles para el trabajo en equipo ajustados a los perfiles profesionales de los diferentes estudios.
Dadas las dificultades que algunos estudiantes identificaron con la comunicación asíncrona inherente al modelo, se plantea como mejora una mayor secuenciación de este tipo de comunicación, proporcionando más pautas para su implementación y utilizar la comunicación síncrona en momentos puntuales.
Se constata la importancia de incluir actividades para concienciar lo que supone el trabajo en equipo en red y disminuir así las situaciones de desavenencias, siendo el aprendizaje de esta forma de trabajar uno de los aspectos mejor valorados.
Respecto a las diferencias de valoración por género, excepto en 2 de las 40 variables, la valoración media de las mujeres es más alta, siendo la diferencia significativa en 28 de ellas. Promover la equidad de género en la formación de los equipos, teniendo en cuenta la realidad de las matrículas en cada caso, puede ser una forma de aprovechar el potencial que estas diferencias aportan.
En relación con la segunda pregunta de investigación, los resultados avalan la total transferibilidad del modelo a otras asignaturas de la propia universidad o de otras universidades en línea, así como al ámbito profesional. Siendo las valoraciones muy positivas, sí se han encontrado diferencias entre algunos estudios, lo que invita a adaptar más las actividades a la realidad profesional de los distintos estudios.
Como limitación del estudio, cabe mencionar que el modelo se diseñó y aplicó únicamente en una asignatura concreta, aunque ésta sea obligatoria y tenga un alto impacto en cuanto a número de estudiantes, por lo que eso restringe de forma plausible sus posibilidades de transferencia a otros entornos y asignaturas. Su adaptación y aplicación a otras asignaturas de la universidad y a otras universidades que realicen acciones formativas totalmente en línea, ayudaría a terminar de definir y validar un modelo globalmente transferible.
Esta investigación ha permitido conocer la valoración en primera persona de los estudiantes sobre el modelo, que lo valida en su globalidad. Por otro lado, deja abiertas futuras líneas de investigación como son los motivos subyacentes a las diferencias entre géneros y entre estudios.
REFERENCIAS
Amirrudin, M., Nasution, K. y Supahar, S. (2021). Effect of Variability on Cronbach Alpha Reliability in Research Practice. Jurnal Matematika, Statistika dan Komputasi, 17(2), 223-230. https://doi.org/10.20956/jmsk.v17i2.11655
Babbie, E. R. (2017). The basics of social research (Seventh edition). Cengage Learning.
Belbin, R. M. y Brown, V. (2022). Team Roles at Work (3.a ed.). Routledge. https://doi.org/10.4324/9781003163152
Besser, E. D. (2023). Making an Impact in Online Learning: Google Chat as a Mechanism to Facilitate the COI Framework. Technology, Knowledge and Learning, 29(1), 413-432. https://doi.org/10.1007/s10758-023-09673-7
Cabrera, N., Fernández-Ferrer, M., Maina, M. F. y Sangrà, A. (2023). Diseño de una propuesta de autoevaluación para el desarrollo de la autorregulación en educación superior. RIED-Revista Iberoamericana de Educación a Distancia, 26(1), 223-244. https://doi.org/10.5944/ried.26.1.34028
Creswell, J. W. (2021). A concise introduction to mixed methods research (Second edition). SAGE.
Díaz-García, I., Almerich, G., Suárez-Rodríguez, J. y Orellana, N. (2023). University students’ competences in ICT: A view from the education domain. Australasian Journal of Educational Technology, 133-151. https://doi.org/10.14742/ajet.6820
Edmondson, A. C. y Harvey, J.-F. (2018). Cross-boundary teaming for innovation: Integrating research on teams and knowledge in organizations. Human Resource Management Review, 28(4), 347-360. https://doi.org/10.1016/j.hrmr.2017.03.002
González-Betancor, S. M., Bolívar-Cruz, A. y Verano-Tacoronte, D. (2019). Self-assessment accuracy in higher education: The influence of gender and performance of university students. Active Learning in Higher Education, 20(2), 101-114. https://doi.org/10.1177/1469787417735604
Guitert, M. (2022). Networked collaboration for teachers and for students. En A. Sangrà (Coord.), Improving online teaching: Practical guide for quality online education. UOC. ISBN 978-84-9180-937-1.
Guitert, M. y Romeu, T. (2020). Aprendizaje colaborativo en red en la universidad. En D. Cañabate y J. Colomer (Coords.), El aprendizaje cooperativo en la universidad del siglo XXI. Propuestas, estrategias y reflexiones. (pp. 95-106). Grao.
Guitert, M., Romeu, T. y Romero, M. (2020). Elementos clave para un modelo de aprendizaje basado en proyectos colaborativos online (ABPCL) en la Educación Superior. American Journal of Distance Education, 34(3), 241-253. https://doi.org/10.1080/08923647.2020.1805225
Guo, P., Saab, N., Post, L. S. y Admiraal, W. (2020). A review of project-based learning in higher education: Student outcomes and measures. International Journal of Educational Research, 102, 101586. https://doi.org/10.1016/j.ijer.2020.101586
Hernández, I., Lay, N., Herrera, H. y Rodríguez, M. (2021). Estrategias pedagógicas para el aprendizaje y desarrollo de competencias investigativas en estudiantes universitarios. Revista de Ciencias Sociales. https://doi.org/10.31876/rcs.v27i2.35911
Hernández-Arvizu, B. F., Guzmán-Cedillo, Y. I. y Lima Villeda, D. N. (2023). Aprendizaje basado en proyectos: La perspectiva del alumnado en aprendizaje semipresencial y totalmente en línea. Revista de Estudios e Investigación en Psicología y Educación, 10(1), 95-111. https://doi.org/10.17979/reipe.2023.10.1.9527
Kokotsaki, D., Menzies, V. y Wiggins, A. (2016). Project-based learning: A review of the literature. Improving Schools, 19(3), 267-277. https://doi.org/10.1177/1365480216659733
Krippendorff, K. (2019). Content Analysis: An Introduction to Its Methodology. SAGE Publications, Inc. https://doi.org/10.4135/9781071878781
Montero Curiel, M. L. (2010). El proceso de Bolonia y las nuevas competencias. Tejuelo: Didáctica de la Lengua y la Literatura, 9.
Okolie, U. C., Oluka, B. N., Oluwayemisi, F. B., Achilike, B. A. y Marcel Ezemoyih, C. (2022). Overcoming obstacles to collaborative learning practices: A study of student learning in higher education-based vocational education and training. International Journal of Training Research, 20(1), 73-91. https://doi.org/10.1080/14480220.2021.1965904
O’Neill, T. A. y McLarnon, M. J. W. (2018). Optimizing team conflict dynamics for high performance teamwork. Human Resource Management Review, 28(4), 378-394. https://doi.org/10.1016/j.hrmr.2017.06.002
Ou, C. y Joyner, D. (2023). Seven years of online project-based learning at scale. International Journal on Innovations in Online Education, 7(1), 69-85. https://doi.org/10.1615/IntJInnovOnlineEdu.2023049968
Pazos, P., Pérez-López, M. C. y González-López, M. J. (2022). Examining teamwork competencies and team performance in experiential entrepreneurship education: Emergent intragroup conflict as a learning triggering event. Education + Training, 64(4), 461-475. https://doi.org/10.1108/ET-06-2021-0208
Planas-Lladó, A., Feliu, L., Arbat, G., Pujol, J., Suñol, J. J., Castro, F. y Martí, C. (2020). An analysis of teamwork based on self and peer evaluation in higher education. Assessment & Evaluation in Higher Education, 46(2), 191-207. https://doi.org/10.1080/02602938.2020.1763254
Pupik, C. G., Grossman, P., Enumah, L., Herrmann, Z. y Kavanagh, S. S. (2023). Core practices for project-based learning: Learning from experienced practitioners in the United States. Teaching and Teacher Education, 133, 104275. https://doi.org/10.1016/j.tate.2023.104275
Ramdeo, S., Balwant, P. y Fraser, S. H. (2022). Not another team assignment! Student perceptions towards teamwork at university management programs. Higher Education, Skills and Work-Based Learning, 12(6), 1122-1137. https://doi.org/10.1108/HESWBL-01-2022-0015
Rios, J. A., Ling, G., Pugh, R., Becker, D. y Bacall, A. (2020). Identifying Critical 21st-Century Skills for Workplace Success: A Content Analysis of Job Advertisements. Educational Researcher, 49(2), 80-89. https://doi.org/10.3102/0013189X19890600
Romero, M., Romeu, T., Guitert, M. y Baztán, P. (2021). The Transition To Online Teaching In Times Of Pandemic: An Experience Of Teachers’ Training In European Higher Education. En SCUOLA DEMOCRATICA (Eds.). Book of Abstracts of the International Conference of the journal Scuola Democratica. Reinventing Education (Associazione “Per Scuola Democratica”).
Romeu, T., Romero, M. y Guitert, M. (2016). E-assessment process: Giving a voice to online learners. International Journal of Educational Technology in Higher Education, 13(1), 20. https://doi.org/10.1186/s41239-016-0019-9
Sundlin, A.-L., Söderhjelm, T. M. y Sandahl, C. (2022). Making rapid shifts in work roles – an essential teamwork skill. An exploratory study of facilitating and inhibiting factors. Team Performance Management: An International Journal, 28(7/8), 461-475. https://doi.org/10.1108/TPM-01-2022-0003