Estudios e investigaciones

Socrative como herramienta de mejora del proceso de enseñanza-aprendizaje en Educación Superior

Using Socrative as a Tool to Improve the Teaching-Learning Process in Higher Education

Carmen Juan-Llamas 1
Universidad Complutense de Madrid (España), España
Alejandro Viuda-Serrano 2
Universidad de Alcalá (España), España

Socrative como herramienta de mejora del proceso de enseñanza-aprendizaje en Educación Superior

RIED. Revista Iberoamericana de Educación a Distancia, vol. 25, núm. 1, pp. 279-297, 2022

Asociación Iberoamericana de Educación Superior a Distancia

Recepción: 14 Julio 2021

Aprobación: 12 Agosto 2021

Cómo referenciar este artículo: Juan-Llamas, C., y Viuda-Serrano, A. (2022). Socrative como herramienta de mejora del proceso de enseñanza-aprendizaje en Educación Superior. RIED. Revista Iberoamericana de Educación a Distancia, 25(1), pp. 279-297. https://doi.org/10.5944/ried.25.1.31182

Resumen: Esta investigación pone a prueba, en la asignatura de Estadística del Grado de Biología, la aplicación Socrative, una herramienta de evaluación en línea de tipo SRP (Sistemas de Respuesta Personal). El objetivo fue comprobar si su uso mejora los resultados cuantitativos y cualitativos del alumnado y la eficiencia del proceso de enseñanza-aprendizaje desde el punto de vista docente. Se llevaron a cabo dos pruebas Socrative y participaron 66 estudiantes del grado de Biología de una universidad pública de la Comunidad de Madrid, divididos en dos grupos experimentales y dos grupos de control. Para analizar las mejoras cuantitativas en los resultados académicos se utilizó la prueba t de Student para muestras independientes. Para los aspectos cualitativos se utilizó el cuestionario de valoración de Socrative para el alumnado, creado por Wash. Asimismo, para analizar la influencia de la intervención desde la perspectiva docente, se utilizó el cuestionario autoadministrado para profesorado tras la aplicación de herramientas SRP, desarrollado por Cheung et al., y una entrevista semiestructurada a la profesora. Los resultados no son concluyentes en cuanto al aumento del rendimiento académico, ya que indican que el uso de Socrative mejoró significativamente los resultados del primer grupo experimental pero no del segundo. Por otro lado, sí se logró una intervención más activa de la profesora en el proceso de enseñanza-aprendizaje, con una mejora de la dinámica de la clase, así como un aumento de la motivación y la participación del alumnado y su percepción subjetiva de aprender más y con mayor facilidad.

Palabras clave: Socrative, estadística, sistemas de respuesta personal, TIC, educación superior, innovación educativa.

Abstract: This study tested the software application Socrative, an online evaluation Student Response System (SRS) tool, in the subject of Statistics (degree of Biology). The main objective was to test whether its use improves both quantitative and qualitative results of students, and the efficiency of the teaching-learning process from the teacher’s point of view. Two Socrative tests were carried out and 66 students from a Faculty of Biology at Madrid region participated being divided into two experimental and two control groups. Student’s t-test for independent samples was used to analyse quantitative improvements in academic results. For qualitative aspects the Socrative assessment questionnaire for students, created by Wash, was applied. Moreover, a self-report questionnaire for teachers after using SRS tools, developed by Cheung et al., was administered and a semi-structured interview was conducted to analyse the teacher’s perception about the influence of the intervention. Results proved inconclusive regarding improvements in academic performance, showing significant improvements for the experimental group of the first Socrative test, but not for the second. Furthermore, the use of Socrative gained a more active participation of the teacher in the teaching-learning process improving the classroom dynamics and increased additionally motivation and participation of students and their subjective perception of learning more and in a simpler way.

Keywords: Socrative, statistics, student response systems, ICT, higher education, educational innovation.

La educación está cambiando y es una evidencia que las necesidades actuales de los estudiantes son distintas a las de la primera década del siglo XXI y, por supuesto, muy diferentes de los requerimientos de los alumnos del siglo XX. Desde hace décadas se insiste en implementar modelos constructivistas centrados en el aprendizaje del estudiante; hoy estos se hacen indispensables. Sin ninguna duda, el mundo digital ha supuesto un cambio radical en la forma de acceder y transmitir conocimientos provocando una revolución educativa (Del Arco et al., 2019). En los últimos años, la incidencia en la sociedad de aplicaciones basadas en dispositivos móviles es innegable, si bien su utilización todavía representa un gran reto para la práctica educativa convencional ( Salcines-Talledo y González-Fernández, 2020). La introducción de este tipo de herramientas para promover el aprendizaje activo en las instituciones educativas se está llevando a cabo de manera gradual, siendo todavía una realidad emergente en la universidad (Balta et al., 2018; Perera-Rodríguez y Hervás-Gómez, 2019), aunque cada vez más utilizada y consolidada (Pryke, 2020).

Hernández (2002) señalaba las dos concepciones de enseñanza más practicadas por el profesorado universitario: la cuantitativa, aludiendo al docente que sabe comunicar de forma fluida los conocimientos, como expertos en la materia; y la cualitativa, que convierte al profesorado, no solo en transmisores de contenidos sino en facilitadores, que median y ayudan al alumnado a construir activamente sus conocimientos. En el contexto universitario, Romero et al. (2013) distinguen dos tipos de enfoques de aprendizaje: el superficial (surface), que consiste en estudiar lo mínimo necesario para ser capaz de reconocer y reproducir la materia para superar la evaluación; y el profundo (deep), en el que se estudia comprendiendo el significado de la materia y, por tanto, se buscan relaciones entre las ideas, reflexionando y cuestionando lo que se lee. Investigaciones como las de Hernández (2002) o Monteagudo et al. (2017), aseguran que el modo en que los docentes conceptualicen su enseñanza en el aula determina la forma en que los estudiantes adoptan uno de los dos enfoques.

En este sentido, apostar por metodologías activas de aprendizaje (como Aprendizaje Invertido, Aprendizaje Basado en Problemas ABP, Estudios de Caso, entre otras) y por herramientas TIC, puede ayudar a alcanzar esta concepción cualitativa de la enseñanza (Artal et al., 2017). Como consecuencia, la utilización de estos nuevos enfoques de enseñanza-aprendizaje ha conllevado la aparición de nuevos conceptos como aprendizaje adaptativo, ubicuo, móvil, en redes sociales y entornos colaborativos, cursos online masivos y abiertos (COMA/MOOC), entornos personalizados de aprendizaje (EPA), etc. (Observatorio de Innovación Educativa, 2017). Actualmente el modelo tradicional de clase magistral no cumple con las expectativas para que el estudiante obtenga los resultados esperados en el desarrollo de competencias (Ma y Li, 2021). Los docentes del siglo XXI necesitan ofrecer y llevar al aula nuevas técnicas y metodologías innovadoras que capten la atención del alumnado y conecten los conocimientos impartidos con su vida diaria.

La presencia de nuevas tecnologías en el aula se ha vuelto indispensable en todas las instituciones educativas. Balta y Tzafilkou (2019) aseguran que, hoy en día, la mayoría de los centros educativos disponen de proyectores, pizarras digitales y conexión inalámbrica a internet. Las tecnologías informáticas ofrecen grandes posibilidades educativas y si, además, son usadas para fines académicos, teniendo en cuenta que los estudiantes presentan un alto grado de dominio de las mismas, pueden ser grandes aliadas para las generaciones actuales (Monteagudo et al., 2017). Además, éstas proporcionan a los centros educativos una extraordinaria oportunidad de aumentar la motivación y de mejorar tanto la enseñanza del profesorado como el aprendizaje del alumnado (Frías et al., 2016; Hew et al., 2016).

Sin embargo, existen estudios que afirman que el uso de la tecnología móvil en las aulas puede tener un impacto negativo en el proceso de enseñanza-aprendizaje debido a la dependencia que crea y a las múltiples distracciones que aparecen durante su uso (Mendoza et al., 2018; Sumuer, 2021; Wood et al., 2018). Este punto de vista se opone a estudios recientes que recalcan el beneficio del uso de la tecnología, y más en concreto de la tecnología móvil, para reforzar el aprendizaje formal en las aulas (Awedh et al., 2014; Balta et al., 2018; Dervan, 2014; Frías et al., 2016; Salcines-Talledo y González-Fernández, 2020, entre otros).

En esta misma línea, y a pesar de algunas dificultades que pueden surgir en el proceso, son varios los estudios que muestran los beneficios de la utilización de dispositivos móviles en el ámbito universitario (Crompton y Burke, 2018; Salcines-Talledo y González-Fernández, 2020). De este modo, en la educación superior está surgiendo un nuevo enfoque metodológico centrado en el uso de tecnología para promover experiencias de aprendizaje interactivo que, además de aumentar la motivación para participar en las tareas (Frías et al., 2016; Hew et al., 2016), produciría una mejora significativa en términos de rendimiento académico en comparación con el enfoque tradicional (Crompton y Burke, 2018). Dar la espalda a estos cambios tecnológicos podría derivar en una desconexión con la dinámica de aprendizaje del alumnado actual (Monteagudo et al., 2017). La emergencia del uso de dispositivos móviles en la educación puede mitigar problemas en la gestión del aula, cubriendo las necesidades de los estudiantes de hoy, los jóvenes nativos digitales (Wash, 2014). Universidades españolas (Artal et al., 2017; Monteagudo et al., 2017; Perera-Rodríguez y Hervás-Gómez, 2019) e internacionales (Balta et al., 2018; Chaiyo y Nokham, 2017; Ma y Li, 2021; Pryke, 2020; Wash, 2014) están poniendo en práctica numerosas acciones de innovación educativa con el fin de superar los esquemas didácticos tradicionales y lograr una enseñanza de calidad, uno de los objetivos fundamentales del sistema educativo actual (Álvarez et al., 2011).

En respuesta a todos estos retos que nos plantea la nueva educación del siglo XXI, este estudio trata de arrojar luz sobre los resultados dispares, y ambiguos en algunos casos, si bien la mayoría de autores confirman la influencia positiva, respecto al uso de las nuevas tecnologías (en concreto la herramienta de evaluación en línea Socrative) y su incidencia en la mejora del proceso de enseñanza-aprendizaje, así como a otros aspectos como la motivación y la participación del alumnado, la influencia en sus resultados académicos y una intervención más activa del profesorado.

Socrative como herramienta

El uso de tecnología centrada en el sistema de respuesta del alumnado, conocido como SRP (Sistemas de Respuesta Personal), y sus aplicaciones prácticas, ampliamente investigadas en la última década, se han hecho populares entre los docentes y benefician el proceso de enseñanza-aprendizaje (Balta y Tzafilkou, 2019). Actualmente existen varias herramientas para la evaluación en línea del alumnado, con software gratuito y fácilmente accesible, como Kahoot, Socrative o Quizizz, entre otras. Nuestro estudio escoge Socrative por ser una herramienta más formal, además de ser más adecuada a la asignatura de Estadística, ya que algunas de las funcionalidades de Kahoot o Quizizz, aplicaciones visualmente más atractivas e interactivas y con una interfaz mucho más lúdica (Chaiyo y Nokham, 2017), no se adaptan al tipo de prueba de evaluación que buscamos.

Socrative es una de las plataformas SRP con mayor aceptación y uso por parte del profesorado, además de ser una aplicación que ayuda a los estudiantes a aprender y a los docentes a enseñar de manera más efectiva ( Aljaloud et al., 2015). Es una herramienta de evaluación en línea, intuitiva y de fácil manejo, con una interfaz interactiva y accesible que permite evaluar al alumnado a medida que se lleva a cabo el aprendizaje, y no necesariamente de modo terminal, al finalizar el proceso. A través de Socrative, se pueden diseñar evaluaciones en línea y acceder a estas utilizando cualquier dispositivo móvil (portátiles, smartphones o tabletas). Además, con esta aplicación se pueden diseñar exámenes, encuestas y pruebas con preguntas de respuesta múltiple, verdadero o falso y/o respuestas cortas. También permite incluir imágenes relacionadas con las preguntas ( Serrano y Casanova, 2018). Se puede configurar dichas pruebas en función de diferentes aspectos (participación anónima, despliegue aleatorio de preguntas y respuestas, aparición de la puntuación parcial o final, uso de feedback interactivo, etc.), lo que confiere gran flexibilidad a su diseño. Uno de los aspectos más beneficiosos de Socrative es que permite hacer preguntas y obtener las respuestas del alumnado con inmediata retroalimentación e información estadística (Dervan, 2014), pudiendo dar feedback directo o hacer comentarios junto con la respuesta correcta, y posibilitando mostrar en el aula los resultados generales de todo el grupo, bien pregunta por pregunta o al finalizar el cuestionario (Serrano y Casanova, 2018). Son muchas las investigaciones realizadas en torno a esta aplicación (Abdulla, 2018; Balta et al., 2018; Balta y Tzafilkou, 2019; McKenzie y Ziemann, 2020; Roman et al., 2021, son algunas de las más recientes) y su principal ventaja, según Balta y Tzafilkou (2019), además de la integración de la tecnología en el aula, es el aumento del compromiso, la motivación y el aprendizaje de los estudiantes. Sin embargo, Dervan (2014) menciona que se deben tener en cuenta posibles aspectos negativos como problemas técnicos con el software (falta de conexión o interrupción durante la prueba), falta de experiencia del profesorado o ansiedad del alumnado al incluir las puntuaciones de estas pruebas en su calificación general, entre otras.

METODOLOGÍA

Objetivos

Esta investigación se llevó a cabo durante el segundo semestre del curso académico 2018-19 en un entorno de enseñanza presencial, si bien, dadas las características de la herramienta testada, podría utilizarse igualmente en circunstancias de enseñanza a distancia. El objetivo fue analizar si el uso de Socrative produce, en el proceso de enseñanza-aprendizaje del alumnado, los beneficios mencionados en gran parte de la bibliografía en cuanto a la mejora de su rendimiento académico, así como a su motivación y participación, la relación profesor/alumno y la dinámica de la clase. Partimos de dos hipótesis en el estudio. La primera (H 1) fue que los estudiantes que realizan las pruebas Socrative (grupos experimentales) obtienen mejores resultados académicos que quienes no participan en ellas (grupos de control). La segunda (H2) fue que la utilización de Socrative mejora la dinámica de la clase logrando una intervención más activa del docente y una mayor participación y motivación del alumnado, así como una percepción subjetiva de mayor aprendizaje sobre la asignatura.

Participantes

Este estudio se ha realizado en una Facultad de Biología de una universidad pública de la Comunidad de Madrid (España) siguiendo un método similar al utilizado por otros estudios como los de Balta y Tzafilkou (2019), Balta et al. (2018) y Awedh et al. (2014). Los participantes que formaron parte de la muestra fueron 66 estudiantes de primer curso del Grado de Biología, con edades comprendidas entre 18 y 23 años (18.85±1.01), que cursaron la asignatura del segundo cuatrimestre, Estadística aplicada a la Biología, cuya evaluación consta de dos pruebas parciales que dividen la materia en sendas partes. En la mitad del desarrollo de cada parte se llevó a cabo una prueba Socrative sobre los contenidos trabajados hasta ese momento, dos pruebas en total, distintas de las dos pruebas parciales de la asignatura. La participación en el estudio fue voluntaria, siguiendo a Balta et al. (2018), quedando los grupos experimentales constituidos por quienes participaron tanto en Socrative como en las pruebas parciales (43 y 45 participantes), y los grupos de control por quienes no hicieron Socrative pero sí las pruebas parciales (22 y 11 participantes).

Figura 1
Número de participantes en las pruebas Socrative y en las pruebas parciales

Número de participantes en las pruebas Socrative y en las pruebas parciales

Como se puede observar en la figura 1, 44 estudiantes participaron en el primer Socrative, de quienes 43 se presentaron también a la primera prueba parcial de Estadística, y constituyeron el primer grupo experimental. De 65 estudiantes que se presentaron a la primera prueba parcial de evaluación, 22, quienes no participaron en la prueba Socrative, formaron el primer grupo de control. En el segundo Socrative participaron 51 estudiantes, de quienes 45 se presentaron también a la segunda prueba parcial y conformaron nuestro segundo grupo experimental. A la segunda prueba parcial se presentaron 56 estudiantes, por lo que el grupo de control lo conformaron los 11 restantes.

La profesora a cargo de la intervención tiene 5 años de experiencia impartiendo la asignatura objeto de estudio y una larga trayectoria docente. Su participación fue igualmente voluntaria, así como la cesión de sus materiales de trabajo para esta investigación.

Instrumentos

El instrumento utilizado para la recogida de las opiniones del alumnado acerca del uso de Socrative, fue el cuestionario de Wash (2014), compuesto por 7 ítems sobre la mejora de la participación, el feedback, el compromiso mental, la motivación, el estímulo de la discusión, la interacción y el aprendizaje, con una escala de valoración tipo Likert de 1 a 5. Para su traducción y adaptación al castellano se siguieron las directrices propuestas por la International Test Commission (Muñiz et al., 2013). Dado que el cuestionario tiene 7 ítems de extensión breve, el proceso de seguimiento de las 20 directrices propuestas por el ITC no resultó complejo. Además, se contó con la ayuda de tres expertos en traducción bilingües: el primero realizó una traducción directa; posteriormente el segundo una traducción inversa; y el tercero, viendo las discrepancias observadas, elaboró la versión final.

Para recabar las opiniones de la profesora, se llevó a cabo un método mixto cuantitativo y cualitativo (Crompton y Burke, 2018). Para la parte cuantitativa se utilizó el cuestionario de Cheung et al. (2018) sobre las percepciones del profesorado de universidad acerca del uso eficiente de los SRP, que consta de 49 ítems divididos en 10 constructos, también valorados mediante escala Likert de 1 a 5, sobre conocimientos tecnológicos y pedagógicos, expectativas de rendimiento y de esfuerzo, influencia social, condiciones facilitadoras e intención de comportamiento futuro. Para la cualitativa se realizó una entrevista semiestructurada con un guion de preguntas basadas en el grupo focal de ese mismo estudio, con 5 bloques temáticos y 17 cuestiones en total, adaptado a las circunstancias de nuestra investigación. Para el proceso de traducción y adaptación del cuestionario se siguieron igualmente las directrices del ITC (Muñiz et al., 2013) y los procesos descritos en el cuestionario de Wash. La entrevista fue grabada en formato audio mediante AudioNote para iOS.

Como material imprescindible para esta investigación, también se han utilizado los documentos de trabajo de la profesora que le permitieron desarrollar las actividades planificadas, siguiendo las consideraciones de Troncoso y Daniele (2003), como las fichas de problemas y su guía para las explicaciones, además de las pruebas Socrative, elaboradas por la propia profesora, que constaban de 10 preguntas teórico-prácticas de respuesta múltiple con 4 opciones posibles y solo una correcta. En las pruebas parciales se propusieron problemas para cuya resolución era necesario aplicar la teoría de las preguntas de los Socrative.

El software utilizado para el análisis estadístico de los datos obtenidos en las pruebas ha sido Statgraphics Centurion XVIII. Con esta herramienta es posible realizar el análisis descriptivo de una o varias variables, además de efectuar el cálculo de los contrastes de hipótesis para muestras independientes planteados en este estudio. Asimismo, la propia aplicación Socrative crea una tabla Excel en la que se recogen y organizan los resultados de los exámenes y, sobre ésta, también se han realizado los cálculos necesarios para la obtención de las medidas utilizadas.

Procedimiento de recogida y análisis de datos

Con el objetivo de dar profundidad al análisis que propone este estudio, se diseñó un método mixto (cuantitativo y cualitativo) de investigación. Esta intervención se implementó durante la asignatura completa de Estadística del Grado de Biología. La profesora comenzó explicando la materia, además de resolver ejemplos prácticos de las distintas casuísticas posibles en las fichas de problemas entregadas para preparar la asignatura, y que contenían ejercicios similares a los planteados en las pruebas parciales de evaluación.

Las pruebas Socrative se llevaron a cabo en los 20 minutos finales de dos sesiones de la asignatura. Los estudiantes debían llevar un smartphone, una tableta o un ordenador propios, con los que se conectaron a dicha aplicación. Además, la profesora llevaba copias impresas por si surgían complicaciones, como interrupciones en la conexión a internet o problemas en los dispositivos personales del alumnado.

Para el análisis de los resultados de las pruebas Socrative, se creó una tabla en Statgraphics Centurion XVIII con el objeto de recoger y organizar todos los datos. Dicha tabla está formada por cuatro columnas que contienen las notas obtenidas en los exámenes y, cada una de ellas, se corresponde con una variable: resultados del primer grupo de control, resultados del primer grupo experimental, resultados del segundo grupo de control y resultados del segundo grupo experimental. Asimismo, con la herramienta Statgraphics Centurion XVIII se realizaron los cálculos para la obtención de las medidas necesarias en este estudio: las medias, las desviaciones típicas y el contraste de hipótesis para la comparación de medias en muestras independientes. Antes de la realización de dicho contraste y mediante la aplicación de las pruebas de la normalidad, se comprobó que las cuatro variables seguían una distribución normal. Posteriormente se realizaron dos comparaciones de medias, una para cada prueba Socrative con el estadístico t de Student, no sin antes verificar la igualdad de las varianzas en ambos casos (.=1.504, p=.317; .=.711, p=.358). En cada contraste de hipótesis para la comparación de dos medias con varianzas desconocidas pero iguales, la hipótesis de trabajo será que los resultados obtenidos por el grupo experimental son significativamente mejores que los del grupo de control. Por tanto, si p<.05, se concluiría que hay mejoras significativas, en favor de los grupos que utilizan Socrative y, por el contrario, si p>.05, no existiría este aumento significativo de los resultados y habría que aceptar la hipótesis nula, concluyendo que el alumnado no habría obtenido la mejoría pretendida con el uso de Socrative. Asimismo, se calculó el tamaño del efecto entre las variables a través del estadístico d de Cohen.

Para conocer la percepción sobre el uso de Socrative en el aula, al finalizar la asignatura se recogieron las opiniones de ambas partes, estudiantes y profesora. Con respecto al alumnado, el procedimiento consistió en el envío del cuestionario adaptado de Wash (2014), que completaron de forma anónima, a través de la herramienta Google Forms. Se obtuvieron 53 respuestas válidas. Asimismo, se administró el cuestionario de Cheung et al. (2018) y se realizó una entrevista semiestructurada a la profesora para conocer su opinión sobre la eficiencia de la utilización de Socrative en el aula. Esta fue grabada en audio y transcrita para facilitar su análisis posterior. Su duración aproximada fue de 30 minutos.

RESULTADOS

Como ya se ha mencionado, Socrative calcula varios parámetros en torno al número de aciertos de cada estudiante. En la tabla 1 se muestra el porcentaje de aciertos de cada una de las preguntas propuestas en Socrative.

Tabla 1
Porcentaje de aciertos por ítem en las pruebas Socrative
SOCRATIVE 1 Ítem1 Ítem2 Ítem3 Ítem4 Ítem5 Ítem6 Ítem7 Ítem8 Ítem 9 Ítem10
57.4% 64.7% 57.4% 57.4% 60.3% 50.0% 42.6% 61.8% 23.5% 58.1%
SOCRATIVE 2 Ítem1 Ítem2 Ítem3 Ítem4 Ítem5 Ítem6 Ítem7 Ítem8 Ítem9 Ítem10
29.5% 36.1% 34.4% 14.8% 13.1% 39.3% 27.9% 18.0% 42.6% 37.7%

Cabe señalar que el primer Socrative realizado no tiene porcentajes inferiores al 20% y casi todos los ítems, excepto los números 7 y 9, obtienen resultados superiores al 50% de respuestas correctas. Por lo tanto, consigue mejores porcentajes que la segunda, en la que el número de aciertos en los ítems 4, 5 y 8 es inferior a un 20% y, además, ningún ítem supera el 50% de aciertos.

En la tabla 2 se realiza una comparativa entre la puntuación obtenida por quienes conformaron las muestras del primer y segundo Socrative.

Tabla 2
Porcentaje de aciertos agrupados por calificaciones en las pruebas Socrative
Aciertos Porcentaje de aciertos en el Socrative1 Porcentaje de aciertos en el Socrative2
[0,4) 22.7% 52.9%
[4,7) 36.4% 43.1%
[7,10] 40.9% 4%

La media de las respuestas correctas en el primer Socrative es de 5.98±2.02 y el 77.3% de estudiantes supera la nota mínima 4. En los resultados de la segunda se puede observar que la media de las respuestas correctas es de 5.76±2.28. El número de aciertos del 52.9% del alumnado ha sido menor o igual a 3 y ninguno ha obtenido una puntuación superior a 7.

En los gráficos de caja y bigotes de la figura 2 se puede apreciar que los resultados numéricos de la primera prueba parcial de evaluación son mejores para el grupo experimental, como corroboró la prueba . de Student. No se encontraron diferencias estadísticamente significativas en el caso de la segunda prueba parcial. Esto confirma que los estudiantes con mejores resultados académicos finales son los que participaron en las intervenciones Socrative. De hecho, quienes obtienen mejores resultados, pertenecen mayoritariamente a los grupos experimentales, siendo las notas más altas obtenidas en ambos grupos de control inferiores (o iguales) a 8.

Figura 2
Comparativa de los resultados en las pruebas parciales de evaluación de los grupos experimentales y de control

Comparativa de los resultados en las pruebas parciales de evaluación de los grupos experimentales y de control

Los resultados de la prueba . de Student para la comparación de medias indicaron que sí hubo diferencias significativas en la primera prueba (.=2.305, p=.012<.05), si bien en la segunda los datos están muy alejados de la significación (.=.357, p=.639>.05). Esto se corrobora con el estadístico d de Cohen, que evidencia un tamaño del efecto mediano en la primera prueba (.=.623) y una medida menor, con un tamaño del efecto ínfimo, en la segunda prueba (.=.097). Por tanto, quienes utilizaron Socrative (grupos experimentales) en la primera prueba parcial de evaluación sí obtuvieron resultados académicos significativamente mejores que quienes no lo utilizaron (grupos de control), no siendo así en la segunda parte del experimento.

En la tabla 3 se muestran los resultados del cuestionario adaptado de Wash (2014), valorados de 1 a 5, con las opiniones acerca del uso de Socrative en el aula, tras la finalización de la intervención, de 53 de los 66 estudiantes de la muestra.

Tabla 3
Valoraciones de estudiantes acerca del uso de Socrative en el aula
Ítems Media DT
1. Aumenta la participación en clase 4.39 .72
2. Ayuda a dar feedback inmediato sobre lo que los estudiantes saben 4.19 .79
3. Incrementa la motivación en clase 3.94 1.03
4. Se debería usar más a menudo en las aulas universitarias 4.00 1.1
5. Estimula el debate en clase 3.32 1.01
6. Facilita interacciones positivas en clase 4.00 .93
7. Aumenta el aprendizaje 4.13 .88

Las valoraciones de la tabla 3 demuestran que el alumnado sí percibió la utilidad de este software como una herramienta adecuada de enseñanza y aprendizaje, mencionando su potencial para motivarles en su desempeño durante las clases, así como para aumentar su percepción subjetiva de obtener un mayor aprendizaje. De hecho, no hay ningún ítem del cuestionario que presente una valoración media de 3 o inferior, estando la mayoría de las puntuaciones en torno al 4, y sobrepasando este valor en varios ítems.

A continuación, en la tabla 4, presentamos los resultados acerca de las percepciones de la profesora sobre el uso de Socrative obtenidas mediante la administración del cuestionario de Cheung et al. (2018), con 49 ítems valorados de 1 a 5. Solo se obtienen resultados por debajo de 4 en los constructos 8 y 9, referentes a la ayuda personal recibida del resto de profesores de su entorno, y a los recursos materiales y tecnológicos con que ha contado la profesora.

Tabla 4
Valoraciones de la profesora acerca del uso de Socrative
Constructos Media
1. Conocimientos tecnológicos (ítems de 1 a 7) 4.00
2. Conocimiento de los contenidos impartidos (ítems de 8 a 10) 4.67
3. Conocimientos pedagógicos (ítems de 11 a 17) 4.57
4. Conocimiento de los contenidos pedagógicos (ítems de 18 a 24) 4.43
5. Conocimiento técnico pedagógico del contenido (TPACK) (ítems de 25 a 29) 4.20
6. Expectativa de rendimiento obtenido (ítems de 30 a 33) 4.25
7. Expectativa de esfuerzo invertido (ítems de 34 a 37) 4.50
8. Influencia social del entorno académico (ítems de 38 a 41) 2.50
9. Recursos que facilitan el uso de TIC (Ítems de 42 a 45) 3.25
10. Intenciones a futuro (Ítems de 46 a 49) 5.00

Respecto a los resultados de la entrevista personal, la docente valoró positivamente la influencia de la intervención realizada con Socrative. En primer lugar, respecto al alumnado, consideró que su uso aumentó su motivación porque “el hecho de utilizar los dispositivos móviles les resulta un método de evaluación más estimulante”. La inmediatez de las respuestas y del feedback recibido hace que “olviden que se trata de una prueba de evaluación y se sientan más relajados” y, por tanto, aprendan más. Además, la profesora percibió que Socrative aumentó la participación en clase y mejoró el clima del aula, logrando una intervención más continuada del alumnado al exponer sus dudas, gracias a una relación más estrecha profesora-estudiantes.

La docente también apreció un aumento en su propia implicación personal para lograr aproximarse a los intereses de sus estudiantes, así como para recabar sus opiniones sobre la adecuación de las pruebas a los contenidos de la asignatura. Esta actitud le llevó a autoevaluar su actuación y plantearse cambios como “hacer preguntas de respuesta inmediata, y no problemas cuya resolución necesite excesivos cálculos” dado que eso podría ralentizar el dinamismo que deben tener este tipo de actividades. Constató que creía más útil el uso de Socrative para la compresión de la teoría o para ejercicios de respuesta inmediata. Además, este tipo de herramientas ayuda a “reflexionar y hacer un aprendizaje más profundo de la asignatura a nivel teórico”, lo que podría derivar en una mejor aplicación a la resolución de problemas.

Por último, en cuanto al uso de herramientas SRP, la docente consideró que resultan sencillas de utilizar, tanto para docentes como para estudiantes, y que las seguirá utilizando también en otras áreas de su docencia, puesto que ha comprobado que incluso en asignaturas con contenidos complejos y una fuerte carga teórica, como Estadística, se pueden utilizar adecuadamente herramientas TIC para mejorar los resultados.

DISCUSIÓN

La incorporación de nuevas metodologías basadas en la innovación tecnológico-pedagógica se ha convertido en un aliciente para el alumnado universitario. Son varios los estudios que apoyan la existencia de una correlación significativa entre el uso de herramientas TIC en el aula y la mejora de la actitud de los estudiantes ante los procesos de enseñanza-aprendizaje (Stowell, 2015), y son numerosas las investigaciones que muestran los beneficios del uso de Socrative en el aula (Abdulla, 2018; Balta et al., 2018; Balta y Tzafilkou, 2019; McKenzie y Ziemann, 2020; Roman et al., 2021, entre otros).

Siguiendo las sugerencias de distintos autores (Álvarez et al., 2011; Balta et al., 2018; Dervan, 2014), se consideró necesario utilizar cuestionarios de evaluación de la herramienta Socrative, para valorar con mayor exactitud, y utilizando datos objetivos, su nivel de aceptación e influencia tanto en el alumnado como en el profesorado. En el caso de la profesora, se consideró adecuado utilizar una metodología mixta y, además de rellenar el cuestionario de Cheung et al. (2018), realizó una entrevista semiestructurada, uno de los procedimientos más utilizados en estudios de carácter cualitativo ya que es posible que el contenido o el orden de los constructos de un cuestionario induzca ciertas respuestas, mientras que en una entrevista se pueden expresar más libre y detalladamente opiniones, actitudes y explicaciones (Hernández et al., 2006).

Utilizando dichas herramientas, el presente artículo coincide con gran parte de las conclusiones de las investigaciones expuestas, como se demuestra en la tabla 3. Asimismo, la docente ha valorado positivamente la influencia de la intervención realizada en la motivación, la participación y el aprendizaje, en su propia implicación personal para lograr aproximarse a los intereses de sus estudiantes, o en el clima de la clase (entrevista personal), así como su aplicabilidad en evaluaciones futuras, y el uso de otras metodologías similares en esta y/u otras asignaturas (Tabla 4), como también exponen en los resultados de sus estudios Balta et al. (2018) o Frías et al. (2016).

Los estudiantes no mencionaron en nuestro estudio ninguna desventaja en el desarrollo de este tipo de actividades con SRP, al igual que sucede en estudios anteriores (Balta et al., 2018). Esto, unido a las respuestas dadas al cuestionario utilizado, muestra que la ayuda proporcionada por Socrative tuvo un impacto positivo en su capacidad para comprender los temas y, como consecuencia, influyó efectivamente en su desempeño en las pruebas finales de evaluación, como se puede observar atendiendo a los resultados académicos mostrados en la figura 2. De hecho, la totalidad de estudiantes con sobresaliente como nota final de la asignatura, además de quienes optaron a matrícula de honor, se encuentran dentro de los grupos experimentales de nuestro estudio.

Investigaciones anteriores (Abdulla, 2018; Awedh et al., 2014; Dervan, 2014) concluyen la existencia de diferencias significativas entre los grupos que utilizaron Socrative y los grupos de control, confirmando el aumento del rendimiento académico del alumnado. No nos gustaría quedarnos en una definición simplista del rendimiento académico y, por tanto, entendemos que no solo es el resultado numérico final sino todo el conjunto de experiencias que rodean el proceso de enseñanza-aprendizaje. En este sentido, nuestro estudio coincide con la mayoría de los consultados que afirman un aumento de este parámetro. Si tomamos el rendimiento académico exclusivamente como la nota final obtenida, las conclusiones de este artículo no son concluyentes, ya que las diferencias entre grupos de control y experimentales son significativas respecto a la primera prueba Socrative pero no respecto a la segunda, si bien son también positivas. Una posible explicación es el hecho de que el temario de la primera parte es más asequible según la profesora, dado que la mayoría de los estudiantes han aprendido gran parte de estos conceptos en bachillerato; la segunda parte está formada por contenidos nuevos con mayor grado de dificultad. Para intentar paliar este tipo de problemas se propone realizar preguntas de respuesta rápida y sin excesivos cálculos para no perder el interés durante su realización; acortar los enunciados de las preguntas propuestas (sobre todo en los ítems del segundo Socrative ya que, como se puede observar en la tabla 1, ninguno supera el 50% de aciertos); eliminar o replantear preguntas con un porcentaje de aciertos inferior al 20%, como los ítems 4, 5 y 8, también de la segunda prueba Socrative (Tabla 1); y ofrecer a los participantes un mayor porcentaje de la nota o una pequeña bonificación “extra”.

Por otro lado, también es necesario señalar que varias investigaciones han demostrado que el uso de Socrative influye de manera positiva en las relaciones entre profesorado y alumnado, y entre estudiantes, cambiando así la naturaleza de las interacciones comunicativas en el aula, lo que optimiza considerablemente la colaboración, el aprendizaje y la participación, además de mejorar la dinámica de la clase (Perera-Rodríguez y Hervás-Gómez, 2019; Pryke, 2020; Stowell, 2015). Nuestra investigación concluye que Socrative sí mejora el proceso de enseñanza-aprendizaje y la relación docente-estudiante, si bien el alcance de estas conclusiones sería más generalizable con la inclusión de un mayor número de estudiantes en el estudio. Sin embargo, el tamaño de la muestra lo ha marcado el número de alumnos matriculados en el grupo de la asignatura de Estadística del grado de Biología objeto de estudio. De hecho, otros autores como Abdulla (2018), Awedh et al. (2014), Balta et al. (2018) y Balta y Tzafilkou (2019), realizaron su investigación con 65, 38, 85 y 50 universitarios respectivamente, por ser el número de alumnos a los que tenían acceso, que decidieron voluntariamente su participación, como también ocurre en nuestro caso.

A raíz de nuestro estudio, surgen dos cuestiones clave a las que urge dar respuesta a través de futuras investigaciones. Por un lado, cabe preguntarse si quienes han obtenido resultados positivos habiéndose presentado a las pruebas Socrative, los habrían conseguido igualmente preparándose la asignatura por su cuenta. El uso de este tipo de herramientas sí mejora todos los aspectos mencionados anteriormente, pero nuestro estudio no puede comprobar con exactitud la influencia de todas las variables que pueden afectar a la intervención planteada. La principal limitación es que quienes han participado lo han hecho voluntariamente, por lo que cabe pensar que son quienes de antemano ya tenían una actitud más positiva hacia la asignatura. Sin embargo, si bien un muestreo aleatorio de los grupos experimentales y de control sería más apropiado a nivel metodológico, a nivel docente no parece adecuado no permitir a todo el grupo utilizar una herramienta que, a priori, entendemos va a mejorar sus resultados académicos. De hecho, en la investigación de Balta et al. (2018), en la que participaron 85 estudiantes universitarios matriculados en la asignatura de física, los autores consideraron como apropiado el mismo procedimiento: 37 alumnos decidieron participar en las actividades Socrative formando el grupo experimental, mientras que los 48 restantes fueron el grupo de control ya que no las realizaron y prepararon los exámenes por su cuenta.

Por otro lado, la segunda cuestión tiene que ver con el análisis de la naturaleza de la mejora de los resultados que efectivamente se produce mediante el uso de Socrative. Se trata de una prueba evaluativa, no de un recurso metodológico de enseñanza-aprendizaje. Por tanto, se debería sopesar si la mejora se debe al hecho de ser una aplicación informática y, por tanto, ajustarse a la era digital a la que nuestra juventud está acostumbrada o si, por el contrario, se produce en realidad por otras razones, tales como motivarles a estudiar de manera más continuada para las pruebas Socrative, los contenidos más importantes que luego aparecerán también en las pruebas parciales, y, por tanto, también pruebas de evaluación no digitales producirían efectos similares.

CONCLUSIONES

Por todo ello, de los resultados y la discusión del presente estudio podemos concluir que el uso de herramientas de evaluación SRP, y en concreto de Socrative, aumenta la motivación y participación del alumnado, y mejora la relación docente/estudiante y la dinámica de la clase. Además, hace más efectiva la enseñanza del profesorado, logrando una intervención más activa por su parte, y el aprendizaje del alumnado, creando una experiencia más personalizada y atractiva que aumenta la percepción subjetiva de un mayor aprendizaje. Todo ello nos lleva a aceptar la segunda hipótesis planteada en esta investigación (H2).

En cuanto a la mejora del rendimiento académico, ésta se ha demostrado significativa para el grupo experimental del primer Socrative pero no para el del segundo, por lo que la primera hipótesis de este estudio (H 1) solo se acepta en una parte de la intervención. Los resultados de este estudio no son, por tanto, concluyentes, lo que hace necesaria la obtención de una mayor evidencia que delimite con exactitud el alcance de los efectos beneficiosos de las herramientas SRP, y más en concreto de Socrative, para tener conclusiones más sólidas que confirmen la tendencia positiva que se aprecia en estudios realizados en aulas universitarias de todo el mundo.

REFERENCIAS

Abdulla, M. H. (2018). The use of an online student response system to support learning of Physiology during lectures to medical students. Education and Information Technologies, 23(6), 2931-2946. https://doi.org/10.1007/s10639-018-9752-0

Aljaloud, A., Gromik, N., Billingsley, W., y Kwan, P. (2015). Research trends in student response systems: a literature review. International Journal of Learning Technology, 10(4), 313-325. https://doi.org/10.1504/IJLT.2015.074073

Álvarez, S., Cuéllar, C., López, B., Adrada, C., Anguiano, R., Bueno, A., Comas, I., y Gómez, S. (2011). Actitudes de los profesores ante la información de las TIC en la práctica docente. Estudio de un grupo de la Universidad de Valladolid. Edutec, 35. https://doi.org/10.21556/edutec.2011.35.416

Artal, J., Casanova, O., Serrano, R., y Romero, E. (2017). Dispositivos móviles y flipped-classroom. Una experiencia multidisciplinar de formación del profesorado. Edutec, 59. https://doi.org/10.21556/edutec.2017.59.817

Awedh, M., Mueen, A., Zafar, B., y Manzoor, U. (2014). Using Socrative and smartphones for the support of collaborative learning. International Journal on Integrating Technology in Education, 3(4), 17-24. https://doi.org/10.5121/ijite.2014.3402

Balta, N., Perera-Rodríguez, V. H., y Hervás-Gómez, C. (2018). Using Socrative as an online homework platform to increase students’ exam scores. Education and Information Technologies, 23(12), 837-850. https://doi.org/10.1007/s10639-017-9638-6

Balta, N., y Tzafilkou, K. (2019). Using Socrative software for instant formative feedback in physics courses. Education and Information Technologies, 24(1), 307-323. https://doi.org/10.1007/s10639-018-9773-8

Chaiyo, Y., y Nokham, R. (2017). The effect of Kahoot, Quizizz and Google Forms on the student’s perception in the classrooms response system. International Conference on Digital Arts, Media and Technology. https://doi.org/10.1109/ICDAMT.2017.7904957

Cheung, G., Wan, K., y Chan, K. (2018). Efficient Use of Clickers: A Mixed-Method Inquiry with University Teachers. Education Sciences, 8(1), 31. https://doi.org/10.3390/educsci8010031

Crompton, H., y Burke, D. (2018). The use of mobile learning in higher education: A systematic review. Computers and Education, 123, 53-64. https://doi.org/10.1016/j.compedu.2018.04.007

Del Arco, I., Flores, O., y Silva, P. (2019). El desarrollo del modelo flipped classroom en la universidad: impacto de su implementación desde la voz del estudiantado. Revista de Investigación Educativa, 37(2), 451-469. https://doi.org/10.6018/rie.37.2.327831

Dervan, P. (2014). Enhancing in-class student engagement using socrative (an online student response system): a report. All Ireland Journal of Teaching & Learning in Higher Education, 6(3), 1801-1813. https://ojs.aishe.org/index.php/aishe-j/article/download/180/283/973

Frías, M. V., Arce, C., y Flores-Morales, P. (2016). Uso de la plataforma socrative.com para alumnos de Química General. Educación Química, 27(1), 59–66. https://doi.org/10.1016/j.eq.2015.09.003

Hernández, F. (2002). Docencia e investigación en educación superior. Revista de Investigación Educativa, 20(2), 270-301. https://revistas.um.es/rie/article/view/98921/94521

Hernández, R., Fernández-Collado, C., y Baptista, P. (2006). Metodología de la investigación. McGraw-Hill.

Hew, K. F., Huang, B., Chu, K. W. S., y Chiu, D. K. W. (2016). Engaging Asian students through game mechanics: findings from two experiment studies. Computers & Education, 92, 221-236. https://doi.org/10.1016/j.compedu.2015.10.010

Ma, H., y Li, J. (2021). An Innovative Method for Digital Media Education Based on Mobile Internet Technology. International Journal of Emerging Technologies in Learning, 16(13), 68-81. https://doi.org/10.3991/ijet.v16i13.24037

McKenzie, M., y Ziemann, M. (2020). Assessment of the web-based audience response system socrative for biomedical science revision classes. International Journal of Educational Research Open, 1, 100008. https://doi.org/10.1016/j.ijedro.2020.100008

Mendoza, J. S., Pody, B. C., Lee, S., Kim, M., y McDonough, I. M. (2018). The effect of cellphones on attention and learning: The influences of time, distraction, and nomophobia. Computers in Human Behavior, 86, 52-60. https://doi.org/10.1016/j.chb.2018.04.027

Monteagudo, J., Gómez, C. J., y Miralles, P. (2017). Evaluación del diseño e implementación de la metodología flipped-classroom en la formación del profesorado de ciencias sociales. Revista de Educación a Distancia, 55. https://doi.org/10.6018/red/55/7

Muñiz, J., Elosua, P., y Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), 151-157. https://doi.org/10.7334/psicothema2013.24

Observatorio de Innovación Educativa (2017). Radar de Innovación Educativa 2017. México: Tecnológico de Monterrey - Universidad de Monterrey. https://observatorio.tec.mx/radar-de-innovacin-educativa-2017

Perera-Rodríguez, V. H., y Hervás-Gómez, C. (2019). Percepción de estudiantes universitarios sobre el uso de Socrative en experiencias de aprendizaje con tecnología móvil. REDIE. Revista Electrónica de Investigación Educativa, 21, e05, 1-10. https://doi.org/10.24320/redie.2019.21.e05.1850

Pryke, S. (2020). The use of Socrative in university social science teaching. Learning and Teaching, 13(1), 67-86. https://doi.org/10.3167/latiss.2020.130105

Roman, C., Delgado, M. A., y García-Morales, M. (2021). Socrative, a powerful digital tool for enriching the teaching–learning process and promoting interactive learning in Chemistry and Chemical Engineering studies. Computer Applications in Engireering Education, 29. https://doi.org/10.1002/cae.22408

Romero, A., Hidalgo, M. D., González, F., Carrillo, E., Pedraja, M., García, J., y Pérez, M. (2013). Enfoques de aprendizaje en estudiantes universitarios: comparación de resultados con los cuestionarios ASSIST y R-SPQ-2F. Revista de Investigación Educativa, 31(2), 375-391. https://doi.org/10.6018/rie.31.2.151851

Salcines-Talledo, I., y González-Fernández, N. (2020). Aplicaciones Educativas en Educación Superior. Estudio sobre su uso en estudiantes y Profesorado. ENSAYOS, Revista de la Facultad de Educación de Albacete, 35(1), 15-30. https://doi.org/10.18239/ensayos.v35i1.1929

Serrano, R. M., y Casanova, O. (2018). Recursos tecnológicos y educativos destinados al enfoque pedagógico Flipped Learning. REDU. Revista de Docencia Universitaria, 16(1), 155-173. https://doi.org/10.4995/redu.2018.8921

Stowell, J. R. (2015). Use of clickers versus mobile devices for classroom polling. Computers & Education, 82, 329-334. https://doi.org/10.1016/j.compedu.2014.12.008

Sumuer, E. (2021). The effect of mobile phone usage policy on college students’ learning. Journal of Computing in Higher Education, 33, 281-295. https://doi.org/10.1007/s12528-020-09265-9

Troncoso, C., y Daniele, E. (2003). Las entrevistas semiestructuradas como instrumentos de recolección de datos una aplicación en el campo de las Ciencias Naturales. Anuario Digital de Investigación Educativa, 14, 543-555. http://revistas.bibdigital.uccor.edu.ar/index.php/adiv/article/view/3313/2026

Wash, P. D. (2014). Taking advantage of mobile devices: using Socrative in the classroom. Journal of Teaching and Learning with Technology, 3(1), 99-101. https://doi.org/10.14434/jotlt.v3n1.5016

Wood, E., Mirza, A., y Shaw, L. (2018). Using technology to promote classroom instruction: Assessing incidences of on-task and off-task multitasking and learning. Journal of Computing in Higher Education, 30(3), 553-571. https://doi.org/10.1007/s12528-018-9185-1

Notas de autor

1 Carmen Juan Llamas. Doctora en Ciencias de la Salud por la Universidad de Alcalá. Ha dirigido dos proyectos de Innovación Educativa, uno en 19/20 titulado “Diseño e implementación de la metodología Flipped Classroom en la asignatura de Estadística aplicada a la Biología. Uso de dispositivos móviles para la evaluación del alumnado” y otro en 20/21 titulado “Flipped Classroom Just in Time Teaching (FC/JiTT) en la asignatura de Biomatemáticas. Uso de herramientas tecnológicas para la evaluación del alumnado”; además de participar en otro en 18/19 titulado “Escenarios Multimedia en Formación de Futuros Profesores Universitarios de Matemáticas (ESCEMMAT-Univ)”. Sus líneas de investigación giran entorno al carácter interdisciplinar de las asignaturas y al diseño e implementación de software para centros deportivos.
E-mail: carmen.juan@ucm.es
2 Alejandro de la Viuda Serrano. Doctor en Ciencias de la Actividad Física y del Deporte por la Universidad Politécnica de Madrid. Ha participado en numerosos proyectos de investigación e innovación educativa en los últimos 10 años, en dos de ellos como IP. Es miembro del grupo de investigación de la UAH “InTED Innovación y Tecnología Educativa para el Desarrollo Humano” y de la Cátedra de Investigación en género “Isabel Muñoz Caravaca” de la UAH. Fue editor de la revista AGON International Journal of Sport Sciences (2011-2017) y editor asociado de la Journal of Sport and Health Research (2011-2016). Forma parte de comités científicos de varias revistas del área de la Educación y la Historia. Sus intereses de investigación giran en torno al uso de las tecnologías y el juego en innovación educativa, la mujer en la sociedad y los aspectos socio-históricos del deporte.
E-mail: alejandro.viuda@uah.es