INTRODUCCIÓN

El desarrollo de competencias digitales en el alumnado es una prioridad en la educación actual. La capacidad para utilizar eficazmente las tecnologías, y el acceso a la información, es esencial para el éxito académico y profesional, en un mundo cada vez más digitalizado (UNESCO, 2016). Para abordar este desafío el profesorado desempeña un papel fundamental ya que ha de utilizar estrategias pedagógicas efectivas que promuevan el desarrollo de la competencia digital, tal como informa la Decisión (UE) 2022/2481 del Parlamento Europeo y del Consejo, por la que se establece el programa estratégico de la Década Digital para 2030 (European Union, 2021).

En esta línea, se están publicando diferentes actuaciones estratégicas con el propósito de favorecer el desarrollo y adquisición de competencias tecnológicas, no solo en estudiantes, sino, específicamente, destinados al progreso profesional docente. Tal es el caso del Marco Europeo de Competencia Digital Docente «DigCompEdu» (Punie y Redecker, 2017) o las orientaciones del Parlamento Europeo (2016) al respecto de la formación permanente. Será el Marco de Referencia de Competencia Digital Docente Actualizado, que promueve el Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF, 2022), fundamentado en el Plan de Acción de Educación Digital (2021-2027) de la Comisión Europea (2021), donde se proporcione una guía completa para que los docentes mejoren su competencia digital y la promuevan en el alumnado. En consecuencia, el instrumento PISA 2018 (OCDE, 2017, 2019), reconocido por su exhaustividad, evalúa una serie de competencias digitales, desde el uso de motores de búsqueda hasta la detección de información sesgada. Su alta fiabilidad subraya su validez y utilidad. Los resultados de PISA 2018 en Competencia Lectora revelan que una de las variables con mayor peso a la hora de explicar resultados altos o bajos es la variable del uso de estrategias metacognitivas (Vázquez-López y Huerta-Manzanilla, 2021).

En este sentido, el uso de estrategias metacognitivas se reconoce como una poderosa herramienta para alcanzar esos objetivos de aprendizaje. Las estrategias metacognitivas, tal y como las describen Zimmerman y Moylan (2009), implican procesos superiores de supervisión, regulación y reflexión sobre el propio pensamiento. Quienes emplean estrategias metacognitivas son conscientes de sus procesos cognitivos, reconocen sus fortalezas y debilidades, siendo capaces de supervisar y regular eficazmente su aprendizaje, lo que incluye planificación, seguimiento y evaluación de su rendimiento (Huff y Nietfeld, 2009; Muijs y Bokhove, 2020).

Asimismo, la metacognición se identifica como un factor crítico en el desarrollo profesional docente, con impacto significativo en la eficacia de la enseñanza y los resultados de aprendizaje del alumnado (Stephanou y Mpiontini, 2017). Los profesores que utilizan estrategias metacognitivas reflexionan sobre sus prácticas de instrucción, evalúan su eficacia y se adaptan, para responder a las necesidades de sus estudiantes. Estas estrategias promueven la conciencia y el control de los procesos cognitivos durante las clases (Bannert et al., 2009), lo cual influye en la adquisición y el procesamiento de información.

El uso de estrategias metacognitivas por parte de los docentes influye positivamente, también, en la motivación y el compromiso de los estudiantes (Efklides, 2011; Zimmerman y Moylan, 2009). Las investigaciones indican que quienes promueven los procesos metacognitivos y fomentan la autorregulación, contribuyen a mejorar estos factores y el rendimiento académico (Kaczkó y Ostendorf, 2023). Igualmente, desempeñan un papel clave en el desarrollo de habilidades de pensamiento crítico, permitiéndoles evaluar la información y construir argumentos fundamentados. En un intento de medir estas competencias, se observa cómo el instrumento Metadig (Ortega-Ruipérez y Castellanos, 2021) ofrece una solución digital innovadora para fomentar la autorregulación del aprendizaje. Identifica claramente estrategias metacognitivas de planificación, seguimiento y autoevaluación, y capacita a los participantes para gestionar y mejorar su propio proceso de aprendizaje durante el máster (Ortega-Ruipérez y Castellanos, 2023).

En el entorno educativo actual, comprender la importancia de las estrategias metacognitivas para promover la competencia digital es esencial. Los docentes emplean estas estrategias para guiar al estudiantado en la adquisición de competencias tecnológicas, el análisis de la información y la resolución de problemas (Dignath y Büttner, 2018). Al tiempo que promueven el aprendizaje autorregulado, las estrategias metacognitivas capacitan para gestionar eficazmente el aprendizaje, establecer objetivos, supervisar el progreso y realizar los ajustes necesarios ( Núñez et al., 2022; Wigfield y Cambria, 2010), mejorando así los resultados y las competencias de aprendizaje (Panadero, 2017).

La autorregulación y el desarrollo de la competencia digital son aspectos clave que se ven fortalecidos por el uso de estrategias metacognitivas (Coll et al., 2023; Sonnenberg y Bannert, 2019). La alfabetización mediática y el tratamiento de la información son componentes básicos de la competencia digital. El profesorado puede utilizar estrategias metacognitivas para enseñar a evaluar críticamente los mensajes mediáticos, comprender cómo se recopilan y utilizan los datos, protegiendo su privacidad en línea (Zheng et al., 2016). Igualmente, las estrategias metacognitivas promueven la comunicación efectiva, la colaboración y la conciencia ciudadana digital (Villaplana et al., 2022; Suárez y González, 2021), fomentado la creatividad y habilidades de pensamiento crítico (Zimmerman, 2008).

Los formadores, al promover autonomía y autorreflexión, actúan como facilitadores en el desarrollo de habilidades metacognitivas (Dobber et al., 2017; Wall y Hall, 2016), por ello, requieren instrucción avanzada en estas competencias. La investigación demuestra una conexión entre la metacognición y la mejora de los resultados académicos, lo que justifica su inclusión en la formación inicial del profesorado (Duffy et al., 2009; Perry et al., 2019). La integración de estos recursos es clave para mejorar el proceso de aprendizaje en docentes, pese a resultar complicado, en ocasiones, por ejemplo, compartir experiencias de enseñanza ( Dignath y Büttner, 2018; Halamish, 2018).

Ante un escenario social y educativo cambiante, es fundamental formarse en materia de alfabetización digital informacional (De Bruyckere et al., 2016; Pérez-Escoda, 2017; Monereo, 2011). Promover esta formación, implica dotar de habilidades de autorregulación para la búsqueda, selección y evaluación de información relevante, favoreciendo, al mismo tiempo, el pensamiento crítico y la concienciación sobre los riesgos en línea (García-Llorente et al., 2020; McDougall et al., 2019). El profesorado, una vez más, ocupa un lugar relevante, ya que necesita estrategias pedagógicas eficaces para enseñar a utilizar Internet de forma adecuada (De Bruyckere et al., 2016). La integración de estrategias metacognitivas en la formación del profesorado está respaldada, por tanto, ya que contribuye al desarrollo de la alfabetización mediática ( Arjaya et al., 2023; Salcedo et al., 2022).

Aun reconociendo la importancia de las estrategias metacognitivas y de la alfabetización informática, son escasas las investigaciones que exploran su interrelación. Es fundamental comprender si los profesores expertos en el uso de estrategias metacognitivas pueden guiar al alumnado en la evaluación crítica de la información en línea y fomentar la autorreflexión sobre el uso de Internet.

MATERIALES Y MÉTODO

El presente estudio tiene un doble propósito. El principal objetivo es proporcionar pruebas acerca de la fiabilidad del instrumento, con el fin de determinar si los ítems seleccionados de PISA son efectivos para evaluar la implementación de buenas prácticas pedagógicas relacionadas con el uso de Internet, para promover la alfabetización digital.

En segundo lugar, se pretende comprobar si el empleo de una herramienta digital (Metadig) para facilitar el uso de estrategias metacognitivas, mejora la capacidad de enseñanza de la alfabetización mediática e informacional en profesores en formación online. Esta capacidad forma parte del área 6. Desarrollo de la competencia digital del alumnado, del marco de la Competencia Digital Docente, propuesto por el Instituto Nacional de Tecnologías Educativas y Formación del Profesorado (INTEF, 2022). Para llevar a cabo esta investigación, se opta por emplear un diseño cuasiexperimental debido a la posibilidad que se brindó a los participantes de decidir de manera voluntaria si deseaban utilizar la herramienta en cuestión o no. Dadas estas circunstancias, resultó impracticable asignarlos aleatoriamente a los grupos de investigación.

Con el fin de ejercer un mayor control sobre la variable independiente, se establecieron tanto un grupo experimental como un grupo control. Se logra, así, realizar una comparación de las mejoras obtenidas en ambos grupos, con el propósito de determinar la presencia de diferencias significativas y validar si dichas mejoras pueden ser atribuidas al uso de la herramienta en estudio.

Con el objetivo de asegurar un control más riguroso sobre la variable independiente, se implementó un diseño de tipo pre-post, en el cual se recolectaron datos de las variables dependientes tanto antes como después de la intervención. De esta forma, se busca examinar la significatividad de las mejoras observadas como consecuencia del uso de la herramienta, en comparación con el nivel inicial de aplicación de las estrategias metacognitivas.

Participantes

La población objeto de estudio abarca a todos los estudiantes matriculados en el programa de Máster en Tecnología Educativa para docentes, los cuales suman un total de 650 individuos. La muestra seleccionada para llevar a cabo la investigación está compuesta por 252 estudiantes, lo que representa el 38.7 % de la población total. Esta proporción se considera adecuada para realizar inferencias y generalizar los resultados obtenidos. El método de muestreo utilizado en este estudio es no probabilístico, ya que los estudiantes tienen la opción de participar voluntariamente en la investigación. En consecuencia, se trata de una muestra de conveniencia.

Al respecto de la distribución, se observa que el 42 % de ellos (105 participantes) utilizó la aplicación de manera regular, mientras que el restante 58 % (147 participantes) apenas durante los primeros días. Estas cifras han permitido la formación de dos grupos de estudio: el primero compuesto por aquellos que utilizaron la aplicación de forma regular (grupo experimental), y el segundo conformado por aquellos que no la utilizaron de manera frecuente (grupo control).

Instrumentos y Materiales

Se llevó a cabo una intervención mediante un curso de formación de cuatro horas enfocado en el empleo y la enseñanza del aprendizaje autorregulado. A los participantes se les ofreció la opción voluntaria de utilizar la herramienta digital Metadig (Ortega-Ruipérez y Castellamos, 2021) con el fin de autorregular su propio proceso de aprendizaje en el programa de máster. Esta herramienta fue diseñada de manera que distinga claramente los tres tipos de estrategias metacognitivas: planificación, supervisión y autoevaluación. Metadig ha progresado a través de iteraciones basadas en las necesidades de los alumnos, la usabilidad y la validación de expertos, demostrando su eficacia en la mejora de la comprensión, la planificación y el pensamiento crítico (Ortega-Ruipérez y Castellanos, 2023). Durante la primera semana, se les solicitó a los participantes que planificaran sus objetivos y determinaran el enfoque que seguirían para lograrlos. A lo largo de las siguientes 15 semanas, correspondientes a la duración del cuatrimestre, la aplicación les permitió gestionar y supervisar su progreso semanal. Para la última semana, la aplicación incluyó una función de autoevaluación que les permitió revisar cuáles eran los objetivos que presentaban mayores dificultades, con el fin de poder dedicar más tiempo a su revisión.

En este caso, se cuenta con la prueba PISA 2018 (OCDE, 2017). Se trata de un cuestionario dividido en 7 preguntas, cada una de las cuales conforma una dimensión en sí misma. Así, se aborda el uso de palabras clave en motores en búsqueda (ítem 1), la confianza en la información de Internet (ítem 2), así como la relevancia del contenido en Internet para el trabajo escolar (ítem 3). Las cuatro últimas dimensiones las conforman la comprensión de las consecuencias de hacer pública información online (ítem 4), el uso de breves descriptores debajo de los enlaces en los resultados de una búsqueda (ítem 5), la detección de información subjetiva o sesgada (ítem 6) y, finalmente, la detección de correos electrónicos de phishing o spam (ítem 7). El análisis de fiabilidad de la prueba con nuestra muestra arrojó un alfa de Cronbach de 0,936.

Procedimiento y análisis de datos

Durante el segundo cuatrimestre del máster se llevó a cabo una intervención donde se estableció contacto con los estudiantes una semana antes de su inicio. A través de diversos medios, como correos electrónicos, notificaciones en el aula virtual y llamadas telefónicas por parte de tutores, se les informó sobre la posibilidad de recibir formación para mejorar sus hábitos de estudio en el máster.

La formación se dividió en dos partes. La primera parte consistió en una sesión de dos horas realizada durante la primera semana del cuatrimestre. En ella se explicó el concepto de aprendizaje autorregulado y la importancia de utilizar estrategias para autorregular el proceso de aprendizaje. Se puso énfasis en las estrategias metacognitivas y se mostró cómo podrían aplicarlas si decidían utilizar la herramienta Metadig. El uso de esta herramienta se presentó como opcional y se enmarcó en el proyecto de investigación. De esta manera, fueron divididos en el grupo experimental o en el grupo control, según si optaban por utilizar o no la herramienta. Para participar en el estudio, se les informó sobre la necesidad de completar un cuestionario que incluía los ítems de la prueba Programa para la Evaluación Internacional de los Estudiantes (PISA) de 2018 (OCDE, 2017), así como otras escalas que formaban parte del proyecto de investigación. Quienes no pudieron asistir a la sesión en vivo tuvieron la opción de verla posteriormente durante una semana. El cuestionario también estuvo disponible durante una semana para recoger las respuestas del pretest.

A lo largo de las siguientes 15 semanas, coincidiendo con la duración del cuatrimestre, los estudiantes utilizaron la herramienta de forma autónoma, organizando su proceso de aprendizaje según consideraron oportuno. Se les recordó el uso de la herramienta en dos ocasiones durante el cuatrimestre, específicamente en las semanas cinco y diez. Antes de los exámenes, se les recordó cómo podían utilizar la función de autoevaluación de la herramienta para mejorar su estudio.

Al finalizar el cuatrimestre, se llevó a cabo la segunda sesión de formación, también con una duración de dos horas. En esta ocasión, se abordó cómo podrían enseñar estrategias de autorregulación del aprendizaje a sus propios estudiantes. La primera media hora de la sesión se reflexionó en conjunto sobre cómo Metadig les había ayudado y si consideraban que dichas estrategias podrían resultar útiles para sus alumnos. La sesión finalizó agradeciendo su participación y solicitando nuevamente que completaran el cuestionario, a fin de obtener las respuestas del postest. Igualmente, aquellos que no pudieron asistir en directo pudieron verla posteriormente y responder el cuestionario durante la siguiente semana.

Para abordar el primer objetivo, se emplea un enfoque denominado Modelado de Ecuaciones Estructurales (SEM). Esta técnica de análisis multivariante permite contrastar modelos que proponen relaciones causales entre variables (Ruiz et al., 2010). A diferencia de los modelos de regresión, SEM es más flexible y se centra en la confirmación de hipótesis en lugar de exploración (Escobedo et al., 2016). Se prefiere SEM al Análisis Factorial Confirmatorio (AFC) porque amplía la posibilidad de relacionar variables latentes y abarca un modelo de medida y un modelo estructural (Schreiber, 2021). El propósito del SEM es validar una teoría que describe las relaciones entre variables utilizando datos empíricos para confirmar un modelo teórico basado en información real.

En esta etapa inicial, se examinan diversos estadísticos para evaluar la adecuación de los modelos. Por un lado, se utilizan los índices de ajuste denominados Comparative Fit Index (CFI) y Tucker-Lewis Index (TLI), los cuales son mejorados en comparación con el Índice de Ajuste Normalizado (NFI) y son menos sensibles a la complejidad de los modelos. Ambos índices deben ser mayores a 0.9 para considerar que el modelo tiene un buen ajuste. Por otro lado, se emplea el cociente entre el chi-cuadrado y los grados de libertad (X²/df) como índice, el cual debe ser menor a 0.5. También se utilizan dos índices que analizan los residuos: Root Mean Square Error of Approximation (RMSEA), que indica cómo el modelo se ajusta a la población de referencia, siendo valores más bajos indicativos de un mejor ajuste, y se considera aceptable si el valor se sitúa entre 0.05 y 0.08. Además, Standardized version of the Root Mean Square Residual (SRMR) resume las diferencias entre las matrices de varianzas-covarianzas observadas y las estimadas, y si los residuos estandarizados medios superan 0.1, indican un problema de ajuste. Una vez seleccionado el modelo que mejor se ajusta a los datos, se incorpora información sobre las cargas de los ítems en los factores y la confiabilidad se evalúa mediante diferentes estadísticos. Todos estos datos se interpretan en conjunto.

Asimismo, se verificó la fiabilidad de la prueba utilizando la muestra del estudio mediante el análisis del coeficiente alfa de Cronbach, tanto para la totalidad de los ítems como para los de cada dimensión. De esta forma, se pudo confirmar que el instrumento de medida utilizado era adecuado para evaluar la alfabetización mediática en el contexto de esta muestra (α=0.936). En segundo lugar, se crearon dos variables para cada dimensión, una basada en los ítems del pretest y otra basada en los ítems del postest, calculando el valor de los ítems que corresponden con cada dimensión de estudio.

Finalmente, se evaluó si la distribución de la muestra era normal para cada dimensión. En los casos en que la dimensión seguía una distribución normal, se aplicó un Modelo Lineal Generalizado con distribución gaussiana. En los casos en que la distribución no era normal, también se utilizó un Modelo Lineal Generalizado, pero ajustándola a una distribución Gamma para aquellas variables que no presentaban simetría. En ambos casos, se analizó el impacto de pertenecer a uno u otro grupo, es decir, si los participantes habían utilizado la herramienta Metadig para emplear estrategias metacognitivas de autorregulación, considerando esta variable como factor en la prueba. Se midió dicho impacto, según el grupo, en cada dimensión de estudio, tomando la variable del postest de cada dimensión como variable dependiente, con el objetivo de evaluar su impacto después de la intervención. Por último, para evaluar el impacto real, libre del efecto del pretest, se incluyó la variable del pretest de la dimensión como covariable.

RESULTADOS

Objetivo 1. Calidad del instrumento

En primera instancia, se examinan los índices de ajuste de los modelos (Tabla 1) con el fin de identificar cuál muestra los resultados más favorables. Al analizar el modelo, se observa que el cociente chi-cuadrado dividido entre los grados de libertad (χ2/df), CFI, TLI, SRMR y RMSEA, proporcionan resultados satisfactorios que respaldan el adecuado ajuste del modelo. En particular, se destacan los excelentes resultados obtenidos en CFI, TLI y SRMR.

Así pues, los resultados indican un ajuste adecuado del modelo. En este sentido, se puede afirmar que el instrumento creado utilizando los ítems de PISA es capaz de medir las prácticas pedagógicas relacionadas con el desarrollo de la competencia en alfabetización informacional.

Igualmente, se puede constatar un ajuste muy satisfactorio de los ítems en cada dimensión, según los estadísticos presentados en la Tabla 2. El coeficiente de determinación (R²) proporciona información sobre el porcentaje de varianza del factor que se explica mediante cada ítem, mientras que el coeficiente beta estandarizado revela su influencia factorial.

Se presta especial atención a los índices de confiabilidad (Tabla 3) para asegurar la calidad del modelo, y los resultados obtenidos son altamente favorables. Tanto el alfa ordinal como el omega 1 superan el valor de 0.9, lo cual es muy positivo. Además, el promedio de varianza explicada (AVE), que representa el promedio de los coeficientes R²de los ítems en cada dimensión, alcanza un valor de 0.8. Cabe destacar que un valor de 0.5 es suficiente para considerar que el modelo es adecuado, por lo que estos resultados reafirman la solidez y confiabilidad del modelo.

En la Figura 1 se presentan los coeficientes estandarizados beta que representan los pesos factoriales de cada ítem.

Objetivo 2. Dimensiones

A continuación, se analizan las diferencias entre dimensiones para comprender si el empleo de una herramienta digital para facilitar el uso de estrategias metacognitivas, para la autorregulación del aprendizaje en la formación de profesorado online, mejora la capacidad de enseñanza de la alfabetización digital.

Cómo utilizar palabras clave en un motor de búsqueda

Los resultados de la prueba Shapiro-Wilk, constatan que los datos no siguen una distribución normal (p=<.001), por lo que se utiliza el análisis de Modelos Lineales Generalizados con la distribución Gamma. En primer lugar, se evalúa la medida de ajuste del modelo utilizando el coeficiente de determinación R². El modelo sugiere que el 25.6 % de la variabilidad en cuanto a la mejora de la enseñanza en el uso de palabras clave en motores en búsqueda, puede ser explicada por el uso de estrategias metacognitivas a través de Metadig.

Al analizar los resultados de los parámetros estimados del modelo (Tabla 4), se comprueba que los predictores (grupo y pretest) son estadísticamente significativos ( p<0.001). Al controlar el efecto del pretest, se encontró que el valor promedio de aquellos que no utilizan Metadig para la mejora de su enseñanza en alfabetización mediática e informacional es de 2.38 puntos sobre 4. En contraste, aquellos que sí emplean regularmente dicha herramienta podrían obtener 1 punto adicionales en la gestión de enseñanza, alcanzando así una puntuación de 3.38 puntos.

Las diferencias entre los grupos, una vez ajustadas por el efecto del pretest, fueron confirmadas como significativas mediante la prueba de Bonferroni (Tabla 5). Estas divergencias pueden apreciarse de manera gráfica en la Figura 2.

Cómo decidir si confiar en la información de Internet

Una vez analizada la prueba Shapiro-Wilk, se observa que no sigue una distribución normal ( p=<.001), así que se utiliza la prueba Modelos Lineales Generalizados con la distribución Gamma. En primer lugar, se observa la medida de ajuste del modelo con R², que sugiere que el 28.2 % de la mejora docente en lo referente a alfabetización mediática para decidir si confiar en la información de Internet, es explicada por el empleo regular de estrategias metacognitivas a través de Metadig.

Los resultados obtenidos indican que los predictores también tienen una significancia estadística (p<0.001). Según los parámetros estimados en la Tabla 6, al considerar el efecto del pretest en la muestra, aquellos individuos que no utilizan Metadig para aplicar alfabetización digital, obtendrían una puntuación media de 2.78 sobre 4. Por otro lado, aquellos que utilizan la herramienta, alcanzarían 3.61 puntos, lo que representa un incremento de 0.82 puntos en comparación con el grupo que no utiliza esta herramienta. La prueba de Bonferroni (Tabla 7) confirma que esta diferencia entre los grupos es estadísticamente significativa, como se evidencia en la Figura 3.

Cómo comparar diferentes páginas web y decidir la información relevante

Después de analizar la prueba de Shapiro-Wilk, se observa que los datos no siguen una distribución normal (p=< .001). Por lo tanto, se utiliza la prueba de Modelos Lineales Generalizados con una distribución Gamma. En primer lugar, se evalúa la medida de ajuste del modelo mediante el coeficiente R², el cual indica un 28 % de variabilidad en la mejora docente en cuanto a la alfabetización mediática, específicamente en la capacidad de comparar diferentes páginas web y determinar la relevancia de la información para el trabajo escolar, lo que puede ser explicado por el uso regular de estrategias metacognitivas a través de Metadig.

Los resultados obtenidos revelan que los predictores también presentan una significancia estadística (p<0.001). Según los parámetros estimados en la Tabla 8, al considerar el efecto del pretest en la muestra, aquellos individuos que no utilizan Metadig para aplicar alfabetización digital obtendrían una puntuación media de 2.59 sobre 4. Aquellos que emplean esta herramienta alcanzarían una puntuación de 3.52 puntos, lo que representa un incremento de 0.92 puntos en comparación con el grupo que no utiliza Metadig. La prueba de Bonferroni ( Tabla 9) confirma que esta diferencia entre los grupos es estadísticamente significativa (Figura 4).

Comprender las consecuencias de hacer pública la información en las redes sociales

Analizados los datos obtenidos con la prueba Shapiro-Wilk, se observa que no siguen una distribución normal (p=< .001). Se utiliza la prueba de Modelos Lineales Generalizados con una distribución Gamma. Así pues, se evalúa la medida de ajuste del modelo mediante el coeficiente R², que indica cómo el 27.1 % de la variabilidad en la mejora docente en cuanto a la alfabetización mediática relacionada con la comprensión de las consecuencias de hacer pública la información en redes sociales, puede ser explicado por el empleo regular de estrategias metacognitivas a través de Metadig.

Los resultados obtenidos indican que los predictores también presentan una significancia estadística (p<0.001). Según los parámetros estimados en la Tabla 10, al considerar el efecto del pretest en la muestra, se observa que aquellos individuos que no utilizan Metadig obtendrían una puntuación media de 2.78 sobre 4. Por otro lado, aquellos que utilizan esta herramienta alcanzarían una puntuación de 3.64 puntos, lo que implica un incremento de 0.87 puntos en comparación con el grupo que no utiliza esta herramienta. La prueba de Bonferroni (Tabla 11) confirma de manera estadísticamente significativa que existe una diferencia entre los grupos, como se refleja en la Figura 5.

Cómo utilizar la descripción breve en la lista de resultados de una búsqueda.

Tras realizar el análisis con la prueba de Shapiro-Wilk, se observa que los datos no siguen una distribución normal (p=.002), por lo tanto, se opta por emplear la prueba de Modelos Lineales Generalizados con una distribución Gamma. Se analiza el ajuste del modelo utilizando el coeficiente R², que sugiere una variabilidad del 23.6 % en la mejora docente, en términos de alfabetización mediática, específicamente en la habilidad para utilizar la breve descripción que aparece debajo de los enlaces en la lista de resultados de una búsqueda, explicado por el uso regular de estrategias metacognitivas a través de Metadig.

Los resultados revelan que los predictores también exhiben una significancia estadística ( p<0.001). De acuerdo con los parámetros estimados en la Tabla 12, al considerar el efecto del pretest en la muestra, aquellos individuos que no utilizan Metadig para aplicar la alfabetización digital, obtendrían una puntuación media de 2.38 sobre 4. En contraste, aquellos que emplean esta herramienta alcanzarían una puntuación de 3.31 puntos, lo cual implica un aumento de 0.93 puntos en comparación con el grupo que no utiliza dicha herramienta. La prueba de Bonferroni (Tabla 13) respalda la evidencia de que esta diferencia entre los grupos es estadísticamente significativa (Figura 6).

Cómo detectar la información subjetiva o sesgada

Después de analizar los resultados de la prueba de Shapiro-Wilk, se observa que los datos no siguen una distribución normal (p=.002). Se emplea la prueba de Modelos Lineales Generalizados con una distribución Gamma. Así pues, se analiza la capacidad del modelo para ajustarse a los datos utilizando el coeficiente R². Los resultados muestran que el 25.9 % de la mejora en la competencia docente específicamente en la habilidad de identificar si la información es subjetiva o sesgada, puede ser explicado por la aplicación regular de estrategias metacognitivas a través de Metadig.

Además, se obtienen resultados estadísticamente significativos (p<0.001) para los predictores. Los parámetros estimados en la Tabla 14 indican que, al tener en cuenta el efecto del pretest en la muestra, quienes no utilizan Metadig para promover la alfabetización digital obtendrían una puntuación media de 2.42 sobre 4. Por contra, quienes hacen uso de esta herramienta alcanzarían una puntuación de 3.34 puntos, lo que representa un incremento de 0.92 puntos en comparación con el grupo que no utiliza Metadig. Los resultados de la prueba de Bonferroni (Tabla 15) confirman de manera significativa que existe una diferencia estadística entre los grupos (Figura 7).

Cómo detectar correos electrónicos de phishing o spam

Con base en los resultados obtenidos en la prueba Shapiro-Wilk, se pudo constatar que los datos no siguen una distribución normal (p=<.001). Se utilizó el análisis de Modelos Lineales Generalizados con la distribución Gamma. En primer lugar, se evaluó la medida de ajuste del modelo utilizando el coeficiente de determinación R². En este caso, el modelo sugiere que el 22 % de la variabilidad en cuanto a la mejora de la enseñanza en la detección de correos electrónicos de phishing o spam, puede ser explicada por el uso de estrategias metacognitivas a través de Metadig.

Al analizar los resultados de los parámetros estimados del modelo (Tabla 16), se comprueba que los predictores (grupo y pretest) son estadísticamente significativos ( p<0.001). Al controlar el efecto del pretest, se encontró que el valor promedio de aquellos que no utilizan Metadig para la mejora de su enseñanza en alfabetización mediática e informacional es de 2.50 puntos sobre 4. En contraste, aquellos que sí emplean regularmente dicha herramienta podrían obtener 0.92 puntos adicionales en la gestión de enseñanza, alcanzando así una puntuación de 3.42 puntos.

Las diferencias entre los grupos, una vez ajustadas por el efecto del pretest, fueron confirmadas como significativas mediante la prueba de Bonferroni (Tabla 17). Estas divergencias se pueden apreciar gráficamente en la Figura 8.

Según los resultados de la Tabla 18, el uso regular de estrategias metacognitivas a través de la herramienta Metadig contribuye significativamente a mejorar la enseñanza de diversos aspectos de la alfabetización mediática. En concreto, explica el 28.2% de la mejora en la enseñanza sobre la confiabilidad de la información alojada en internet, seguido por el 27.4% en discriminar la relevancia de las fuentes y un 27.1% en la dimensión de conocer las consecuencias de compartir información en redes sociales. Del mismo modo, la herramienta explica en torno al 25% de la variabilidad entre quienes utilizan y no Metadig. Estas diferencias son especialmente notables en las dimensiones relacionadas con el reconocimiento de información subjetiva (25.9%), el uso de palabras clave (25.6%) y el uso de descriptores en motores de búsqueda (25.6%). Finalmente, se observa un avance significativo, aunque en menor medida en la dimensión de detección de phishing o spam en correos electrónicos (22%). Es importante señalar que se encontraron diferencias significativas entre los grupos en todos los casos, controlando el efecto pretest y asumiendo la igualdad de los grupos.

Al analizar las diferencias de medias entre los grupos en cada dimensión, controlando el efecto del pretest, se observa que la mayor diferencia radica en la instrucción al respecto del uso de palabras clave (1 punto), seguido del uso de descriptores (0.93) y la evaluación de la relevancia de la información (0.92). En el mismo nivel, existen diferencias muy altas en la detección de spam (0.92) e información subjetiva (0.92) Todas estas diferencias presentan una brecha igual o cerca de un punto sobre los cuatro puntos en los que se realizaron las mediciones. Por último, se constatan diferencias sustanciales en las siguientes dimensiones: comprensión de las implicaciones de compartir información en las redes sociales (0,87) e identificación de información fiable (0,82), entre quienes utilizaron y no utilizaron Metadig.

CONCLUSIONES

El estudio tiene dos objetivos principales: evaluar la fiabilidad de los ítems PISA 2018 seleccionados para medir las prácticas de enseñanza en alfabetización informacional y averiguar si el uso de una herramienta digital como Metadig, que desarrolla estrategias metacognitivas para la autorregulación del aprendizaje, mejora la enseñanza de la alfabetización mediática e informacional. Por ello, se han analizado siete dimensiones que, según Pérez-Escoda et al. (2019), deben dominar los docentes para abordar la enseñanza de la alfabetización digital ( Gutiérrez-Martín et al., 2022).

En primer lugar, se confirma la eficacia del instrumento PISA 2018 para evaluar las prácticas pedagógicas en alfabetización mediática, refrendando investigaciones previas (García-Llorente et al., 2020). Esto ensalza la importancia de integrar estrategias metacognitivas en la formación del profesorado, lo que se considera crucial para mejorar la alfabetización digital (Zimmerman y Moylan, 2009). Asimismo, los análisis de validez y fiabilidad del instrumento apoyan su uso para medir las competencias en alfabetización informacional (OCDE, 2017, 2019).

Del mismo modo, se analiza el impacto del uso de Metadig en la enseñanza de alfabetización mediática e informacional. En este sentido, se observan mejoras significativas en varias dimensiones clave. En cuanto al uso de palabras clave en los motores de búsqueda, los profesores desarrollan estrategias para realizar búsquedas más eficaces, fomentando la adaptabilidad y la comprensión de los alumnos (Reisoğlu et al., 2020; Zhou, 2023). La herramienta también refuerza la capacidad de evaluar la fiabilidad de la información en línea, algo esencial en un contexto de desinformación (Muijs y Bokhove, 2020). Además, facilita la comparación de las fuentes de información y la determinación de su pertinencia, fomentando el pensamiento crítico y la toma de decisiones con conocimiento de causa (Bannert et al., 2009; Kaczko y Ostendorf, 2023).

Se observa que los profesores que utilizan Metadig comprenden mejor las consecuencias de compartir información en línea, fomentando estrategias para un uso responsable de las redes sociales (De Bruyckere et al., 2016). Igualmente, mejoran su capacidad para utilizar descriptores cortos en los resultados de búsqueda, mejorando el análisis y la síntesis de la información (Dignath y Büttner, 2018). Asimismo, detectan con mayor precisión la información sesgada, favoreciendo el desarrollo de estrategias pedagógicas que promueven la autonomía del alumno (Dobber et al., 2017). Por último, son más capaces de identificar correos electrónicos de phishing o spam, aumentando la concienciación sobre la seguridad en línea y desarrollando estrategias de protección ( Zheng et al., 2016).

Estos resultados ponen de manifiesto la eficacia, tanto del instrumento PISA 2018 como de Metadig, para mejorar la enseñanza de la alfabetización mediática e informacional. Tras revisar cada una de las dimensiones, el estudio revela que el uso de Metadig tiene impacto positivo en varias dimensiones de la enseñanza de la alfabetización digital. Muestra de ello es la mejora del uso de palabras clave en los motores de búsqueda, el desarrollo de la capacidad de evaluar la información en línea, la mejora en la determinación de la relevancia de los contenidos para las tareas escolares, la comprensión de las implicaciones de compartir información en línea, el fortalecimiento de las habilidades de análisis y síntesis de la información, la promoción de la evaluación crítica de la información, la concienciación sobre la seguridad en línea y la identificación de riesgos como los correos electrónicos de phishing o spam.

DISCUSIÓN

Finalmente, la presente investigación aporta evidencias significativas sobre la influencia de las prácticas pedagógicas en el desarrollo de la competencia en alfabetización informacional, apoyando hallazgos previos (García-Llorente et al., 2020). Adicionalmente, muestra que el uso de herramientas digitales como Metadig mejora dimensiones relacionadas con la competencia en alfabetización digital (Azevedo y Witherspoon, 2009).

La integración de tecnologías de la información con estrategias metacognitivas en la formación del profesorado es decisiva para desarrollar la alfabetización mediática (Beetham y Sharpe, 2013). Este enfoque beneficia también a los estudiantes para identificar fuentes fiables y tomar decisiones informadas (Kaczkó y Ostendorf, 2023; Villaplana et al., 2022). Por lo tanto, se recomienda la formación del profesorado en el uso de estrategias metacognitivas para mejorar sus habilidades de aprendizaje autorregulado.

Se resalta, además, la importancia de la formación continua en alfabetización mediática e informacional del profesorado (Cabero-Almenara y Palacios-Rodríguez, 2020). El estudio aporta evidencias empíricas del papel de las herramientas digitales en el desarrollo de la metacognición en educación, fortaleciendo así la práctica disciplinar en alfabetización digital.

Limitaciones del estudio

Este estudio presenta algunas limitaciones. Por un lado, la evaluación se realizó a corto plazo, lo que impide explorar plenamente el impacto a largo término del uso de Metadig en las habilidades de alfabetización digital (Area y Pessoa, 2012; Azevedo y Witherspoon, 2009). Por otro lado, no se tuvieron en cuenta variables como la experiencia previa con la tecnología (Martin y Madigan, 2006) o el nivel de familiaridad con las estrategias metacognitivas, que podrían influir en los resultados (Bannert et al., 2009).

Entre las limitaciones se incluye el sesgo de autoselección, que dificulta la generalización. La investigación futura debería abordar estas cuestiones para comprender mejor el impacto de Metadig en la metacognición y la alfabetización mediática.

Futuras líneas de Investigación

En futuras investigaciones sobre Metadig se sugieren estudios longitudinales para medir su impacto a lo largo del tiempo. Es interesante comparar Metadig con otras herramientas para evaluar su eficacia en la mejora de las estrategias metacognitivas y la alfabetización digital.

REFERENCIAS

Area, M. y Pessoa, T. (2012). De lo sólido a lo líquido: Las nuevas alfabetizaciones ante los cambios culturales de la Web 2.0. Comunicar, 38, 13-20.

Arjaya, I. B. A., Hermawan, I. M. S., Ekayanti, N. W. y Paraniti, A. A. I. (2023). Metacognitive contribution to biology pre-service teacher’s digital literacy and self-regulated learning during online learning. International Journal of Instruction, 16(1). 455-468. https://doi.org/10.29333/iji.2023.16125a

Azevedo, R. y Witherspoon, A. M. (2009). Self-regulated learning with hypermedia. En D. J. Hacker, J. Dunlosky y A. C. Graesser (Eds.), Handbook of metacognition in education (pp. 278-298). Mahwah, Erlbaum.

Bannert, M., Hildebrand, M. y Mengelkamp, C. (2009). Effects of a metacognitive support device in learning environment. Computers in Human Behavior, 25(4), 829-835. https://doi.org/10.1016/j.chb.2008.07.002

Beetham, H. y Sharpe, R. (2013). Rethinking pedagogy for a digital age: Designing for 21st century learning. Routledge. https://doi.org/10.4324/9780203078952

Cabero-Almenara, J. y Palacios-Rodríguez, A. (2020). Marco Europeo de Competencia Digital Docente «DigCompEdu». Traducción y adaptación del cuestionario «DigCompEdu Check-In». EDMETIC, 9(1), 213-234. https://doi.org/10.21071/edmetic.v9i1.12462

Coll Salvador, C., Díaz Barriga Arcedo, F., Engel Rocamora, A. y Salina Ibáñez, J. (2023). Evidencias de aprendizaje en prácticas educativas mediadas por tecnologías digitales. RIED-Revista Iberoamericana de Educación a Distancia, 26(2), pp. 9-25. https://doi.org/10.5944/ried.26.2.37293

De Bruyckere, P., Kirschner, P. A. y Hulshof, C. D. (2016). Technology in Education: What Teachers Should Know. American Educator, 40(1), 12-18.

Decision (EU) 2022/2481 of the European Parliament and of the Council of 14 December 2022 establishing the Digital Decade Policy Programme 2030. Official Journal of the European Union, 323, 4-26. http://data.europa.eu/eli/dec/2022/2481/oj

Dignath, C. y Büttner, G. (2018). Components of fostering self-regulated learning among students: A meta-analysis on intervention studies at primary and secondary school level. Metacognition and Learning, 13(2), 127-151. https://doi.org/10.1007/s11409-018-9181-x

Dobber, M., Zwart, R., Tanis, M. y van Oers, B. (2017). Literature review: The role of the teacher in inquiry-based education. Educational Research Review, 22, 194-214. https://doi.org/10.1016/j.edurev.2017.09.002

Duffy, G. G., Miller, S., Parsons, S. y Meloth, M. (2009). Teachers as metacognitive professionals. En D. J. Hacker, J. Dunlosky y A. C. Graesser (Eds.), Handbook of metacognition in education (pp. 240-256). Routledge/Taylor & Francis Group.

Efklides, A. (2011). Interactions of metacognition with motivation and affect in self-regulated learning: The MASRL model. Educational Psychologist, 46, 6-25. https://doi.org/10.1080/00461520.2011.538645

Escobedo Portillo, M. T., Hernández Gómez, J. A., Estebané Ortega, V. y Martínez Moreno, G. (2016). Modelos de ecuaciones estructurales: Características, fases, construcción, aplicación y resultados. Ciencia & trabajo, 18(55), 16-22. https://doi.org/10.4067/S0718-24492016000100004

European Commision. (2021). Plan de Acción de Educación Digital (2021-2027). https://education.ec.europa.eu/es/focus-topics/digital-education/action-plan

European Union. (2021). Europe's Digital Decade. https://digital-strategy.ec.europa.eu/en/policies/europes-digital-decade

García-Llorente, H. J., Martínez-Abad, F. y Rodríguez-Conde, M. J. (2020). Evaluación de la competencia informacional observada y autopercibida en estudiantes de educación secundaria obligatoria en una región española de alto rendimiento PISA. Revista Electrónica Educare, 24(1), 24-40. https://doi.org/10.15359/ree.24-1.2

Gutiérrez-Martín, A., Pinedo-González, R. y Gil-Puente, C. (2022). Competencias TIC y mediáticas del profesorado.: Convergencia hacia un modelo integrado AMI-TIC / ICT and Media competencies of teachers. Convergence towards an integrated MIL-ICT model. Comunicar, 70, 21-33. https://doi.org/10.3916/C70-2022-02

Halamish, V. (2018). Pre-service and in-service teachers’ metacognitive knowledge of learning strategies. Frontiers in Psychology, 9, 2152. https://doi.org/10.3389/fpsyg.2018.02152

Huff, J. D. y Nietfeld, J. L. (2009). Using strategy instruction and confidence judgments to improve metacognitive monitoring. Metacognition and Learning, 4, 161-176. https://doi.org/10.1007/s11409-009-9042-8

INTEF. (2022). Marco de Referencia de la Competencia Digital Docente Actualizado. https://intef.es/

Kaczkó, É. y Ostendorf, A. (2023). Critical thinking in the community of inquiry framework: An analysis of the theoretical model and cognitive presence coding schemes. Computers & Education, 193, 104662. https://doi.org/10.1016/j.compedu.2022.104662

Martin, A. y Madigan, D. (2006). Digital literacies for learning. Facet Publishing.

McDougall, J., Brites, M. J., Couto, M. J. y Lucas, C. (2019). Digital literacy, fake news and education. Cultura y Educación, 31(2), 203-212. https://doi.org/10.1080/11356405.2019.1603632

Monereo, C. (Coord.). (2011): Internet y competencias básicas. Aprender a colaborar, a comunicarse, a participar, a aprender. Editorial Graó.

Muijs, D. y Bokhove, C. (2020). Metacognition and Self-Regulation: Evidence Review. Education Endowment Foundation. https://educationendowmentfoundation.org.uk/evidence-summaries/evidence-reviews/ metacognition-and-self-regulation-review/

Núñez, J. C., Tuero, E., Fernández, E., Añón, F. J., Manalo, E. y Rosário, P. (2022). Efecto de una intervención en estrategias de autorregulación en el rendimiento académico en Primaria: estudio del efecto mediador de la actividad autorregulatoria. Revista de Psicodidáctica, 27(1). https://doi.org/10.1016/j.psicod.2021.09.001

OCDE. (2017). Teacher questionnaire for PISA 2018. Test language teacher. International option. OCDE. https://bit.ly/3ZltsTY

OCDE. (2019). PISA 2018 assessment and analytical framework. PISA. OCDE Publishing. https://doi.org/10.1787/b25efab8-en

Ortega-Ruipérez, B. y Castellanos, A. (2021). Design and development of a digital tool for metacognitive strategies in self-regulated learning. En EduLearn 21. 13th International Conference on Education and New Learning Technologies Online Conference. 5-6 July, 2021 (pp. 1203-1211). IATED Academy. https://doi.org/10.21125/edulearn.2021.0300

Ortega-Ruipérez, B. y Castellanos, A. (2023). Guidelines for instructional design of courses for the development of self-regulated learning for teachers. South African Journal of Education, 43(3). https://doi.org/10.15700/saje.v43n3a2202

Panadero, E. (2017). A review of self-regulated learning: Six models and four directions for research. Frontiers in Psychology, 8, 422. https://doi.org/10.3389/fpsyg.2017.00422

Pérez-Escoda, A. (2017). Alfabetización mediática, TIC y competencias digitales. UOC.

Pérez-Escoda, A., García-Ruiz, R. y Aguaded, I. (2019). Dimensions of digital literacy based on five models of development / Dimensiones de la alfabetización digital a partir de cinco modelos de desarrollo. Culture and Education, 31(2), 232-266. https://doi.org/10.1080/11356405.2019.1603274

Perry, J., Lundie, D. y Golder, G. (2019). Metacognition in schools: what does the literature suggest about the effectiveness of teaching metacognition in schools? Educational Review, 71(4), 483-500. https://doi.org/10.1080/00131911.2018.1441127

Punie, Y. y Redecker, C. (2017). European Framework for the Digital Competence of Educators: DigCompEdu. https://doi.org/10.2760/178382

Reisoğlu, İ., Toksoy, S. E. y Erenler, S. (2020). An analysis of the online information searching strategies and metacognitive skills exhibited by university students during argumentation activities. Library & Information Science Research, 42(3). https://doi.org/10.1016/j.lisr.2020.101019

Ruiz, M., Pardo, A. y San Martín, R. (2010). Modelos de ecuaciones estructurales. Papeles del Psicólogo, 31(1).

Salcedo, D. M., Ibarra, K. A., Ceballos, V. I. y Pazmiño, E. S. (2022). Digital meanings: multimodal communications and multiliteracy. Recimundo. Revista Científica Mundo de la Investigación y el Conocimiento, 3, 147-154. https://doi.org/10.26820/recimundo/6

Schreiber, J. B. (2021). Issues and recommendations for exploratory factor analysis and principal component analysis. Research in Social and Administrative Pharmacy, 17(5), 1004-1011. https://doi.org/10.1016/j.sapharm.2020.07.027

Sonnenberg, C. y Bannert, M. (2019). Using Process Mining to examine the sustainability of instructional support: How stable are the effects of metacognitive prompting on self-regulatory behavior? Computers in Human Behavior, 96, 259-272, https://doi.org/10.1016/j.chb.2018.06.003

Stephanou, G. y Mpiontini, M. (2017) Metacognitive Knowledge and Metacognitive Regulation in Self-Regulatory Learning Style, and in Its Effects on Performance Expectation and Subsequent Performance across Diverse School Subjects. Psychology, 8, 1941-1975. https://doi.org/10.4236/psych.2017.812125

Suárez, E. J. y González, L. M. (2021). Puntos de encuentro entre pensamiento crítico y metacognición para repensar la enseñanza de ética. Sophia, Colección de Filosofía de la Educación, 30, 181-202. https://doi.org/10.17163/soph.n30.2021.06

UNESCO. (2016). Tecnologías digitales al servicio de la calidad educativa: una propuesta de cambio centrada en el aprendizaje para todos. https://unesdoc.unesco.org/ark:/48223/pf0000245115

Vázquez-López, V. y Huerta-Manzanilla, E. L. (2021). Factors Related with Underperformance in Reading Proficiency, the Case of the Programme for International Student Assessment 2018. European Journal of Investigation in Health, Psychology and Education, 11(3), 813-828. https://doi.org/10.3390/ejihpe11030059

Villaplana V., Torrado, S. y Ródenas, G. (2022). Capítulo 4. Alfabetización mediática e innovación docente. Hacia un enfoque crítico de la docencia de la Comunicación desde las Pedagogías visuales. Espejo De Monografías De Comunicación Social, 9, 59-74. https://doi.org/10.52495/c4.emcs.9.p95

Wall, K. y Hall, E. (2016). Teachers as metacognitive role models. European Journal of Teacher Education, 39(4), 403-418. https://doi.org/10.1080/02619768.2016.1212834

Wigfield, A. y Cambria, J. (2010). Students’ achievement values, goal orientations, and interest: Definitions, development, and relations to achievement outcomes. Developmental Review, 30(1). https://doi.org/10.1016/j.dr.2009.12.001

Zheng, L., Li, X. y Chen, F. (2016). Effects of a mobile self-regulated learning approach on students’ learning achievements and self-regulated learning skills. Innovations in Education and Teaching International, 55(6), 1-9. https://doi.org/10.1080/14703297.2016.1259080

Zhou, M. (2023). Students’ metacognitive judgments in online search: a calibration study. Education and Information Technologies, 28, 2619-2638. https://doi.org/10.1007/s10639-022-11217-y

Zimmerman, B. J. (2008). Investigating Self-Regulation and Motivation: Historical Background, Methodological Developments, and Future Prospects. American Educational Research Journal, 45, 166-183. https://doi.org/10.3102/0002831207312909

Zimmerman, B. J. y Moylan, A. R. (2009). Self-Regulation. Where Metacognition and Motivation Intersect. En D. J. Hacker, J. Dunlosky y A. C. Graesser (Eds.), Handbook of metacognition in education (pp. 278-298). Mahwah, Erlbaum.