El fenómeno de la educación basada en datos ha dado lugar a diferentes tipos de estudios. Por ejemplo, hay una gran cantidad de investigaciones que utilizan la minería de datos para analizar los patrones de comportamiento de los estudiantes y establecer relaciones entre las variables involucradas en el aprendizaje y los resultados del mismo. Una segunda tendencia se refiere a los estudios con un enfoque pedagógico, que utilizan la información agregada resultante del análisis de los datos con el fin de mejorar el diseño instruccional, enriquecer los métodos didácticos y comprender mejor el papel de los agentes educativos. Por último, también hay una importante cantidad de investigaciones que se centran en las derivaciones institucionales del uso de datos digitales y que buscan desarrollar marcos para mejorar la toma de decisiones estratégicas, el diseño organizativo y las políticas curriculares.

A pesar de la heterogeneidad de enfoques y métodos en el ámbito de la educación basada en datos, existe un consenso sobre la necesidad de generar pruebas que permitan valorar las habilidades que los estudiantes adquieren en situaciones de aprendizaje digital, la forma en que esas habilidades cambian a lo largo de un curso o en situaciones de aprendizaje permanente, y las relaciones causales entre el comportamiento de los estudiantes y su aprendizaje.

UN CAMPO HETEROGÉNEO

En los últimos años ha aumentado considerablemente el volumen de investigaciones sobre la repercusión de los datos digitales en la educación. Como ya se ha mencionado, junto con el crecimiento cuantitativo también se han diversificado los enfoques, las metodologías y los marcos analíticos empleados en los estudios. En la primera etapa evolutiva de este campo de investigación la atención se centró en la creación y consolidación de una nueva disciplina llamada analítica del aprendizaje, dentro del ámbito experimental de la ciencia de datos. Pero la masiva difusión de información digital en el conjunto de la sociedad ha ampliado el número de dimensiones a considerar en torno a la educación basada en datos, lo que ha hecho que el campo se abra también a las ciencias sociales y las humanidades. Así pues, ahora hay muchos elementos de interés sobre la forma en que los datos pueden repercutir en la educación y, por consiguiente, muchos enfoques posibles desde un punto de vista analítico.

Hay dos fenómenos que se consideran representativos de dicha expansión. Uno es la creciente atención que se presta desde el diseño instruccional a los conjuntos de datos educativos y a los algoritmos basados en datos. Históricamente, la investigación educativa ha transcurrido en varios planos, y eso también ha comenzado a suceder en el terreno de la investigación con datos digitales. A propósito del uso de los datos de los estudiantes con fines analíticos, surge la preocupación sobre cómo manejar esa información y se plantean cuestiones acerca de los actores que participan en el proceso de análisis y cómo se agregan los datos. Los algoritmos educativos son elementos muy intrusivos: influyen directamente en las prácticas de los agentes educativos y determinan el aprendizaje de los estudiantes. En su desarrollo hay que considerar aspectos importantes como los sesgos cognitivos, las variables culturales y las cuestiones relacionadas con las habilidades de los usuarios (Hartong y Förschler, 2019). La incorporación de esos elementos dentro del campo de investigación de la educación basada en datos exige abrir nuevas perspectivas para explorar no sólo lo que se puede hacer con los datos, sino también si se debe hacer, cómo se debe hacer y cómo encaja en los ecosistemas de aprendizaje existentes (Shibani, Knight y Buckingham Shum, 2020).

En segundo lugar, las cuestiones políticas y éticas comienzan a ser un factor determinante en la investigación sobre prácticas educativas basadas en datos. Se trata de fenómenos muy alejados de los procedimientos analíticos propios de una disciplina que se configuró inicialmente en torno a la agregación de datos digitales procedentes de situaciones de aprendizaje. Por lo que cabe esperar que la combinación de las metodologías de las ciencias sociales, las humanidades y la informática –y sus intersecciones con las artes y las ciencias naturales– introduzcan nuevos enfoques para experimentar con las prácticas educativas que utilizan datos digitales (Buckingham Shum, Ferguson y Martinez-Maldonado, 2019).

Por último, hay una creciente preocupación por la ética y el posible mal uso de los datos. Las preguntas sobre los riesgos éticos se refieren a la capacidad de la ciencia de los datos para influir en las decisiones y las prácticas educativas. Esos mismos temores también se experimentaron durante la evolución de la inteligencia artificial, y ahora se centran en la educación mediada digitalmente. Una forma de superar la visión restrictiva que sitúa el foco de la crítica exclusivamente en los riesgos éticos, las reflexiones se están abriendo hacia el resto de niveles implicados en los sistemas de aprendizaje basados en datos. Y así, de nuevo surge la necesidad de apoyarse en enfoques analíticos integrales, considerando los diferentes planos que forman parte de un proceso educativo (Barocas y Boyd, 2017).

Todo esto llama la atención sobre las diversas disciplinas que no tenían un papel destacado en el campo de la educación basada en datos y que ahora son piezas fundamentales. Y también revela el alejamiento de los principales tópicos en los que se centró inicialmente la analítica del aprendizaje (el seguimiento de la evaluación, las tasas de matriculación, los cuadros de mando, el abandono en cursos abiertos, etc.), que guardaban una estrecha relación con la agregación de grandes volúmenes de datos procedentes de situaciones de aprendizaje.

DESAFÍOS

Si bien en la última década el análisis de los datos educativos ha crecido de manera decidida, la transferencia de esa investigación a las prácticas de los educadores/as en las clases o en las políticas institucionales ha sido bastante limitada. Más que encontrar soluciones, durante la pasada década se han identificado algunos de los desafíos (Wilson et al., 2017) que tendrán que ser foco de atención antes de alcanzar el verdadero potencial de esta multifacética área que busca mejorar la educación a través de los datos. En esta sección enmarcamos algunos de esos desafíos, organizados en tres áreas: la investigación, las prácticas educativas y las instituciones.

La primera que analizamos, la investigación, ha sido la que ha recibido la mayor cantidad de atención en el campo. El número de artículos de investigación ha aumentado de forma exponencial gracias a que en la actualidad es bastante común utilizar entornos de aprendizaje mediados digitalmente que permiten recolectar grandes cantidades de datos de los estudiantes. Sin embargo, la mayoría de los estudios han sido inconclusos, se han centrado en análisis exploratorios sin hipótesis iniciales claras o han empleado diseños experimentales pre-registrados (Wagenmakers et al., 2012). Esos desajustes han dificultado que las conclusiones de los casos de estudio puedan servir como base fundamental sobre la que construir el trabajo futuro. Una de las cuestiones más complicadas ha sido mapear sistemáticamente los complejos procesos cognitivos y de aprendizaje de manera que sea posible establecer las características simples que representen una imagen fehaciente de esos procesos. Ya que estas características y modelos son creados en base a datos históricos, uno de los desafíos clave es cómo controlar los sesgos sociales que están presentes implícitamente en esos conjuntos de datos (Holstein y Doroudi, 2019). La mayoría de las aproximaciones en el área recurren a enfoques de investigación cuantitativos, y son muchas menos las que emplean métodos cuantitativos o que tienen una fuerte conexión con teorías procedentes de las ciencias cognitivas y del aprendizaje. De manera que serán necesarios más esfuerzos de la comunidad para desarrollar los fundamentos del campo de analíticas de aprendizaje, para que la investigación del futuro pueda estar construida sobre una base transversal. A un nivel más técnico también hay numerosos desafíos que también deberán afrontarse durante la próxima década, como el ser capaces de escalar las implementaciones algorítmicas así como su interoperabilidad, la transferencia de modelos entre contextos o los procesos de ingeniería de características eficientes, entre otros (Baker, 2019).

Con respecto a los desafíos en el campo de la práctica educativa, la ausencia de resultados suficientemente validados y la fuerte base teórica de los estudios, han sido quizás las principales causas de la sistemática baja transferencia de la investigación a la práctica. Todavía es poco habitual encontrar educadores/as que apliquen analíticas de aprendizaje en sus clases y que no sean investigadores/as de este campo. Lo que pone de manifiesto uno de los principales desafíos de la transferencia de esta investigación a los educadores/as, relacionado con la formación de los docentes en habilidades de gestión e interpretación de datos digitales (Mandinach y Gummer, 2016). Los investigadores presuponen que todos los educadores/as son capaces de comprender la información que proporcionan las herramientas y aplicaciones que operan con datos, de manera que pueden interpretar esa información y actuar en consecuencia para mejorar los resultados de aprendizaje de los estudiantes. Este problema persiste debido a que numerosas investigaciones desarrollan sistemas sin tener en cuenta al usuario objetivo como parte del proceso de diseño, y se terminan implementando prototipos que no cumplen los requisitos o intereses de las personas que los van a utilizar. Por lo tanto, una de las acciones más prometedoras en la implementación de sistemas y aplicaciones de analíticas de aprendizaje es la aplicación de metodologías de diseño centradas en el usuario, así como la implicación de ese usuario en sesiones de co-diseño (Dollinger y Lodge, 2018). A su vez, los sistemas educativos a todos los niveles –que son bien conocidos por tener saturados a sus docentes– tendrán que pensar en formas de incentivar y motivar al profesorado para que incorporen estas prácticas en su docencia.

Al igual que sucede con otras mejoras, el objetivo final sería que esas aplicaciones puedan integrarse de forma sistemática dentro de la infraestructura de las instituciones educativas, lo que a su vez plantea una serie de desafíos nuevos ( Tsai y Gasevic, 2017). Las instituciones necesitarán integrar las aplicaciones dentro de sus infraestructuras técnicas, en vez de desarrollar soluciones ad-hoc que no pueden escalar. Esas infraestructuras deberán de incorporar opciones para la privacidad para que los estudiantes y educadores/as puedan compartir sus datos de una forma transparente y comprensiva (Gursoy et al., 2016). Al mismo tiempo, los administradores/as tendrán que implementar programas de evaluación que puedan medir el impacto de las aplicaciones, y en paralelo deberán atender las preocupaciones que pueden surgir al hacer experimentos con grupos y tener en cuenta los sesgos que aparecen en las aproximaciones pseudo-experimentales. Quizás, el mayor desafío será alinear los puntos de vista de los múltiples actores que participan en el proceso de las analíticas de aprendizaje, como investigadores/as, educadores/as, estudiantes, tecnólogos/as educacionales, y administradores/as, entre otros (Leitner et al., 2019). Esta situación es posible que haga necesario crear unidades o equipos de trabajo centrados en analíticas de aprendizaje que pertenezcan a las unidades institucionales dedicadas a la innovación educativa.

Podemos ver muchos de estos desafíos reflejados en los artículos de este monográfico que presentamos en la próxima sección. Mientras que los diez años previos de analíticas de aprendizaje han estado centrados en el lado de la investigación, los próximos tendrán que empezar a lidiar con la transferencia sistemática a los entornos educativos focalizándose en los educadores/as y las instituciones. La clave para transformar la analítica del aprendizaje de un campo de investigación a uno de auténtico impacto educativo, pasa por desarrollar propuestas construidas sobre marcos de trabajo útiles y que implementen aplicaciones educativas centradas en los usuarios, además de integrar de manera orquestada a los diferentes actores que intervienen en el proceso educativo.

PRESENTACIÓN DE LOS ARTÍCULOS DEL MONOGRÁFICO

Un aspecto interesante en las contribuciones de este monográfico es que la diversidad metodológica de los estudios afecta principalmente a su formulación, pero no a la finalidad de mejorar el aprendizaje, que es un objetivo común a todos ellos. Los artículos consisten en aproximaciones teóricas y aplicadas que cubren un amplio espectro: hay revisiones de la literatura y el estado del arte de la educación basada en datos digitales; también hay estudios con aproximaciones cuantitativas y cualitativas, con perspectivas de varios campos como la ciencia de datos, la minería de datos educativos y los campos de la pedagogía y las ciencias de la educación; y finalmente hay casos centrados en conocer más profundamente el proceso de aprendizaje de los estudiantes. Para facilitar la presentación, los artículos se han agrupado de acuerdo a los siguientes temas: contribuciones centradas en los componentes pedagógicos del análisis de datos, experiencias y casos de uso de analíticas del aprendizaje, predicciones y tendencias, y finalmente artículos que contienen reflexiones sobre la ética y la privacidad de datos, así como su gestión a nivel institucional.

En la primera contribución, Alyssa Napier, Elizabeth Huttner-Loan y Justin Reich analizan en “Evaluando la transferencia del aprendizaje de MOOCs al centro de trabajo: un caso de estudio en educación para el profesorado y de Lanzando Innovación en Colegios”, la forma en la que los conocimientos adquiridos en las experiencias en línea pueden llevarse a las prácticas cotidianas. En el estudio se analizan los datos procedentes de un Curso Masivo Abierto en Línea (MOOC, en sus siglas en inglés) sobre prácticas innovadoras para la enseñanza que estaba dirigido a líderes en colegios e institutos. El análisis muestra la necesidad de enriquecer las propuestas pedagógicas de los cursos orientados al aprendizaje profesional para garantizar que los participantes se involucren, así como para mejorar el compromiso de transferir las actividades realizadas más allá de los límites del curso, e incorporarlas en los hábitos de trabajo cotidianos.

Los siguientes dos estudios se centran en formas de implementar decisiones basadas en datos en contextos educativos. En el artículo “El encuadre pedagógico de los algoritmos educativos basados en datos”, Daniel Domínguez propone un marco de trabajo útil para guiar a los educadores en la introducción de sistemas de aprendizaje basados en datos. En base al análisis de la secuencia que se sigue en el diseño de algoritmos y herramientas de aprendizaje automático, se reflexiona sobre la necesidad de introducir aproximaciones pedagógicas que orienten ese diseño en el caso de aplicaciones que tienen como ámbito de aplicación los espacios educativos. Continuando en el contexto educativo, José A. Ruipérez-Valiente en “El proceso de implementación de analíticas del aprendizaje” se hace eco del escaso impacto de los estudios de analítica de aprendizaje en las prácticas de los educadores e instituciones educativas. Propone implementar analíticas de aprendizaje a través de una aproximación pragmática que ayude a superar las barreras detectadas. Ese proceso se divide en 5 fases y para aplicarlo se requiere de una estrecha colaboración de todos los actores involucrados, para permitir una implementación sistemática y productiva.

El artículo de Gerald Evans y Rafael Hidalgo, “Analíticas para la Acción: Una aproximación para evaluar la efectividad y el impacto de intervenciones basadas en datos en módulos en línea”, también consiste en una aproximación pedagógica al fenómeno de los datos en educación. Describe el caso de la Open University (UK), dónde se ha implementado un marco de trabajo de analíticas de aprendizaje de forma sistemática. El artículo muestra la experiencia de los profesores responsables de un conjunto de módulos educativos (equivalentes a asignaturas) donde se plantearon intervenciones basadas en el análisis de los datos digitales capturados. En el marco de esas intervenciones, los profesores/as se consideran el elemento clave para ayudar a mejorar la retención y el compromiso de los estudiantes. Los resultados muestran que el profesorado está satisfecho con la formación recibida y con las medidas aplicadas durante la intervención, y también informan de las variantes en el tipo de medidas adoptadas: cuando del análisis de los datos no se deriva ningún tipo de intervención, o cuando se realizan intervenciones secuenciadas en múltiples iteraciones.

A continuación hay una serie de contribuciones que muestran análisis experimentales con diversas técnicas de minería de datos, modelos predictivos y su transferencia a situaciones educativas concretas. El primero de ellos, co-autorizado por Alexis Gutiérrez, Ángel Manuel Guerrero, Miguel Ángel Conde y Camino Fernández, se titula “Evaluación del resultado académico de los estudiantes a partir del análisis del uso que hacen de los Sistemas de Control de Versiones” y se centra en el uso de una herramienta de control de versiones en gestión de proyectos, que también se utiliza en algunas instituciones educativas. El artículo analiza si la monitorización de la actividad de los estudiantes con esta herramienta puede predecir los resultados académicos. Con ese propósito, se desarrolló un modelo de predicción que fue posteriormente aplicado en un curso universitario. Los resultados concluyen que el modelo predice el éxito de los estudiantes con un alto grado de certeza.

También en el campo de análisis predictivo, en el artículo de Ignacio Urteaga, Laura Siri y Guillermo Garófalo, se analiza uno de los temas centrales dentro del campo de las analíticas del aprendizaje, como es la tasa de abandono en cursos en línea. En su texto, “Predicción temprana de deserción mediante algoritmos de aprendizaje automático en cursos online de extensión universitaria”, se aplican técnicas de aprendizaje automático para gestionar los datos procedentes de las interacciones de los estudiantes en un curso alojado en la plataforma Moodle, y se utiliza la información obtenida para predecir qué estudiantes abandonarán el curso. Específicamente, se usan diferentes algoritmos para generar modelos predictivos y optimizarlos con el fin de mitigar el coste económico causado por el abandono. Los autores encontraron que era posible construir dichos modelos predictivos, y que un algoritmo basado en redes neuronales era el más adecuado.

El artículo de Andrea Vázquez-Ingelmo, Francisco José García-Peñalvo, y Roberto Therón, “Beneficios de la aplicación del paradigma de líneas de productos software para generar dashboards en contextos educativos”, es el último artículo experimental de este grupo. Se centra en el diseño y desarrollo de interfaces de visualización customizables que permitan monitorizar la información en base a ciertos objetivos pre-establecidos. Estas interfaces y, en general, la forma de visualizar y monitorizar la información dinámica que viene de estos entornos, también es uno de los temas clásicos del área. En este caso, al aplicar el paradigma de desarrollo de productos de software orientados a interfaces de visualización, también se considera adecuado dentro del contexto educativo.

Finalmente se presentan tres artículos sobre tendencias en el campo de analítica de aprendizaje y las cuestiones éticas asociadas al procesamiento de datos educativos. En el apartado de las tendencias, el artículo de Alejandra Martínez et al. “Logros y desafíos en analítica de aprendizaje: La visión de SNOLA”, revisa el estado del arte de las analíticas del aprendizaje en el marco de los trabajos de la Red Española de Analíticas de Aprendizaje (SNOLA, en sus siglas en inglés). El análisis se basa en los datos de archivo de SNOLA y los resultados de una encuesta realizada a los actuales miembros de la red. Se muestran las tendencias y desafíos clave, que comprenden la necesidad de hacer una gestión ética de los datos, junto con el desarrollo de sistemas que respondan a las necesidades de los usuarios finales y la necesidad de alcanzar un impacto institucional más amplio.

Una de las tendencias identificadas en el estudio anterior, la ética, es el foco de los últimos dos artículos de este monográfico. En el texto “Privacidad, seguridad y legalidad en soluciones educativas basadas en Blockchain: Una Revisión Sistemática de la Literatura”, Daniel Amo, Marc Alier, Francisco García-Peñalvo y David Fonseca conducen una revisión sistemática de la literatura existente que explora la importancia de la protección de los datos personales y su seguridad en el campo educativo, por medio de la tecnología blockchain. Los resultados muestran la importancia de comprender las implicaciones de usar tecnologías emergentes en la educación, así como las conexiones de esas tecnologías con la sociedad y la legislación actual. Finalmente y en relación directa con lo anterior, José L. Aznarte muestra en “Consideraciones éticas en torno al uso de tecnologías basadas en datos masivos en la UNED”, como la UNED (España) está desarrollando un marco de trabajo ético para la toma de decisiones que incluyen el uso de datos de los estudiantes. Presenta una selección de referencias previas y aproximaciones que se han tomado en cuenta, y muestra un listado con las cuestiones clave que deben guiar a las instituciones educativas que trabajan con datos de sus estudiantes.

REFERENCIAS

Baker, R. S. (2019). Challenges for the future of educational data mining: The Baker learning analytics prizes. JEDM, Journal of Educational Data Mining, 11(1), 1-17. https://doi.org/10.5281/zenodo.3554745

Barocas, S., y Boyd, D. (2017). Engaging the ethics of data science in practice. Communications of the ACM, 60(11), 23-25. https://doi.org/10.1145/3144172

Buckingham Shum, S., Ferguson, R., y Martinez-Maldonado, R. (2019). Human-Centred Learning Analytics. Journal of Learning Analytics, 6(2), 1-9. https://doi.org/10.18608/jla.2019.62.1

Dollinger, M., y Lodge, J. M. (2018). Co-creation strategies for learning analytics. In Proceedings of the 8th International Conference on Learning Analytics and Knowledge (pp. 97-101). https://doi.org/10.1145/3170358.3170372

Gursoy, M. E., Inan, A., Nergiz, M. E., y Saygin, Y. (2016). Privacy-preserving learning analytics: challenges and techniques. IEEE Transactions on Learning technologies, 10(1), 68-81. https://doi.org/10.1109/TLT.2016.2607747

Holstein, K., y Doroudi, S. (2019). Fairness and equity in learning analytics systems (FairLAK). In Companion Proceedings of the Ninth International Learning Analytics & Knowledge Conference (LAK 2019).

Hartong, S., y Förschler, A. (2019). Opening the black box of data-based school monitoring: Data infrastructures, flows and practices in state education agencies. Big Data & Society. https://doi.org/10.1177/2053951719853311

Leitner, P., Ebner, M., y Ebner, M. (2019). Learning Analytics Challenges to Overcome in Higher Education Institutions. In Utilizing Learning Analytics to Support Study Success (pp. 91-104). Springer, Cham.

Mandinach, E. B., y Gummer, E. S. (2016). Data literacy for educators: Making it count in teacher preparation and practice. Teachers College Press.

Shibani, A., Knight, S., y Buckingham Shum, S. (2020). Educator perspectives on learning analytics in classroom practice. The Internet and Higher Education, 46(2020). https://doi.org/10.1016/j.iheduc.2020.100730

Tsai, Y. S., y Gasevic, D. (2017). Learning analytics in higher education---challenges and policies: a review of eight learning analytics policies. In Proceedings of the seventh international learning analytics & knowledge conference (pp. 233-242).

Wagenmakers, E. J., Wetzels, R., Borsboom, D., van der Maas, H. L., y Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632-638. https://doi.org/10.1177%2F1745691612463078

Wilson, A., Watson, C., Thompson, T. L., Drew, V., y Doyle, S. (2017). Learning analytics: Challenges and limitations. Teaching in Higher Education, 22(8), 991-1007. https://doi.org/10.1080/13562517.2017.1332026

Notas de autor