Este artículo presenta los resultados de la evaluación de experiencias de los MOOC que integran uno de los proyectos más relevantes apoyados por la Unión Europea. Los cursos masivos abiertos en línea (Massive Open Online Course, MOOC) han experimentado un gran crecimiento en los últimos años en el entorno universitario. Muchas universidades del mundo han implantado esta modalidad formativa innovadora con una oferta extensa y variada en cuanto a calidad y contenido. España, en concreto, destaca en el entorno europeo por su elevado crecimiento en la producción de cursos MOOC en temáticas multidisciplinares (Gea, 2015). Distintivamente, la Universidad Nacional de Educación a Distancia (UNED), dada su responsabilidad en el campo de la enseñanza superior a distancia, ha puesto en marcha cursos con esta modalidad de enseñanza desde 2012 (Gil-Jaurena, 2014) , con un éxito significativo por la respuesta obtenida y la cantidad de personas inscritas en ellos (Gil-Jaurena, Callejo y Agudo, 2017).

Los MOOC nacen alrededor del año 2008 en Estados Unidos; pero irrumpen con fuerza a partir del año 2012 (Pappano, 2012) como una nueva versión de la modalidad e-learning o un relevo de la misma (Martínez, Rodríguez y García, 2014). Entre otros motivos podría atribuirse su expansión a la contribución que hacen en lo que tiene que ver con el efecto social y/o democratizador del conocimiento que proveen. Aun cuando no puede dejarse a un lado el relevante capital simbólico de algunas de las instituciones universitarias que participaron en su lanzamiento: MIT, Stanford o Yale. Hay que subrayar que los MOOC permiten la formación de mucha gente, más allá de una élite social, a bajo coste y en abierto, a través de un amplio acceso (Roig, Mengual-Andrés y Suárez, 2014), convirtiéndolos en una alternativa formativa para sectores sociales y países económicamente desfavorecidos (Patru y Balaji, 2016). La función democratizadora de los MOOC ha tendido a ser una de las banderas de esta oferta formativa, incluida la que aquí queda analizada. Una función que se extiende en, al menos, tres líneas: a) evolución natural de la educación a distancia, en cuanto oferta con gran potencial para la expansión del conocimiento en la sociedad; b) puesta a disposición de todos los ciudadanos y, especialmente de aquellos que no han podido acceder a los estudios superiores, de formación desde instituciones universitarias de prestigio; llegando a países y rincones del mundo, especialmente a países en vías de desarrollo; y c) una perspectiva pedagógica en la que varias de las prácticas del proceso de formación, incluida la evaluación, es asumida por los estudiantes.

Desde la primera de las líneas de la función democratizadora, esta modalidad de cursos supone, más que ruptura, una evolución de la educación a distancia, otra forma, vertiente o dimensión de la misma (Canole, 2013; García-Aretio, 2015). Se trata de un nuevo medio de enseñanza y aprendizaje con gran potencial en cuanto a la expansión del conocimiento (Mackness, Mak y Willliams, 2010). Posibilita el acceso a la formación universal (Vázquez, López y Sarasola, 2013) facilitado por el uso de plataformas virtuales. A su vez, los cursos MOOC favorecen la educación continua (Bates, 2014), de la que se aprovecharían principalmente quienes, ya teniendo una formación previa, se plantean nuevas propuestas formativas o profesionales en una sociedad aceleradamente cambiante. Sin que pueda hablarse de funciones opuestas, parece evidente que el dominio de la extensión de la formación a quienes más dificultades para acceder a la misma tiene un carácter socialmente más democratizador que la segunda, que, incluso, puede interpretarse como una función que, más allá de sus intenciones manifiestas, puede tener consecuencias no queridas en clave de mayor diferenciación en la estructura social: los que ya tenían formación, disponen de más formación; mientras que quienes no la tenían siguen presentando problemas para acceder a la misma, incluso cuando se garantiza la gratuidad, en términos económicos, de la oferta, haciéndose nuevamente realidad el efecto Mateo -dibujado hace tiempo por Merton- aun cuando ahora pasando desde la sociología de la ciencia a la sociología de la educación: “a quien tiene, se le da”. Un dar más a los sectores de la población que ya tienen un alto nivel de formación, como apuntan Ho et al. (2015) y O’Brien (2015).

Más allá de los datos sociodemográficos de los participantes en los MOOC, detallados sistemáticamente en la literatura (Veletsianos y Shepherdson, 2016), queremos detenernos, asimismo, en lo relativo a los nuevos escenarios de aprendizaje que ofrecen estos cursos, con una base pedagógica distinta en sus formatos, con una perspectiva más inclusiva (Yeager, Hurley-Dasgupta y Bliss, 2013). En estos cursos, la interacción entre pares cobra especial relevancia en el proceso de aprendizaje, siendo considerada una de sus señas de identidad (Downes, 2013) y una de las claves en las que poder fundar su calidad (Hayes, 2015). Al tiempo que suponen nuevos desafíos (Aguaded, 2013) relacionados con el acceso abierto al conocimiento a través de la tecnología (Zapata, 2013). Pues bien, es en una de sus concreciones actuales, ofrecida desde distintas instituciones, en donde se focaliza este trabajo. En especial, se centra en una de las líneas de democratización removidas a partir de los MOOC, como la que plantea el enfrentamiento entre extensión entre el conjunto de capas de la sociedad, y la que apunta que de este tipo de oferta se benefician principalmente quienes ya están.

LA EVALUACIÓN DE LOS MOOC: EL PROYECTO ECO

El desarrollo futuro de los MOOC es completamente impredecible (Lewin, 2012). Por el momento, en torno a este fenómeno existen tanto posturas favorables en cuanto a su importancia, popularidad, alcance, calidad y valor social, como otras más negativas que lo consideran un movimiento destructivo respecto a su incidenci a en el panorama formativo y social (Vázquez-Cano y López, 2014), con críticas sobre sus estrategias pedagógicas, calificadas como pobres (Margayan, Bianco y Littlejohn, 2015); mientras que también se encuentran posiciones que buscan cierta equidistancia (Chamberlin y Parish, 2011), esperando a la progresión y mejor adaptación de la oferta.

Sea como fuere, la expansión y el impacto de este tipo de formación hace imprescindible que se valore la experiencia para situar el debate y la reflexión en torno a su alcance, éxito y calidad. Conocer las dimensiones y elementos más satisfactorios de experiencias MOOC y sus funciones en el conjunto del sistema educativo (Gil-Jaurena, Callejo y Agudo, 2017). El objetivo de este artículo es, por tanto, contribuir a un diagnóstico sobre las características y la calidad de la oferta de este tipo de cursos, sin entrar en el debate sobre los criterios de evaluación de su calidad en el que profundizan otros autores, diferenciando especialmente entre evaluación descriptivo-tipológica y la que hace hincapié en la conectividad (Rodríguez, 2012), y agencias de evaluación como son, entre otras, la Fundación Europea para la Calidad en e-Learning EFQUEL o la Agencia de Gestión de la Calidad para la Educación Superior QAA. Centrándonos en algunas de sus múltiples dimensiones, es importante conocer el perfil sociodemográfico de los estudiantes, su opinión respecto a la interacción y los aspectos técnicos, su evaluación de las dimensiones de los contenidos de los cursos, así como en sus expectativas a la hora de cursar este tipo de formación.

En definitiva, la propuesta consiste en evaluar la experiencia de los MOOC, integrando los anteriores aspectos, con la intención final de aportar información empírica que sirva para, en su caso, complementar un diagnóstico obligatorio a la hora del rediseño y la mejora de esta modalidad, avistando las sendas de sucesivas ediciones y decisiones. Para ello, este artículo se centra en la evaluación realizada de los MOOC que integran uno de los proyectos europeos más relevantes apoyados por la Unión Europea. El material empírico analizado en este trabajo procede de dos encuestas online destinadas a evaluar los distintos MOOC incluidos en el proyecto internacional ECO¹. De hecho, se corresponde con la segunda y la tercera evaluación del proyecto, debiéndose entender que la primera evaluación adquirió el carácter de pretest o evaluación de prueba, siendo, además, buena parte de sus “estudiantes” profesores que se encargarán de desarrollar un MOOC en las siguientes ediciones del proyecto.

La propia filosofía del proyecto ECO da una especial relevancia a la evaluación de las distintas propuestas de los mismos. No se trata de ofrecer una serie de contenidos sino de plantear y observar el funcionamiento de distintas metodologías, con el objetivo de obtener una aproximación a las mejores prácticas que ayuden a configurar propuestas para el desarrollo de este tipo de cursos a distintos contextos y países europeos, como a distintas disciplinas. De hecho, ya para la segunda evaluación, aparecen ofertados cursos en distintas lenguas (portugués, italiano, inglés, francés y holandés, además de español, que constituye la mayoría), ubicados en instituciones universitarias de distintos países y de distintas materias, yendo desde aquellos con contenidos más dirigidos a profesionales de la educación –la parte más importante en el comienzo del proyecto, como base para multiplicar la oferta de cursos MOOC en los más diversos campos con posterioridad- a aquellos con contenidos más generales o instrumentales, como el curso de aprendizaje de inglés. Hay que subrayar que el importante peso de los MOOC educativos está integrado en la propia filosofía del proyecto, ya que su primera etapa tuvo entre sus objetivos principales formar a personas capaces de diseñar MOOC. Así, abordando la evaluación de la segunda y tercera edición de ofertas de cursos del proyecto ECO, se tiene el perfil de estudiantes interesados en este tipo de oferta, y no tanto el de estudiantes interesados en cómo son estos cursos, para encargarse posteriormente de ellos.

METODOLOGÍA

En este trabajo se analizan dos encuestas online destinadas a evaluar los cursos MOOC incluidos en el proyecto internacional ECO, relativas a la segunda y a la tercera edición del proyecto. El cuestionario auto-administrado estaba disponible en seis idiomas: inglés, francés, alemán, italiano, portugués y español, con independencia del idioma que regía el curso en el que se había registrado el estudiante. Se usó la aplicación Lime Survey, que es open source, para la construcción de la base de datos.

La primera evaluación realizada correspondió a una evaluación de prueba cuyos resultados fueron tenidos en cuenta para las siguientes fases, pero no se presentan aquí. Tenía carácter de pretest, para el propio proceso de evaluación, y los estudiantes eran preferentemente profesores de los futuros MOOC. En la evaluación de las dos ediciones, responder a los cuestionarios que se han analizado era obligatorio para la obtención del certificado en el que constase la realización del curso MOOC del proyecto ECO realizado.

Aun cuando era posible conseguir el certificado sin completar el total del curso, parece legítimo sustentar que quienes tuvieran mayores expectativas de tal finalización del curso eran los más inclinados a responder al cuestionario y, por lo tanto, formar parte de la evaluación. Es decir, puede hablarse de cierta inclinación a que se encuentren sobrerrepresentados en las respuestas quienes están en el camino de una experiencia positiva, en la medida que se lograr alcanzar su final, huyendo de la respuesta al cuestionario precisamente aquellos que abandonaron prematuramente el curso. Es algo con lo que había que lidiar en el desarrollo del propio proyecto ECO y que llevaba, por un lado, a hacer participar al mayor número de registrados en los cursos, para tener bases muestrales de suficiente tamaño, especialmente para los cursos con menor número de cursillistas. Y, por otro lado, a ser prudente en la interpretación positiva y absoluta de los resultados, de manera que la estrategia dominante de análisis se ubicaba en la comparación entre evaluaciones.

En cuanto al abandono –tal como se expone en el documento titulado “Eco: Elearning, Communication and Open-data: Massive Mobile, Ubiquitous and Open-Learning. D4.8 Appendices– registradas a partir de Learning Analytics, inicia los cursos el 31% de los que se registran. Del mismo total inicial, solo acaba los cursos el 4%. Por lo tanto, una de cada 25 personas que se interesaron por los cursos, registrándose en alguno de ellos, lo acabó. Ahora bien, si se tiene solo en cuenta quienes lo empezaron, el abandono se queda en casi nueve (87,1%) de cada diez.

El cuestionario online que sirvió como instrumento para la evaluación estaba disponible para los estudiantes desde la mitad de la duración del curso, teniendo en cuenta el diseño cronológico del mismo. Se avisaba a los cursillistas de su inclusión, así como se recordaba la misma y la obligación de completarlo, por quieres querían obtener certificado de reconocimiento de la realización del curso. Recordatorio que era más frecuente en los períodos finales del curso. El plazo para cumplimentarlo se extendía tres semanas una vez terminado el desarrollo de los contenidos del curso.

Aun cuando en el tratamiento de las respuestas se anonimizó el archivo resultante, cumpliendo con el compromiso previo con los encuestados, se establecieron claves de identificación para evitar la posibilidad de completar varios cuestionarios. Así, solo se podía realizar uno por estudiante/curso.

El cuestionario constaba de 30 preguntas, de las que las seis iniciales estaban destinadas a fijar el perfil sociodemográfico del estudiante (edad, género, país, nivel de estudios, actividad y ocupación). Cuatro de las preguntas adquirían la forma de batería, destinados a recoger los distintos aspectos de la valoración de: contenidos del curso (pregunta 9, 5 ítems), diseño del curso (p. 12, 11 ítems), desarrollo del curso (p.24, 5 ítems) y participación (p.17 4 ítems). El tiempo medio dedicado a completar el cuestionario fue de 13 minutos y 54 segundos.

El total de cuestionarios analizados asciende a 1.654 unidades. El número de quienes contestaron a la primera evaluación fue de 725, procedentes de 18 cursos; mientras que el de la segunda fue de 929 personas registradas en algunos de los 21 cursos propuestos. Hay que tener en cuenta que el proyecto ECO tiene la particularidad de que se van añadiendo y, en su caso, dejando de ofrecer cursos en cada una de sus convocatorias. De hecho, entre una y otra de las convocatorias aquí analizadas se mantuvieron 17 cursos, se eliminó 1 y se ofrecieron 4 nuevos cursos. El período de completitud del cuestionario fue el mes de julio de 2015 y entre el mes de diciembre de 2015 y enero de 2016, cubriendo así el primer y segundo semestre del año, disponiéndose de los resultados finales en septiembre de 2015 y enero de 2016 respectivamente.

Como no podía ser de otra manera, el registro en los cursos era voluntario. Ahora bien, en la medida que puede incidir en la especial conformación de la muestra, es importante reflejar los canales de información por los que recibieron información sobre el MOOC que realizaron, tal como se refleja en la siguiente tabla:

La página web de la Universidad, la página web de ECO Learning y los amigos o redes sociales son los canales por los que se han informado sobre el curso la mayor parte de cursillistas, tanto en la segunda como en la tercera evaluación. Muy pocos, sin embargo, se han informado a través de blogs o artículos de prensa. Ocho de cada diez se han informado a través de motores de búsqueda, y poco más o menos representa el porcentaje de los informados a través de Newsletter o e-mail, que tiene un notable incremento de su peso relativo en la tercera edición. Hay que hacer notar cómo una de las fuentes de información con más peso relativo se encuentra en el ámbito universitario –Universidad participante en el proyecto– lo que puede tener su influencia en la producción del perfil de los estudiantes.

RESULTADOS: PERFILES Y COMPARACIONES ENTRE LAS DOS EVALUACIONES

Respecto al perfil sociodemográfico, la edad media de quienes han respondido a la encuesta está alrededor de los 40 años. Una edad que puede considerarse relativamente alta y muy vinculada a la ocupación, desde el punto de vista de la inscripción sociodemográfica, y a la actualización de conocimientos desde el punto de vista de la formación. Sin embargo, lo llamativo son los extremos, ya que, salvo error a la hora de consignar la edad, se ha registrado un cursillista con 99 años y, por el otro lado, un joven con 17 años.

El 55,5% del total de encuestados está formado por mujeres; mientras que el 42,7% está formado por hombres. Un 1,8% no ha deseado expresamente marcar el sexo. Si en la segunda evaluación (2015) se recogían 30 países distintos de residencia de los encuestados, en la siguiente (2016) se pasaba a 37 países; aun cuando tres de cada cinco residen en España. Pero lo más importante para el foco de este trabajo es que, en consonancia con otros estudios (Emanuel, 2013; Jordan, 2014), la mayoría de encuestados (siete de cada diez) disponen de un título universitario. Hay que tener en cuenta que en la propuesta de cursos evaluada en 2016 se incluía un curso que estaba destinado a mejorar las competencias de inglés, para superar los exámenes de B1, que seguramente atrajo a estudiantes cuyo nivel máximo de formación se encontraba en la Secundaria, posibilitando que quienes estaban en este nivel de estudio alcanzasen un tercio del total de cursillistas. Pero, en el resto de cursos, el dominio de estudiantes universitarios era casi absoluto.

En cuanto al empleo, el 47% son empleados a tiempo completo, el 18% empleados a tiempo parcial, el 20% desempleados, pudiéndose señalar la presencia de un 1,4% de cursillistas jubilados o retirados.

La evaluación de las dimensiones más generales y englobantes del conjunto de los cursos realizados muestra: a) una notable estabilidad; y b) tal estabilidad es positiva. En todas ellas, el grado de acuerdo con los calificativos (positivos) presentados ha sido elevado. Por encima de un 80% del completamente de acuerdo o de acuerdo en alto grado con tal calificativo se han situado casi todos los perfiles vinculados con los contenidos de los cursos –adecuación a la materia del curso, interés, actualización– con la única excepción de la accesibilidad con distintas habilidades y experiencias de aprendizaje, que se ha quedado en un 74% en la 2ª evaluación (2015). Donde tal estabilidad queda más evidente es al abordar precisamente la máxima valoración que, por su carácter relativamente extremo, podría tener mayor variación. En la figura 1, puede observarse la misma para cada uno de los ítems. Hay que resaltar cómo en la variable percepción de la actualización de los cursos prácticamente se obtiene el mismo porcentaje (47%) de quienes opinan que están completamente de acuerdo con que se trata de cursos que están actualizados.

Tal estabilidad se convierte en ligera mejora, desde una evaluación a otra, cuando se abordan los aspectos relativos a los materiales del curso. Hay que tener en cuenta que la difrencia entre la evaluación de una edición y otra son estadísticamente significativas (Chi-cuadrado <0,000). Ello se debe principalmente al hecho de que una proporción de las respuestas que en la evaluación de 2015 se habían quedado en la categoría ordinalmente central (adecuada), habían pasado a las categorías de muy buena o buena, con la relativa excepción de la evaluación de los materiales audiovisuales, donde hay un 2,5% menos que los valoran como muy pobres, y, sobre todo, el descenso en las valoraciones negativas (pobres o muy pobres) de dimensiones como respuestas del equipo docente y el soporte técnico.

Como muestra la tabla 3c, las mayores variaciones –absolutas: tanto positivas como negativas– se producen en el apartado relativo a las respuestas del equipo docente, con una relativa mejoría. Le siguen, también desde la mejoría, las variaciones experimentadas en cuando al soporte técnico y la adecuación de quizzes y tests. La menor variación se produce con respecto a la valoración de la documentación, que parece un aspecto bastante asentado.

El objetivo que aparece con menor apoyo es la promoción de la interacción entre los estudiantes del curso; cuestión que adquiere un lugar clave en los diseños didácticos de los MO del proyecto ECO, intentando observar el papel que puede llegar a jugar metodologías didácticas más horizontales. Pues bien, una cuarta parte ha respondido que se logra este objetivo completamente y un 39% que en gran medida, lo que hace que dos de cada tres estudiantes, que han participado en la encuesta, consideren que se ha logrado este objetivo. No obstante, casi el 4% apunta a una inadecuación de este aspecto en la tercera evaluación (2016). Un porcentaje que es inferior al que se reflejó en las dos evaluaciones anteriores, ya que se encontraba entre el 6% y el 7%. No obstante, como se refleja en la figura siguiente, la variación –dentro de la valoración positiva general- ha sido escasa entre las dos evaluaciones. Puede hablarse de una valoración positiva muy estable.

Siguiendo con los aspectos relacionados con la interacción, centrados ahora en los apoyos recibidos, el único elemento destacable en la comparación es el aumento de los que responden “no sé”, que, tal como se ha interpretado, quiere decir que no se ha echado en falta tal apoyo, por lo que no se ha entrado a valorar por los encuestados.

Además, se pregunta por la experiencia de ser evaluado por parte de otros estudiantes. Cuestión arco de bóveda de la metodología horizontal y democratizadora de la propuesta. Pues bien, aparece un notable interés, de modo que a más del 72% les ha resultado interesante como método de evaluación. Sin embargo, hay cierta distancia entre tal interés y la opinión sobre la justicia del mismo, ya que el 39% mantiene que es un método poco o nada justo. A los compañeros de curso se les tiende a ver más como potenciales colaboradores, como fuentes instrumentales para llevar a cabo los trabajos, que como competentes jueces. Así, la interacción social en general experimentada durante el curso ha sido considerada como excelente por el 18% de los encuestados y como buena por un 43,5%. De hecho, hay tres dimensiones de esta experiencia –interacción social en general, post y proyectos u otros trabajos compartidos por los compañeros– cuya valoración positiva (excelente o buena) sobrepasa o se encuentra cerca del 60%. Sin embargo, la distancia del criterio juzgador de los otros participantes se manifiesta en el hecho de que el 18% (3ª evaluación) considera pobre el feedback recibido de los otros con respecto al propio trabajo. Tal vez se esperaba más de ellos. Una opinión crítica que se encuentra en semejantes niveles en las dos evaluaciones consideradas.

¿En qué objetivan el logro los cursillistas cuando se registran en este tipo de cursos? Claro está, es algo que tiene que ver con las expectativas. Pues bien, tres de cada cuatro señalan como objetivo aprender, ya sea por aumento de su conocimiento, ya sea proyectado en la adquisición de nuevas competencias.

La obtención de un certificado es el objetivo del 41%. El paso a la tercera posición de la búsqueda de mejora de las oportunidades laborales refleja el importante peso en esta evaluación de los desempleados. Después, descendiendo en la tercera evaluación con respecto a la segunda evaluación, destaca el relativo alto porcentaje de participantes en la encuesta que, de una u otra manera, señalan lo que podrían denominarse motivos exploratorios, el sumergirse en la experiencia de los MOOC (26,8%), conocer la oferta de ECO (18%) o probar la educación online (18%). Registrarse en estos cursos por probar o experimentar algo que no se había experimentado antes es, sin duda, razonable, dado el nulo coste económico de tal registro; pero constituye un débil punto de partida para finalizar el curso, ya que entonces entran costes de otro tipo, como el coste temporal. Es por ello que conviene fijar qué proporción de participantes en la encuesta han acabado el curso y que, por lo tanto, tienen una visión amplia del mismo para fundamentar sus opiniones generales sobre el mismo y su experiencia.

La perspectiva longitudinal que ofrece el disponer de varias evaluaciones indica, sin embargo, el descenso de la proporción de quienes se registran en este tipo de cursos para saber qué es un MOOC. Parece así que este tipo de cursos empieza a naturalizarse, a normalizarse. Hay que tener en cuenta que en la tercera evaluación el 48% tenía experiencia previa en MOOC y que incluso el 57% de estos cursillistas con experiencia habían logrado acabar al menos algún MOOC. Es decir, que su experiencia previa se sostiene sobre una visión general y completa de, al menos, un MOOC.

Cada vez son más los que hacen MOOC habiéndolos hecho; pero tal vez una cuestión más transcendental –en cuanto apunta hacia el futuro– es si participarían en más experiencias de este tipo de cursos. Es lo que nos daría una aproximación hacia el horizonte de los MOOC. Con las precauciones que han de tomarse ante los resultados observados, hay que ser optimistas, ya que la gran mayoría volvería a realizar otro MOOC. Claro está, las precauciones derivan de que, por la propia filosofía del proyecto ECO, existe una inclinación favorable previa hacia este tipo de oferta educativa. Pero, tal vez lo más interesante del resultado –mostrado en la figura 6– es la evolución de esas respuestas favorables a realizar otro curso MOOC. Ahora, para tener mayor perspectiva, se tiene en cuenta incluso la primera evaluación, cuando cabe asumir que los cursillistas que participaron en algunas de las ofertas del proyecto, teniendo el carácter casi de sujetos experimentales, estaban abiertos a estas nuevas concreciones educativas. Pues bien, el resultado muestra una tendencia positiva. Si en la primera evaluación el porcentaje de quienes volverían a hacer un MOOC, dentro del proyecto ECO, ascendía al 78%, dos concreciones de la oferta del propio proyecto después, el porcentaje asciende cinco puntos porcentuales más: 83% (diferencia significativa <0,000 en la prueba del Chi-cuadrado).

CONCLUSIONES

La evaluación de los cursos online masivos abiertos resulta tarea obligada dado el impacto que estos han tenido en el entorno universitario en los últimos años. Dicha evaluación es imprescindible de cara al futuro desarrollo de los mismos. Es cierto que, como apuntan Rohos y Ganz (2015) y Cabero-Almenara, Marín-Díaz y Sampedro-Requena (2017), ya no es tanta la ilusión que crean, si se compara con su impulso inicial. Por ello, es momento de comprobar si algunas de sus promesas, como el efecto social y democratizador del conocimiento que se le atribuye a esta modalidad de cursos cobra realidad o queda en promesas de un experimento pasajero. Para esta evaluación, aún hay que dejar que pase algo de tiempo. Mientras tanto, es de crucial importancia constatar y discutir en torno a la calidad de la oferta y el alcance de los mismos, pues, más allá de su modalidad, ponen en juego nuevas dimensiones a evaluar. Por ello, la práctica de la evaluación y la reflexión sobre los MOOC, aportará grandes contribuciones de cara al desarrollo futuro de este tipo de formación y otros tipos de formación que, con carácter semejante, puedan surgir en el futuro.

En este artículo nos hemos centrado en algunas de las múltiples dimensiones que se valoran de la experiencia, con el fin de aportar información específica al debate y la reflexión en torno a un medio de enseñanza y aprendizaje que parece contar con un gran potencial de cara a la expansión del conocimiento. En concreto, se ha evaluado la experiencia de los MOOC integrando aspectos relativos al perfil sociodemográfico de los estudiantes, su opinión respecto a la interacción, su evaluación de las dimensiones de los contenidos de los cursos y sus expectativas a la hora de cursar este tipo de formación en dos momentos distintos del tiempo.

Los resultados extraídos de las encuestas destinadas a evaluar los MOOC en el proyecto internacional de referencia permiten observar el funcionamiento de distintas metodologías y aproximarse a las mejores prácticas con el objetivo de contribuir a configurar propuestas para el desarrollo de estos cursos a distintos contextos y países europeos, y a distintas disciplinas. Estos resultados provienen de la respuesta de 1.654 personas repartidas en dos evaluaciones, de 18 cursos para el caso de la primera y de 21 en la segunda evaluación, realizadas en el primer y en el segundo semestre del año 2015

La media de edad de las personas que han respondido a la encuesta es relativamente alta y muy vinculada a la ocupación desde el punto de vista de la inscripción sociodemográfica, y a la actualización de conocimientos desde el punto de vista de la formación. Más de la mitad son mujeres, representando los hombres el 42,7% de la muestra analizada. Destaca el elevado porcentaje de cursillistas con título universitario, casi la mitad, y también el de empleados a tiempo completo, sin despreciar que dos de cada diez estén desempleados. Efectivamente, en los resultados de la investigación que se presenta en este artículo destaca el elevado porcentaje de personas con título universitario realizando este tipo de cursos, así como los que entre sus expectativas destacan aprender cosas nuevas o mejorar las opciones laborales. Es decir, es la controversia sobre si su público son sectores desfavorecidos, a los que se da acceso a una formación de calidad promovida por grandes y reconocidas instituciones o realmente constituyen un refuerzo de sectores con un nivel medio-alto de formación, los resultados de la investigación y en concordancia con otras: Ho et al. (2015) y O´Brien (2015) se inclinan por la segunda afirmación.

En nuestra observación, destaca la estabilidad en la evaluación de las dimensiones tomadas en cuenta, especialmente de las más generales del conjunto de los cursos. Una estabilidad que puede tomarse como indicador indirecto de fiabilidad del instrumento utilizado. Una estabilidad que tiene un sentido favorable, tanto por la valoración dada a las dimensiones, como por el grado de satisfacción mostrado, como, sobre todo, por la extendida expectativa de hacer nuevos cursos.

El grado de acuerdo de los cursillistas con los calificativos positivos sobre los contenidos de los cursos es elevado, así como con relación a: actualización de los cursos, materiales utilizados, equipo docente y soporte técnico. De manera comparada, el objetivo que cuenta con menor apoyo, aun siendo positivo, es la promoción de las interacciones entre los estudiantes del curso, cuestión relevante si se atiende al papel que puedan tener las metodologías didácticas más horizontales. De hecho, la interacción en esta modalidad de cursos masivos se ha convertido en el arco de bóveda para obtener altos grados de satisfacción (Khalil y Ebner, 2016). Respecto a los apoyos recibidos parece que esta no es una cuestión crucial para los encuestados que no manifiestan echar en falta dicho apoyo. No obstante, se considera interesante el método la evaluación horizontal aunque la opinión sobre la justicia del mismo no sea del todo buena, pues casi cuatro de cada diez lo juzgan como un método poco o nada justo. De manera que a los compañeros de curso se les comprende más como potenciales colaboradores y fuentes instrumentales para llevar a cabo los trabajos que como jueces competentes. Las dimensiones relativas a la experiencia de la interacción social en general son valoradas positivamente, sin embargo, se tiene una opinión crítica respecto al feedback recibido de los otros respecto al trabajo propio, que se considera pobre en las dos evaluaciones consideradas.

Entre las expectativas de los estudiantes de este tipo de cursos destacan las de aprender bien por aumento de conocimiento, bien proyectando en la adquisición de nuevas competencias. Es elevada también la proporción de cursillistas en busca de un certificado o de mejora en las oportunidades laborales, lo que refleja es el importante peso dado a los valores credencialistas, como la relevancia que se da a este tipo de cursos como fuente de tales credenciales, con potencial reconocimiento en distintas esferas. Esta conclusión incide en la idea de que este tipo de cursos benefician preferentemente a quienes ya tienen cursos en sus espaldas.

En cuanto al aspecto exploratorio cabe destacar que la proporción de quienes se registran en estos cursos para saber qué es un MOOC desciende de una evaluación a otra, lo que puede estar indicando que esta modalidad de cursos comienza a naturalizarse. En este sentido, de la tercera evaluación analizada destaca que para los cursillistas no era una expectativa muy compartida el probar la educación online o iniciarse en la experiencia de los MOOC pues casi la mitad de los encuestados contaba con experiencia previa en estos cursos. Cada vez son más los que hacen MOOC habiéndolos hecho antes; pero, apuntando hacia el futuro horizonte de los mismos, los resultados de las evaluaciones realizadas permiten ser optimistas dado que la gran mayoría volvería a realizar cursos de este tipo. Pero otra cosa es, a partir de estas conclusiones, hipersignificar su dimensión democratizadora, ya que ni aparecen solicitados por quienes no acceden a la formación, ni alguno de sus aspectos más democratizadores, como la evaluación por parte de los propios estudiantes, está ampliamente aceptado.

REFERENCIAS BIBLIOGRÁFICAS

Aguaded, J. I. (2013). La revolución MOOCs, ¿una nueva educación desde el paradigma tecnológico? Comunicar, 41, 7-8. doi: https://doi.org/10.3916/C41-2013-a1

Bates, T. (2014). The strengths and weaknesses of MOCCs: Part I. Blog Online Learning and Distance Education Resources. Blog online learning and distance education resources. Recuperado de http://www.tonybates.ca/2014/10/19/the-strengths-and-weaknesses-of-moocs-part-i/

Cabero-Almenara, J., Marín-Díaz, V., y Sampedro-Requena, B. E. (2017). Aportaciones desde la investigación para la utilización educativa de los MOOC. Revista Española de Pedagogía, 75(266), 7-27. doi: 10.22550/REP75-1-2017-01.

Chamberlin, L., y Parish, T. (2011). MOOC: Massive Open Online Courses or Massive and Often Obtuse Courses? eLearn, 8. doi: 10.1145/2016016.2016017.

Conole, G. (2013, octubre). Los MOOC como tecnologías disruptivas: estrategias para mejorar la experiencia de aprendizaje y la calidad de los MOOC. Campus Virtuales. Revista científica iberoamericana de tecnología educativa, 2(2), 16-28.

Downes, S. (2013, April 24). The quality of massive open online courses. Recuperado de http://mooc.efquel.org/files/2013/05/week2-The-quality-of-massive-open-online-courses-StephenDownes.pdf

Emanuel, E. J. (2013). Online education: MOOCs taken by educated few. Nature, 503(342). doi: http://dx.doi.org/10.1038/503342a

García Aretio, L. (2015). ¿… Y antes de los MOOC? Revista Española de Educación Comparada, 26, 97-115. doi: 10.5944/reec.26.2015.14775.

Gea, M. (Coord.) (2015). Informe MOOC y criterios de calidad. Madrid, CRUE.

Gil-Jaurena, I. (2014, April). Open educational policies and practices in the Spanish National Distance Education University: UNED Abierta (UNED OER programme). OCWC Global Conference 2014 Proceedings. Open Education for a multicultural world, Ljubljana (Slovenia). Recuperado de http://conference.ocwconsortium.org/2014/wp-content/uploads/2014/02/Paper_58-UNED1.pdf

Gil-Jaurena, I., Callejo, J., y Agudo, Y. (2017). Evaluation of the UNED MOOCs

Hayes, S. (2015, July). MOOCs and quality: A review of the recent literature. Gloucester, UK: The Quality Assurance Agency for Higher Education. Recuperado de http://www.qaa.ac.uk/en/Publications/Documents/MOOCs-and-Quality-Literature-Review-15.pdf

Ho, A. D., Chuang, I., Reich, J., Coleman, C., Whitehill, J., Northcutt, C., y Petersen, R. (2015). HarvardX and MITx: Two years of open online courses fall 2012 – summer 2014. HarvardX Working Paper No. 10. doi: 10.2139/ssrn.2586847.

Jordan, K. (2014). Initial trends in enrolment and completion of massive open online courses. The International Review of Research in Open and Distributed Learning, 15(1). doi: http://dx.doi.org/10.19173/irrodl.v15i1.165

Khalil, H., y Ebner, M. (2016). “How Satisfied Are You With Your MOOC?” —A Research Study About Interaction in Huge Online Courses. Journalism & Mass Communication Quarterly, 5(12), 629-639. doi: 10.17265/2160-6579/2015.12.003.

Lewin, T. (2012). Education Site Expands Slate of Universities and Courses. New York Times. Recuperado de http://www.nytimes.com/2012/09/19/education/coursera-adds-more-ivy-league-partner-universities.html?_r=0

Mackness, J., Mak, S., y Williams, R. (2010). The ideals and reality of participating in a MOOC. In V. Dirckinck-Holmfeld et al. (Eds.). Proceedings of the 7th International Conference on Networked Learning 2010. Lancaster. Lancaster University, 266-274.

Margaryan, A., Bianco, M., y Littlejohn, A. (2015). Instructional quality of massive open online courses (MOOCs), Computers & Education, 80, 77-83. doi:10.1016/j.compedu.2014.08.005.

Martínez Abad, F., Rodríguez Conde, M. J., y García Peñalvo, F. J. (2014). Evaluación del impacto del término “MOOC” vs “elearning” en la literatura científica y de divulgación. Profesorado. Revista de Currículum y Formación de Profesorado, 1 8(1), 185-201 Universidad de Granada Granada, España.

O’Brien, L. (2015). Duke University annual report 2014–2015. Recuperado de http://docplayer.net/1358780-2014-2015-annual-report.html

Pappano, L. (2012). The Year of the MOOC. The New York Times. Recuperado de http://www.nytimes.com/2012/11/04/education/edlife/massive-open-online-courses-are-multiplying-at-a-rapid-pace.html

Patru, M., y Balaji, V. (2016). Making sense of MOOCs: A guide for policy-makers in developing countries. Commonwealth of Learning (COL). Recuperado de https://oerknowledgecloud.org/sites/oerknowledgecloud.org/files/2016_Guide-on-MOOCs-for-Policy-Makers-in-Developing-Countries%20(2).pdf

Rodriguez, C. O. (2012): MOOCs and the AI-Stanford like courses: Two successful and distinct course formats for Massive Open Online Courses, European Journal of Open, Distance and eLearning. Recuperado de http://www.eric.ed.gov/PDFS/EJ982976.pdf

Roig, R., Mengual-Andres, S., y Suárez, C. (2014). Evaluación de la calidad pedagógica de los MOOC. Profesorado: Revista de curriculum y formación del profesorado, 18(1), 27-41 Recuperado de http://www.ugr.es/~recfpro/rev181ART2.pdf

Rohs, M., y Ganz, M. (2015). MOOCs and the claim of education for all: a disillusion by empirical data. International Review of Research in Open and Distributed Learning, 16(6), 1-18.

Veletsianos, G., y Shepherdson, P. (2016). A systematic analysis and synthesis of the empirical MOOC literature published in 2013-2015. The International Review of Research in Open and Distributed Learning, 17(2). doi: http://dx.doi.org/10.19173/irrodl.v17i2.2448

Vázquez, E., López, E., y Sarasola, J. L. (2013). La expansión del conocimiento en abierto: los MOOC. Barcelona. Octaedro ICE.

Vázquez-Cano, E., y López, E. (2014). Los MOOC y la educación superior: la expansión del conocimiento. Profesorado. Revista de currículum y formación del profesorado, 18(1), 3-12.

Zapata, M. (2013). MOOC, una visión crítica. El valor no está en el ejemplar. Recuperado de a http://eprints.rclis.org/18452/1/MOOC_critica_Elis.pdf

Notas

Notas de autor