Monográfico

Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación en Educación Superior

e-Learning Quality: Identification of its Dimensions, Proposal and Validation of a Model for its Assessment in Higher Education

Alberto Ortiz-López 1
Universidad de Salamanca, USAL (España), España
Susana Olmos-Migueláñez 2
Universidad de Salamanca, USAL (España), España
José Carlos Sánchez-Prieto 3
Universidad de Salamanca, USAL (España), España

Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación en Educación Superior

RIED. Revista Iberoamericana de Educación a Distancia, vol. 24, núm. 2, 2021

Asociación Iberoamericana de Educación Superior a Distancia

Recepción: 11 Diciembre 2020

Aprobación: 12 Febrero 2021

Cómo referenciar este artículo: Ortiz-López, A., Olmos-Migueláñez, S., y Sánchez-Prieto, J. C. (2021). Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación en Educación Superior. RIED. Revista Iberoamericana de Educación a Distancia, 24(2), pp. 225-243. https://doi.org/10.5944/ried.24.2.29073

Resumen: La evaluación de la calidad en instituciones de Educación Superior es un proceso no estandarizado y dependiente de cada institución universitaria. La digitalización de la docencia y las situaciones acontecidas en los últimos tiempos han provocado un aumento notable en el interés y la relevancia del e-Learning en los procesos de enseñanza/aprendizaje; entendiendo también la calidad como un elemento fundamental en su evaluación y mejora. Esta investigación propone la identificación de las dimensiones relativas a la calidad del e-Learning, denotando la necesidad de un nuevo marco evaluativo tras el análisis de la literatura y generando un nuevo modelo. Tras su construcción, el estudio se centró en la validación de su contenido por cuatro jueces expertos en materia de evaluación de la calidad y de e-Learning. Este proceso de validación incluyó la elaboración de una herramienta para la evaluación de dimensiones e ítems y una presentación del modelo. Por otro lado, para la evaluación de resultados se realizó una evaluación cualitativa (análisis de contenidos y sugerencias) y una evaluación cuantitativa (analizada mediante estadísticos descriptivos y el cálculo del CVC). Esta validación mostró un alto nivel de aceptación y conformidad de los jueces con el modelo, las dimensiones y los ítems propuestos. Partiendo de esta validación se elaboró el modelo definitivo que consta de cuatro dimensiones principales, 14 subdimensiones y un total de 80 indicadores que tratan de evaluar cada factor de calidad relevante en e-Learning. Las limitaciones y futuras vías de investigación derivadas de la propuesta se presentan en las conclusiones finales.

Palabras clave: evaluación, calidad de la enseñanza, tecnología de la educación, enseñanza superior, método de enseñanza, construcción de modelos.

Abstract: Quality assessment in higher education institutions is a non-standardised process and it depends on each university. The digitalisation of teaching and the situations, which have occurred in recent times, have led to a notable increase in the interest and relevance of e-Learning in both the teaching as well as the learning processes, with quality also being understood as a fundamental element in its evaluation and improvement. This research proposes the identification of the dimensions related to the e-Learning quality, noting the need of a new evaluative framework according to the analysis of the literature and, also, generating a new model. After its construction, this study focused on the validation of its content by four expert judges in the quality evaluation and e-Learning fields. This validation process included the development of a tool for the evaluation of its dimensions and items, as well as a presentation of the model. On the other hand, both a qualitative evaluation (content analysis and suggestions) as well as a quantitative evaluation (analysed through descriptive statistics and the CVC calculation) were carried out for evaluating the outcomes. This validation showed a high level of acceptance and conformity of the judges with the model, the dimensions and the proposed items. Based on this validation, the final model was developed consisting of four main dimensions, 14 sub-dimensions and a total of 80 indicators that attempt to assess each relevant quality factor in e-Learning. Limitations and future avenues of research derived from the proposal are presented in the final conclusions.

Keywords: assessment, quality of teaching, education technology, higher education, teaching method, model building.

La Educación Superior se encuentra hoy inmersa en una amplia transformación hacia la digitalización de sus enseñanzas, servicios y procesos; y hacia la mejora de la calidad tanto de su docencia como de todos aquellos factores externos que la condicionan y que dependen de la propia institución. Esta constante reflexión y mejora de los procesos hacia la consecución de altos niveles de calidad es hoy una de las principales hojas de ruta para cualquier entidad y profesional que la conforma, y es aquí donde la intervención de los nuevos escenarios y marcos de aprendizaje condiciona y cuestiona todo el proceso de consecución de la calidad, de su relevancia y sus diferentes interpretaciones (Fernández et al., 1999; Córdova et al., 2017).

En la transformación hacia las enseñanzas en red son dos las vertientes bibliográficas que se posicionan en función de la concepción de la calidad en e-Learning. Así, mientras que parte de la comunidad científica considera fundamental partir de una reestructuración y replanteamiento de las dimensiones clásicas de evaluación de la calidad en el ámbito presencial, valorando su adecuación y su nueva dimensionalización de cara a una correcta evaluación en este ámbito; otros consideran que la evaluación ha de ser exactamente la misma (sin cambiar la dimensionalización de la calidad), solamente difiriendo en los pesos de sus dimensiones (Marciniak y Gairín-Sallán, 2017).

Estos cambios que hoy se producen en la mayoría de enseñanzas tienen como principal sustento las Tecnologías de la Información y la Comunicación (TIC), las cuales permiten la configuración de procesos de enseñanza a las características del estudiante, la adaptación de estilos de aprendizaje, la posibilidad de una interacción mayor, más rápida y más síncrona; y la implementación de modelos de calidad, no solo centrados en la variable tecnológica sino también en las variables didácticas, organizativas y pedagógicas de la enseñanza en su término más amplio (Almenara, 2006).

Los avances que la Educación Superior dirigía en los últimos años hacia esta modalidad se impulsan hoy a causa de las repercusiones educativas de la crisis sanitaria del COVID-19, la cual ha obligado a realizar una fugaz reestructuración de los marcos de enseñanza (derivado del cese forzado de la presencialidad) y una rápida adaptación a los entornos virtuales de aprendizaje, en la que el e-Learning se presenta como la única alternativa viable a la continuación del proceso de enseñanza-aprendizaje (Aguas-Díaz et al., 2020). El problema que esta adaptación ha tenido deriva de la falta de consenso y la heterogeneidad de las características encontradas en función de la institución, la plataforma o el perfil de cada docente; entre otros. Además, la rapidez de cambio e implementación de nuevos modelos requiere también de la evaluación de la calidad de dichos cambios, la cual es esencial para la justificación y el correcto desarrollo del e-Learning. Por otro lado, es importante que el docente y la institución cuente con ayudas en el proceso de migración a la educación virtual (Moreno-Correa, 2020).

El e-Learning y las grandes readaptaciones que su implementación supone requiere también una gran flexibilidad académica e institucional, ya que todavía son escasos los protocolos concretos para la planificación y ejecución de esta nueva modalidad de enseñanza en muchas instituciones de Educación Superior (Cerdas-Montano et al., 2020), por lo que es fundamental evaluar la calidad de cada paso y cada avance. Esta calidad e-Learning, según Seoane y García-Peñalvo (2010), es definida como la “adecuación y relación directa de recursos técnicos, humanos, tecnológicos, métodos y herramientas utilizados en el proceso de enseñanza-aprendizaje virtual, acorde a las necesidades y expectativas de los estudiantes con el fin de garantizar la optimización del proceso de aprendizaje” (p. 156).

En lo que a las diferentes perspectivas respecta, Colás et al. (2005) presentan que e-Learning ha de considerar, para una evaluación completa; la perspectiva tecnológica (valoración de la calidad de las plataformas, orientadas a la adecuación de los cursos y enseñanzas), la perspectiva pedagógica (necesaria evaluación y readaptación dada la implementación de modelos provenientes de la formación presencial, con el replanteamiento de la “e-Pedagogía” y la revisión de modelos evaluativos pedagógicos acordes a los nuevos pensamientos actuales y a las posibilidades que el e-Learning ofrece) y, la evaluación desde una perspectiva psicológica (repensando las teorías del aprendizaje, las teorías cognitivas y el constructivismo).

García-Peñalvo (2005) presenta las dimensiones que constituyen el e-Learning y justifica que en función de los pesos de una u otra dimensión se obtienen diferentes modelos formativos y evaluativos. Estas dimensiones son los contenidos (calidad y estructuración), la tecnológica (plataformas y campus virtuales de formación), la tutoría (nueva concepción), la evaluación/acreditación (cambios en su planteamiento y en su función) y los servicios (más amplio y menos delimitado, abarca acción docente, gestión, elementos de evaluación, etc.).

Las diferentes perspectivas y dimensiones tratan de abarcar el e-Learning y su calidad desde un ámbito muy amplio y con distintas bases (tecnológicas, pedagógicas, económicas y de gestión; entre otras), sin lograr cubrir aún una metodología tan compleja y cambiante. Por ello, es importante apostar por la creación de estándares de calidad y por la evaluación de la calidad en todos sus contextos, fases y niveles; explorando nuevos métodos de evaluación con el objetivo de presentar niveles de calidad acordes a las nuevas realidades (Choi y Jeong, 2019).

Esta situación provoca que hoy se cuente con diversas perspectivas para la evaluación del e-Learning y su calidad. Por un lado, se encuentran modelos centrados y especializados en elementos parciales de la actividad formativa (materiales, plataformas, costos-beneficios, eficacia…), y por otro lado modelos con perspectivas globales de los que destacan dos tendencias: los modelos centrados en normas y estándares de calidad, y aquellos centrados en la práctica del benchmarking ( Martínez, 2015).

Sin embargo, pese a los avances en la literatura y entrando ya en los modelos específicos de la evaluación de la calidad en instituciones de educación superior, éstas siguen presentando planes de calidad sin contar con los avances en la investigación, tomando aspectos de infinidad de fuentes y sin alcanzar criterios comunes para la evaluación. Además, es necesario abogar también por la construcción de estándares e indicadores para la evaluación del e-Learning que vayan en consonancia con las características propias y los diferentes modelos existentes; y que no solo tenga en consideración aspectos formativos y tecnológicos, sino que también ahonde en las variables personales y organizacionales, poco presentes en algunos modelos y parte esencial también de una completa evaluación de la calidad (Mejía y López, 2016).

En un metaanálisis llevado a cabo por Marciniak y Gairín-Sallán (2017) sobre diferentes modelos propuestos para la evaluación de la calidad en e-Learning, fueron catorce las dimensiones resultantes como relevantes para la calidad y su evaluación: Justificación del programa virtual, objetivos formativos del programa virtual, perfil de ingreso y egreso, contenido temático del programa virtual, actividades de aprendizaje, perfil del docente en línea, materiales y recursos didácticos (guía, unidad y otros materiales), estrategias didácticas, tutoría, evaluación del aprendizaje, plataforma virtual, evaluación de la fase inicial del programa, evaluación del desarrollo del programa y evaluación final del programa.

La calidad en Educación Superior toma diferentes perspectivas y propuestas para su evaluación, siendo muy diversas las herramientas y los marcos disponibles para ello, y encontrando infinidad de modelos en función de los autores, las dimensiones y el objetivo global de la evaluación. En un breve recorrido por estos modelos y propuestas, destaca el modelo ELQ, implementado por la Agencia Nacional Sueca de Educación Superior con el objetivo de determinar los componentes de la calidad en entornos virtuales. Este modelo fue resultado de prácticas educativas en materia digital en Europa, incluyendo aspectos y criterios para la evaluación de la calidad en e-Learning en Educación Superior (Mixnahuatl et al., 2013). Este modelo avanza y se perfecciona con la práctica, y tras él se plantean los parámetros de calidad para la evaluación de las distintas fases propuestas, facilitando en gran medida su evaluación (Hansson et al., 2009).

En la práctica evaluativa en las Instituciones de Educación Superior, la calidad no sigue un estándar en su evaluación, tomando cada entidad distintas perspectivas en función de los intereses que sus responsables dictaminen, priorizando la evaluación de unas dimensiones frente a otras e incluso no contando con todas las dimensiones que componen la calidad en este proceso; y denotando la falta clara de un marco evaluativo común y ampliamente aceptado.

Este artículo se compone de tres secciones que se exponen seguidamente y que incluyen la presentación de los modelos analizados, la construcción del nuevo modelo y el proceso de validación de contenido (metodología); el análisis de la validación realizada por los jueces expertos y la adaptación y presentación final del modelo resultante (resultados) y el análisis de las aportaciones que este nuevo modelo supone en el campo del e-Learning y en la evaluación de la calidad, así como las vías futuras de investigación que este nuevo marco evaluativo supone (discusión).

METODOLOGÍA: DISEÑO Y VALIDACIÓN DEL MODELO

Se presenta a continuación el proceso seguido para la construcción del nuevo modelo y el diseño del instrumento para la evaluación de la calidad. Para ello, se partirá del análisis de varios modelos empleados en la actualidad y la categorización de sus dimensiones, continuando con el proceso de validación de contenido al que este nuevo modelo ha sido sometido para alcanzar el modelo final con las nuevas dimensiones.

Análisis de modelos de evaluación de calidad en e-Learning

Esta investigación toma como punto de partida las aportaciones realizadas durante los últimos cinco años en materia de evaluación de la calidad en e-Learning y toma la referencia de los modelos propuestos por los autores más relevantes en este ámbito y que hoy en día son herramientas en diferentes instituciones de Educación Superior para la evaluación de la calidad en sus modalidades e-Learning, seleccionados tras la realización de una revisión sistemática de la literatura ( Ortiz-López et al., 2020).

El nuevo modelo se propone con el objetivo de aunar los criterios y dimensiones planteadas por distintos investigadores en este campo, presentando un instrumento más exhaustivo y profundo al contemplar distintas perspectivas e indicadores sobre la calidad, permitiendo así una evaluación más completa tras la integración de las dimensiones más comunes y el estudio de su relevancia, y tratando de minimizar las debilidades que los modelos actuales presentan al no contemplar la totalidad de dimensiones que la calidad tiene y que influyen sobre el resultado de cada evaluación ( Rubio, 2003).

Para el análisis de las propuestas actuales se ha realizado una categorización de las dimensiones genéricas que los estudios proponen, tratando de delimitarlas para cada uno de ellos bajo una denominación común y corroborando cuáles son objeto de estudio y cuáles no en cada instrumento de evaluación, y presentando una muestra de todas las dimensiones que afectan a la evaluación de la calidad ( tabla 1).

Tabla 1. Análisis de las dimensiones relevantes en la evaluación de la calidad en e-Learning según cada autor

Esta variedad en cuanto a las dimensiones de los distintos modelos, así como la variabilidad presente en sus ítems, hacen que la evaluación de la calidad carezca todavía de una herramienta fiable y aceptada de forma global, por lo que es importante focalizar la investigación en la detección de las actuales dimensiones, subdimensiones e ítems y tratar de aunar todas ellas en un marco común y una herramienta que contemple las distintas perspectivas. (Choi y Jeong, 2019). Las dimensiones y sus múltiples denominaciones se aúnan de forma posterior en cuatro grandes subdimensiones (facilitando la comprensión del modelo), disgregadas en subdimensiones posteriormente. Estas cuatro dimensiones son la calidad de la institución, la calidad docente, la calidad del sistema o plataforma y la evaluación del programa. En la búsqueda de un estándar a la hora de categorizar las dimensiones de la calidad y atendiendo también a los pesos relativos que los estudios analizados dan a cada dimensión, se alcanza la conclusión unánime de los autores de la identificación de cuatro dimensiones principales. Para contar con un mayor nivel de conformidad, el análisis de la propuesta validada de Marciniak y Gairín-Sallán (2017) para la autoevaluación de la calidad confirmó la presencia de cuatro dimensiones principales: organización del programa, diseño del programa (metodológico y docente), desarrollo del programa (cronológico y tecnológico) y evaluación del programa. Por ello, se mantiene la decisión de asumir cuatro dimensiones principales que conformarán el primer modelo diseñado de cara al proceso de validación.

Una vez analizadas estas propuestas y detectadas las dimensiones que afectan a la calidad, se diseña y formula la hipótesis relacional que es sobre la que trabaja este modelo propuesto. Tras ello, se diseña el nuevo modelo atendiendo a las dimensiones más relevantes y a los cuatro grupos dimensionales propuestos (mencionados anteriormente) para poder realizar la evaluación de la calidad en e-Learning. El modelo resultante consta de dos secciones diferenciadas, presentando un carácter mixto (recopilación cuantitativa y cualitativa de la información). La primera parte del modelo se destina a la evaluación de las cuatro dimensiones (indicando previamente el objeto de evaluación) y de sus dimensiones mediante la categorización de los indicadores. La segunda parte del mismo responde a una evaluación cualitativa del evaluador, completando y enriqueciendo los resultados del proceso.

La escala que acompaña a cada ítem en esta evaluación de la calidad es una escala nominal dicotómica y excluyente, en la que indicar el cumplimiento o no cumplimiento del indicador y en la que poder incluir una pequeña justificación. En este planteamiento se ha optado por el empleo de la dicotomía para dictaminar si el criterio se cumple o no se cumple, y no entrar en interpretaciones del grado de cumplimiento que complicarían en gran medida la evaluación final de los resultados. Se incorpora además una evaluación cualitativa de cada ítem, de cada dimensión y del constructo global; en la que el evaluador puede incluir un comentario escrito para poder realizar cualquier indicación que considere oportuna y de cara también a contar con una evaluación más completa y orientada a la mejora.

El instrumento elaborado cuenta con un total de 74 ítems agrupados en cuatro dimensiones ( tabla 2). Estos ítems proceden de la reflexión y adaptación de las distintas propuestas y también de la elaboración propia de cara a una correcta comprensión total del constructo.

Tabla 2. Estructura del modelo diseñado
Dimensión Número de subdimensiones Número de ítems
Calidad de la institución 3 14
Calidad docente 4 30
Calidad del sistema de aprendizaje 2 15
Calidad de la evaluación del programa 3 15

Los constructos planteados, con el objetivo de facilitar y profundizar en la evaluación, se dividen a su vez en un total de 12 subdimensiones que profundizan en un criterio de evaluación determinado para cada uno de ellos (tabla 3).

Tabla 3. Composición inicial del modelo
Número de ítems
Dimensión: Calidad de la institución
Política institucional 5
Contexto institucional 4
Respuesta y ayuda institucional 5
Dimensión: Calidad Docente
Función docente 11
Estrategias docentes 7
Materiales y recursos docentes 7
Tutoría 5
Dimensión: Calidad del sistema de aprendizaje o plataforma
Funcionamiento 9
Accesibilidad 6
Dimensión: Calidad de la evaluación del programa
Evaluación de la preparación previa del programa 3
Evaluación procesual 4
Evaluación final 8

Proceso de validación de contenido

Para el proceso de validación de contenido del modelo diseñado, se planteó un instrumento de validación adaptado de las propuestas de Chiang et al. (2013), Galicia et al. (2017) y García-Llorente et al. (2019). La herramienta propuesta para la validación contiene una descripción del modelo e instrumento y su finalidad, una descripción de las dimensiones y subdimensiones descritas y un planteamiento de la evaluación a realizar dividida en tres grandes módulos. En las instrucciones se indica además qué variables valorar de cada subdimensión/dimensión (suficiencia de ítems y relevancia para la dimensión/constructo) y de cada ítem (coherencia, relevancia y claridad). La escala para la validación de contenido es una escala tipo Likert de 1 a 4, en la que 1 es la falta total de coherencia / relevancia / claridad / insuficiencia de ítems / irrelevancia de la dimensión, y 4 la completa relación / relevancia / relación / excesividad de ítems.

El primer módulo corresponde, para cada dimensión, a la evaluación de la coherencia, relevancia y claridad de cada ítem de forma totalmente independiente al resto y a las dimensiones, analizando exclusivamente la redacción y el sentido del ítem. En segundo lugar, los evaluadores tuvieron que analizar la suficiencia de los ítems y la representatividad para el conjunto (ambas también en escala de 1 a 4) para las subdimensiones planteadas para cada constructo. Este proceso fue repetido de la misma forma para las cuatro dimensiones, incluyendo espacios para comentarios adicionales del evaluador al final de cada dimensión.

Por último, se incluye también una evaluación para las subdimensiones presentes en el cuestionario en relación con su suficiencia y representatividad para el constructo global (también evaluable en una escala Likert 1-4). Esta escala se complementa con una valoración cualitativa de los evaluadores, con espacios al final de cada dimensión y un espacio final para que los evaluadores puedan emitir sus propios juicios cualitativos sobre el instrumento y la validación de contenido realizada.

Tras el diseño del instrumento para la validación de contenido, esta investigación seleccionó a un total de cuatro evaluadores expertos nacionales que destacan por ser profesionales del campo educativo y tecnológico e investigadores tanto en el ámbito de la evaluación de la calidad como en el ámbito del e-Learning y contar con publicaciones relevantes de carácter internacional sobre el tema de estudio. Una vez establecido el contacto vía mail con los mismos, se les facilitaron todas las instrucciones, un resumen del instrumento original y las dimensiones planteadas y, el documento para la validación. Ya recibidas las evaluaciones, éstas fueron digitalizadas para su análisis e interpretación de resultados. El proceso de validación de contenido del modelo comenzó el día 11 de noviembre (con el envío de la solicitud, instrucciones y modelo a los autores) y la última validación fue recibida por los autores el día 28 del mismo mes; con una duración total de 17 días.

RESULTADOS: UN MODELO UNIFICADO PARA LA EVALUACIÓN DE LA CALIDAD EN E-LEARNING EN EDUCACIÓN SUPERIOR

Como criterio empleado en la validación y en la selección de dimensiones, subdimensiones e ítems; se eliminan aquellas que presentan valores inferiores a 2, se realizan modificaciones profundas en los ítems que comprenden valores entre 2 y 3, y se modifica la formulación de los ítems con valores inferiores a 3,5. Complementariamente también se calculó el coeficiente de validez de contenido (CVC) ( Hernández-Nieto, 2002) para la suma de las puntuaciones obtenidas por los ítems en los tres criterios. De esta manera, se admitieron aquellos ítems y dimensiones con un CVC superior a 0,7 (Pedrosa et al., 2014) y se modificaron aquellos que a pesar de tener puntuaciones medias superiores a 3,5 en las tres dimensiones no contasen con un CVC superior al punto de corte.

Finalmente, para la reformulación y la readaptación, se han tomado en cuenta todas aquellas consideraciones realizadas de forma cualitativa por los revisores expertos.

En el análisis de las dimensiones planteadas, los resultados presentan una media de suficiencia de 3,84 (D.T.=0,289) y una representatividad para el constructo de 3,92 (D.T.=0,144) sobre 4, por lo que se deduce un buen planteamiento de dimensiones. En cuanto a las subdimensiones, los resultados también son buenos, con una suficiencia de medida media de 3,63 (D.T.=0,602) y una representatividad de 3,74 (D.T.=3,74). Por lo que a la evaluación individual de los ítems respecta, los resultados generales fueron muy positivos. El valor medio de coherencia para los ítems fue de 3,90 (D.T.=0,172) sobre 4, de relevancia de 3,85 (D.T.=0,308) y su claridad de 3,68 (D.T.=0,537). Los resultados estadísticos obtenidos para el conjunto de ítems que componen cada constructo siguiendo los criterios de pertinencia, relevancia y claridad se encuentran disponibles en el enlace: https://docs.google.com/document/d/1ThDL20-20Vj5SL9V8gVPJ1O3umGjjEX0H8-UJMiXUkk/edit?usp=sharing

Tras el análisis de resultados y con base en los criterios establecidos para esta validación se determinó, en primer lugar, que las dimensiones presentan una adecuada estructura que no requiere modificación alguna. En cuanto a las dimensiones, se estudió el planteamiento de la suficiencia de ítems en la subdimensión 2 y 3. Respecto a los ítems, se llevó a cabo la realización de modificaciones en cuanto a la coherencia de ellos (63, 64, 65, 66), en su relevancia e interpretación (ítems 63, 64, 66) y en la redacción y claridad que presentan (ítems 9, 30, 40, 45, 64, 72, 74). Además, se determinó la reestructuración y modificación profunda por problemas de claridad de los ítems: 14, 29, 64, 65, 66 y 71. Por último, el ítem 35 fue modificado profundamente por no alcanzar la puntuación umbral del CVC (0,7).

En una perspectiva cualitativa, los cuatro jueces incluyeron comentarios tanto para las dimensiones como para el constructo general. Las principales evaluaciones refieren a la sustitución terminológica en alguno de los ítems de distintos sustantivos, atributos o tiempos verbales; y también al planteamiento de incorporación de alguna subdimensión e ítem para mejorar la medida del constructo, así como la eliminación o movimiento de alguno de ellos de cara al modelo final.

Los puntos fuertes que señala esta evaluación de jueces expertos se centran en la profundidad del modelo para medir los distintos componentes de la calidad, así como su potencial en el momento actual en materia de virtualización de la docencia universitaria. Además, se indica también lo positivo de plantear un nuevo modelo en materia de evaluación de la calidad en un campo aún por explorar, y la buena profundidad que el nuevo marco generado tiene en cuanto al número de ítems que comprenden la calidad.

En cuanto a las limitaciones del modelo que los jueces señalan, se encuentra la complejidad para la evaluación (dada la profundidad de la misma), y la necesaria experiencia y conocimientos del evaluador que la implemente. Además es una limitación también el acceso a las políticas institucionales en materia de calidad y a su entramado administrativo y de soporte, lo cual requiere de una buena predisposición del docente, de los evaluadores y de los agentes implicados en la evaluación para poder constatar el cumplimiento de los ítems.

Teniendo en cuenta las aportaciones realizadas por los expertos, se concluyó el diseño del modelo final manteniendo las dimensiones planteadas (en consonancia con lo planteado en el diseño del modelo y con el número de dimensiones planteado por Marciniak y Gairín-Sallán, 2017), incluyendo dos nuevas subdimensiones (una relativa a la coordinación pedagógica e institucional y otra a la evaluación de la calidad del programa) y realizando las sustituciones indicadas en los ítems, añadiendo 8 ítems nuevos propuestos por los jueces expertos tras la eliminación de dos previos e introduciendo también las modificaciones en aquellos que así ya se han indicado, siendo un modelo resultante de 4 dimensiones, 14 subdimensiones y 80 ítems para la evaluación de la calidad en e-Learning en Educación Superior (tablas 4 y 5).

Tabla 4. Estructura del modelo resultante tras la validación
Número de subdimensiones Número de ítems
Calidad de la institución 4 19
Calidad docente 4 26
Calidad del sistema de aprendizaje 2 15
Calidad de la evaluación del programa 4 20

Tabla 5. Ítems validados para el modelo final
Número de ítems
Dimensión: Calidad de la institución
Política institucional 6
Contexto institucional 4
Respuesta y ayuda institucional 5
Coordinación pedagógica e institucional 4
Dimensión: Calidad Docente
Función docente 8
Estrategias docentes 5
Materiales y recursos docentes 8
Tutoría 5
Dimensión: Calidad del sistema de aprendizaje o plataforma
Funcionamiento 10
Accesibilidad 5
Dimensión: Calidad de la evaluación del Programa
Evaluación de la preparación previa del programa 3
Evaluación procesual 4
Evaluación final 9
Evaluación de la calidad del programa 4

El modelo final se puede consultar en el siguiente enlace: https://docs.google.com/document/d/1BQxjD3x02eTiQBbWOHP_1yfC61Dps0wpSelmpDzFG2M/edit#heading=h.31is5tajphdr

El marco propuesto para la evaluación de la calidad en e-Learning en Educación Superior consta de cuatro dimensiones que evalúan las diferentes perspectivas y componentes de la calidad, tratando de aportar un estudio completo y un indicador fiable sobre la misma. Las cuatro dimensiones:

Calidad de la Institución

La calidad de la institución es entendida como un factor relevante y esencial para la calidad de un programa (Marciniak, 2015). La institución es la base del programa, el sustento del mismo y la entidad que lo ampara, lo desarrolla y lo promueve. Por ello, la institución ha de ser el primer factor en el estudio de la calidad de un programa e-Learning. La institución centra sus bases de la calidad en las políticas institucionales que implementa y desarrolla (SD1), en su organización y el contexto que la rodea y que comprenden sus estructuras (SD2), en la respuesta y en la ayuda que la institución ofrece a sus usuarios en materia de e-Learning y en el acompañamiento de sus enseñanzas (SD3); y en las políticas que la institución tiene y articula en materia de coordinación pedagógica y su consonancia con el e-Learning (SD4).

Calidad Docente

Por otro lado, la figura y la calidad del docente aportan también una representación importante en el valor de la calidad de la institución en el ámbito digital (Santelices-Etchegaray y Valenzuela-Rojas, 2015). Esta calidad está constituida por la función docente, su formación y su preparación en este campo (SD5), las estrategias docentes y las metodologías que éstos implementan en las enseñanzas en red de la institución (SD7), la adaptación de los materiales y de los recursos a las plataformas de enseñanza (SD7) y la acción tutorial, el acompañamiento que los docentes realizan a su alumnado a través de la red (SD8).

Calidad del Sistema de Aprendizaje o Plataforma

La tercera dimensión y componente de la calidad de un programa de educación en línea en Educación Superior es la calidad del sistema o de la plataforma mediante la que se lleva a cabo el aprendizaje. Hoy prácticamente la totalidad de instituciones poseen plataformas de esta índole, contando con suficientes herramientas para dotar también de calidad a los sistemas formativos (Velasteguí, 2017). Esta plataforma es fundamental y mediadora en el aprendizaje, por lo que su estudio es relevante para la calidad global de la enseñanza. Por un lado, esta dimensión comprende el funcionamiento del sistema institucional –analizando su funcionamiento, respuesta, sincronía, consistencia, personal supervisor; entre otras– (SD9), y la accesibilidad de la misma para la consulta y la interacción con los materiales, las funciones, las guías docentes (SD10).

Calidad de la evaluación del Programa

Finalmente, la calidad ha de comprender también la propia evaluación de ella que se realiza en el Programa de enseñanza y de los resultados y avances obtenidos. En los programas actuales y en la formación en línea es hoy fundamental la implementación y la evaluación continuada de la calidad y de los avances, contando con órganos específicos y planes de seguimiento para ello (Tarí et al., 2007). Esta evaluación se estudia desde la perspectiva de la calidad desde una visión completa y profunda: desde la evaluación de la preparación previa del programa (preparación de recursos y del programa, del entorno virtual) (SD11), la evaluación procesual del mismo (seguimiento del programa, retroalimentación docente e institucional, estudio continuado de la calidad y los resultados) (SD12); la evaluación final (objetivos, evaluaciones aplicadas, niveles de satisfacción…) (SD13) y finalmente también se comprende la propia evaluación de la calidad que el programa implementa, los encargados de dicha evaluación y los ítems de calidad con los que cuenta (SD14).

DISCUSIÓN

La calidad en e-Learning es un aspecto fundamental en el desarrollo, la continuidad y la garantía de las instituciones, enseñanzas y programas educativos que hoy se implementan en red en el ámbito de la Educación Superior. Esta transformación de la enseñanza y los cambios que afrontan las universidades, docentes, alumnado y todo el personal implicado suponen grandes avances y adaptaciones a un nuevo contexto más dinámico, adaptado y cambiante que la presencialidad. Por ello, y ya que todavía no se dispone de un modelo profundo que evalúe todas las fases de un proceso completo de enseñanza en red, es importante plantear un nuevo marco evaluativo que contemple todo el proceso y todos los agentes implicados, pudiendo realizar una amplia y profunda evaluación para entender la calidad como un factor relevante y esencial en la enseñanza digital (Verdezoto-Rodríguez y Chávez-Vaca, 2018).

Con el objetivo de asentar las bases de un nuevo modelo validado, profundo y longitudinal para la evaluación de un curso en modalidad e-Learning, se propuso una validación de contenido por jueces expertos sobre el modelo generado. El proceso de validación de contenido fue llevado a cabo por cuatro jueces expertos en e-Learning y en evaluación de la calidad y el resultado de dicho proceso arrojó valores muy elevados de suficiencia y representatividad de las dimensiones y subdimensiones planteadas y también altos valores de coherencia, relevancia y representatividad para los ítems propuestos. Además, la evaluación cualitativa de los jueces expertos contribuyó a la puntualización y mejora final del modelo con la adicción de ocho nuevos ítems para una más completa evaluación de la calidad.

Mientras que los estudios actuales profundizan en una única dimensión de la calidad, o plantean el conjunto de una forma limitada; el instrumento diseñado en esta investigación para la evaluación de la calidad plantea una nueva y más amplia perspectiva en el campo, presentando una nueva visión de la calidad y tratando además de profundizar más en las dimensiones que ya han sido estudiadas por otros autores. Por ello, este nuevo modelo plantea la unión de diferentes perspectivas y dimensiones, la continuidad en la búsqueda de indicadores de calidad en ellas y también una nueva visión de la calidad como un continuo de acciones compartidas y complementarias que comprenden desde la acción institucional y las políticas de coordinación, hasta la acción docente, la preparación previa del programa, la respuesta de la plataforma o la evaluación realizada.

Este modelo no solo pretende ser de utilidad en las continuas evaluaciones que las instituciones de Educación Superior realizan sobre sus enseñanzas en la modalidad en red, sino que también es un modelo que tiene también cabida en la autoevaluación docente sobre sus enseñanzas y cursos de cara a la mejora y a la detección de necesidades. Además, el modelo diseñado es un modelo versátil que admite una amplia multidisciplinariedad de evaluadores (dada la fácil comprensión y medición de los indicadores) y la orientación a la mejora al detectar en qué dimensión y subdimensión se encuentran aquellos ítems que presenten déficits en la evaluación. Además, la evaluación propuesta en este nuevo modelo permite la evaluación de todas las fases del proceso (no solo la centrada en el proceso de enseñanza-aprendizaje en sí), evaluando desde la preparación inicial de la plataforma o los recursos hasta la evaluación final del modelo; ofreciendo así datos mucho más amplios y específicos de cada fase y del proceso completo.

La principal limitación de esta investigación es la fase en la que el estudio se encuentra aún (derivando de la misma su falta de validez de constructo); lo cual abre ya una nueva vía en la investigación para continuar el estudio con una validación empírica del modelo y su aplicación en un programa e-Learning de un campus en línea de educación superior. Este estudio piloto, el cual se encuentra ya planteado de cara a la evaluación de la docencia en un curso blended-Learning en el año académico 2021/2022, permitirá comprobar la fiabilidad y la validez del modelo, ofreciendo profundos resultados sobre los indicadores de calidad de la institución, de la evaluación y del programa en sí, y haciendo de la calidad uno de los factores más relevantes en las enseñanzas e-Learning en Educación Superior.

Otra limitación adicional ha sido la dificultad para realizar el proceso de validación de contenido teniendo en cuenta las circunstancias provocadas por la pandemia durante las fechas en las que se llevó a cabo y que dificultaron la obtención de jueces dispuestos a revisar la propuesta debido a la saturación de trabajo y las dificultades de índole personal. Esto ha provocado que el número de jueces fuera más reducido del deseable, aunque se supera el número mínimo establecido en la literatura (Hernández-Nieto, 2002; Pedrosa et al., 2014) y el grado de satisfacción de los jueces con el nuevo modelo es alta, pudiendo continuar con su estudio y aplicación para una validación en la práctica educativa.

REFERENCIAS

Aguas-Díaz, C. J., Flores-Flores, J. L., Sarmiento-Sarmiento, I. K., y Aguirre-Robalino, D. F. (2020). Aprendizaje móvil (m-learning) como método educativo en Educación Superior. Revista Arbitrada Interdisciplinaria Koinonía, 5(Extra 1), 867-879. https://doi.org/10.35381/r.k.v5i1.887

Almenara, J. (2006). La calidad educativa en el e-Learning: Sus bases pedagógicas. Educación Médica, 9, 9-14. https://doi.org/10.4321/S1575-18132006000700003

Cerdas-Montano, V., Mora-Espinoza, Á., y Salas-Soto, S. E. (2020). Educación remota en el contexto universitario: Necesidad del trabajo colaborativo para la mediación pedagógica docente en tiempos de COVID. Revista Electrónica Educare, 24(Extra 0), 3. https://doi.org/10.15359/ree.24-S.9

Chiang, M. T., Díaz, C., Rivas, A., y Martínez, P. (2013). Validación del cuestionario estilos de enseñanza (CEE): Un instrumento para el docente de Educación Superior. Revista de estilos de aprendizaje, 6(12), 30-45.

Choi, C.-R., y Jeong, H.-Y. (2019). Quality evaluation for multimedia contents of e-learning systems using the ANP approach on high speed network. Multimedia Tools and Applications, 78(4), 28853–28875. https://doi.org/10.1007/s11042-019-7351-8

Colás, M. P., Jiménez, R., y Rodríguez, M. (2005). Evaluación de e-learning. Indicadores de calidad desde el enfoque sociocultural. Education in the knowledge society (EKS), 6(2), 3.

Córdova, L. C., Solis, M. E., y Solis, L. A. (2017). Aplicación de los sistemas e-Learning en las Universidades [Tesis Doctoral, Universidad Estatal de Milagro]. http://repositorio.unemi.edu.ec//handle/123456789/3605

Fernández, B., Alonso, E., Rebolloso, E., y Pozo, C. (1999). Evaluación de la calidad en la educación superior. Papeles del psicólogo, 74, 1886-1415.

Galicia, L. A., Balderrama, J. A., y Edel, R. (2017). Validez de contenido por juicio de expertos: Propuesta de una herramienta virtual. Apertura: Revista de Innovación Educativa, 9(2), 42-53. https://doi.org/10.32870/Ap.v9n2.993

García, P. A., y González, M. S. (2015). Validación de escala para evaluación de la calidad docente en entornos virtuales. Opción: Revista de Ciencias Humanas y Sociales, 31(5), 394-406.

García-Llorente, H. J., Martínez-Abad, F., y Rodríguez-Conde, M. J. (2019). Validación de un instrumento de evaluación de competencias informacionales autopercibidas en educación secundaria obligatoria. Anales de Documentación, 22(1), Article 1. https://doi.org/10.6018/analesdoc.22.1.305641

García-Peñalvo, F. J. (2005). Estado actual de los sistemas e-learning. Education in the knowledge society (EKS), 6(2).

Hansson, H., Westman, P., Åström, E., y Johansson, M. (2009). Un modelo para la evaluación de la calidad e-learning. Revista de Investigaciones UNAD, 8(1), 11-29. https://doi.org/10.22490/25391887.619

Hernández-Nieto, R. A. (2002). Contributions to Statistical Analysis. Mérida, Venezuela: Universidad de Los Andes.

Kurilovas, E., y Vinogradova, I. (2016). Improved fuzzy AHP methodology for evaluating quality of distance learning courses. The International journal of engineering education, 32(4), 1618-1624.

La Rotta, D., Usuga, O. C., y Clavijo, V. (2019). Perceived service quality factors in online higher education. Learning Enviroments Research, 23, 251-267. https://doi.org/10.1007/s10984-019-09299-6

Mahdiuon, R., Masoumi, D., y Farasatkhah, M. (2017). Quality improvement in virtual higher education: A grounded theory approach. Turkish Online Journal of Distance Education, 18(1), 111-131. https://doi.org/10.17718/tojde.285720

Marciniak, R. (2015). Methodological proposal for the application of international benchmarking in order to assess the quality of virtual higher education. RUSC. Universities and Knowledge Society Journal, 12(3), 46-60. https://doi.org/10.7238/rusc.v12i3.2163

Marciniak, R. (2018). Quality Assurance for Online Higher Education Programmes: Design and Validation of an Integrative Assessment Model Applicable to Spanish Universities. The International Review of Research in Open and Distributed Learning, 19(2), 126-154. https://doi.org/10.19173/irrodl.v19i2.3443

Marciniak, R., y Gairín-Sallán, J. (2017). Un modelo para la autoevaluación de la calidad de programas de educación universitaria virtual. Revista de Educación a Distancia (RED), 54. https://doi.org/10.6018/red/54/2

Margalina, V., De Pablos-Heredero, C., y Montes, J. L. (2017). Achieving quality in e-Learning through relational coordination. Studies in Higher Education, 42(9), 1655-1670. https://doi.org/10.1080/03075079.2015.1113953

Martínez, N. (2015). Aprendizaje y evaluación con TIC: Un estado del arte. Revista Científica Universidad Don Bosco, 12.

Martínez-Argüelles, M., y Batalla-Busquets, J.-M. (2016). Perceived Service Quality and Student Loyalty in an Online University. The International Review of Research in Open and Distributed Learning, 17(4), 264-276. https://doi.org/10.19173/irrodl.v17i4.2518

Martínez-Caro, E., Cegarra-Navarro, J. G., y Cepeda-Carrión, G. (2015). An application of the performance-evaluation model for e-learning quality in higher education. Total Quality Management & Business Excellence, 26(5-6), 632-647. https://doi.org/10.1080/14783363.2013.867607

Mejía, J. F., y López, D. (2016). Modelo de Calidad de E-learning para Instituciones de Educación Superior en Colombia. Formación Universitaria, 9(2), 59-72. https://doi.org/10.4067/S0718-50062016000200007

Mixnahuatl, A., Santamaría, J., Urbina, A., Calleja, J. de la, y Auxilio, M. (2013). Diseño del curso análisis de sistemas aplicando el modelo de calidad para e-learning. Educación Handbook T-I: Congreso Interdisciplinario de Cuerpos Académicos, 143-152.

Moreno-Correa, S. M. (2020). La innovación educativa en los tiempos del Coronavirus. Salutem Scientia Spiritus, 6(1), 14-26.

Ortiz-López, A., Olmos-Migueláñez, S., y Sánchez-Prieto, J. C. (2020). e-Learning quality assessment in higher education: A mapping study. Eighth International Conference on Technological Ecosystems for Enhancing Multiculturality, 833-838. https://doi.org/10.1145/3434780.3436602

Park, Y., y Lim, K. (2015). Effects of Environmental and Human Constructs on E-learning Effectiveness in Online University Settings. Indian Journal of Science and Technology, 8(1), 103-109. https://doi.org/10.17485/ijst/2015/v8iS1/57729

Pecori, R., Suraci, V., y Ducange, P. (2019). Efficient computation of key performance indicators in a distance learning university. Information Discovery and Delivery, 47(2), 96-105. https://doi.org/10.1108/IDD-09-2018-0050

Pedrosa, I., Suárez-Álvarez y García-Cueto, E. (2014). Evidencias sobre la Validez de Contenido: Avances Teóricos y Métodos para su Estimación. Acción Psicológica, 10(2), 3-20. https://doi.org/10.5944/ap.10.2.11820

Pham, L., Limbu, Y. B., Bui, T. K., Nguyen, H. T., y Pham, H. T. (2019). Does e-learning service quality influence e-learning student satisfaction and loyalty? Evidence from Vietnam. International Journal of Educational Technology in Higher Education, 16(7), 1-26. https://doi.org/10.1186/s41239-019-0136-3

Prieto-Rodríguez, E., Gore, J., & Holmes, K. (2016). Exploring Quality Teaching in the Online Environment Using an Evidence-Based Approach. Australian Journal of Teacher Education, 41(8), 22-39. https://10.14221/ajte.2016v41n8.2

Raspopovic, M., y Jankulovic, A. (2017). Performance measurement of e-learning using student satisfaction analysis. Information Systems Frontiers, 19(4), 869-880. https://doi.org/10.1007/s10796-016-9636-z

Rubio, M. J. (2003). Enfoques y modelos de evaluación del e-learning. RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa, 9(2), Article 2. https://doi.org/10.7203/relieve.9.2.4332

Santelices-Etchegaray, M. V., y Valenzuela-Rojas, F. (2015). Importancia de las características del profesor y de la escuela en la calidad docente: Una aproximación desde la Teoría de Respuesta del Ítem. Estudios pedagógicos (Valdivia), 41(2), 233-254. https://doi.org/10.4067/S0718-07052015000200014

Seoane Pardo, A. M., y García-Peñalvo, F. (2010). Introducción al eLearning. Universidad de Salamanca.

Serrano, E. L., Ceballos, S. P., Cordero, G., y Cisneros-Cohernour, E. (2018). Marco para evaluar las condiciones institucionales de la enseñanza en línea. Revista Electrónica de Investigación Educativa, 20(2), 1-14. https://doi.org/10.24320/redie.2018.20.2.2072

Tarí, J. J., de Juana, S. A., y Mora, J. (2007). Evaluación de la calidad: Importancia de la evaluación externa y del seguimiento. Avances en Supervisión Educativa, 5, Article 5.

Torres-Barzabal, L., Ortiz, P., y Barcia-Tirado, D. (2018). Quality Indicators for Auditing on-Line Teaching in European Universities. TechTrends, 63(3), 330-340. https://doi.org/10.1007/s11528-018-0365-7

Velasteguí, P. (2017). Plataformas virtuales y su impacto en la Educación Superior. Explorador Digital, 1(2), 5-21 https://doi.org/10.33262/exploradordigital.v1i2.318

Verdezoto-Rodríguez, R. H., y Chávez-Vaca, V. A. (2018). Importancia de las herramientas y entornos de aprendizaje dentro de la plataforma e-learning en las universidades del Ecuador. Edutec. Revista Electrónica de Tecnología Educativa, 65, 68-92. https://doi.org/10.21556/edutec.2018.65.1067

Waheed, M., y Kaur, K. (2017). Students’ perceptual quality standards for judging knowledge quality: Development and validation of a knowledge quality scale. Information Development, 35(2), 319-332. https://doi.org/10.1177/0266666917744370

Waheed, M., Kaur, K., y Qazi, A. (2016). Students’ Perspective on Knowledge Quality in eLearning Context: A Qualitative Assessment. Internet Research, 26(1), 120-145. https://doi.org/10.1108/IntR-08-2014-0199

Notas

1 SQ: System Quality, CX: Context / External Variables, CQ: Content Quality, At: Attractiveness, SP: Student Profile, TP: Teacher Profile, EV: Evaluation, AS: Administrative Support, EN: Enrollment, IP: Institutional Policies, ES: Educative Strategies, MR: Material Resources.

Notas de autor

1 Alberto Ortiz-López. Graduado en Pedagogía y estudiante del máster universitario en “Profesor de Educación Secundaria Obligatoria y Bachillerato, Formación Profesional y Enseñanza de Idiomas” en la modalidad de orientación educativa en la Universidad de Salamanca. Ha recibido una beca de colaboración en el Instituto Universitario de Ciencias de la Educación en Salamanca, donde se encuentra desarrollando una línea de investigación centrada en la evaluación de la calidad y su implementación en sistemas e-Learning en educación superior.
E-mail: aortiz@usal.es
2 Susana Olmos-Migueláñez. Titular de Universidad del Área de Métodos de Investigación y Diagnóstico en Educación, de la Universidad de Salamanca. Directora del Instituto Universitario de Ciencias de la Educación. Miembro del Grupo de Investigación en Evaluación Educativa y Orientación, dentro del Guaro GRIAL, InterAcción y eLearning. Docente universitaria de Grado y Máster en Metodología de Evaluación de Programas, Técnicas e instrumentos de evaluación. Su línea de investigación se centra en evaluación educativa, metodología de investigación y de evaluación, y en evaluación en contexto de formación virtual.
E-mail: solmos@usal.es
3 José Carlos Sánchez-Prieto. Licenciado en Pedagogía y máster en TIC aplicadas a la educación por la Universidad de Salamanca (España), donde también presentó su tesis doctoral sobre la adopción de las tecnologías móviles entre el profesorado dentro del Programa de Formación en la Sociedad del Conocimiento. Actualmente es profesor asociado en la Facultad de Educación de dicha universidad. Su área de investigación es la evaluación de las actitudes de los profesores y estudiantes en activo y en formación. Es autor de varios artículos sobre el tema publicados en prestigiosas revistas internacionales.
E-mail: josecarlos.sp@usal.es