Las condiciones y expectativas de los estudiantes que cursan materias en la modalidad virtual exigen a las universidades el desarrollo de un enfoque hacia la calidad de la educación virtual y evaluarla de manera sistemática con el fin de alcanzar el nivel más alto de la calidad mencionada anteriormente.

Llevar a cabo la evaluación de la calidad de la educación virtual¹ implica contar con un modelo de calidad² que tenga en cuenta las peculiaridades de esta educación. Por ello, propone un conjunto de dimensiones ³ adecuadas al objeto y al contexto en el que se produce y desarrolla la educación virtual, ya que:

Evaluar la calidad educativa desde una modalidad presencial y una modalidad virtual requiere de parámetros distintos, que den respuesta al modelo pedagógico en el que se sustentan, a sus fines y objetivos, y a los perfiles de ingreso y egreso que caracterizan a los estudiantes en cada una de las modalidades (Veytia y Chao, 2013, p. 12).

Actualmente existen muchos modelos desarrollados para evaluar la calidad de la educación virtual como los mencionados en Hilera (2010), Motz (2013), Quesada et al. (2015). El problema es que dichos modelos combinan una diversidad de enfoques y, algunas veces, responden a paradigmas algunas veces contradictorios y opuestos, y por lo tanto, proponen dimensiones que componen la calidad de educación virtual divergentes, así como los significados que asignan a estas.

Este artículo presenta un estudio comparativo de 25 modelos desarrollados para evaluar la calidad de la educación virtual, los cuales difieren en las dimensiones de calidad consideradas, motivando la realización de esta investigación. El objetivo general de la investigación fue establecer las dimensiones mencionadas anteriormente e identificar cuáles de ellas son más relevantes o más frecuentemente consideradas por los modelos analizados. Todo esto se realizó con el ánimo de facilitar a las universidades que ofrecen algún curso virtual la elección de unas dimensiones adecuadas para evaluarlo, en función del contexto en que se encuentre.

CONCEPTO DE LA CALIDAD DE EDUCACIÓN VIRTUAL

El concepto de la calidad se presenta como conflictivo en términos de significados, ya que existe una ausencia de acuerdo a la hora de definirlo, lo que podemos observar analizando la tabla 1 que presenta algunas definiciones de calidad de educación virtual.

Como podemos ver en la tabla 1, no existe una única definición de la calidad de la educación virtual universalmente aceptada. Algunos autores, cuando mencionan dicha calidad, se refieren a la satisfacción de los usuarios-estudiantes, mientras que otros se refieren a estándares o los resultados académicos y de aprendizaje obtenidos por los estudiantes. También hay autores (Ajmera y Dharamdasani, 2014; Ehlers, 2013; Jung, Wong y Belawati (2013); Rushby y Surry, 2016) que retoman a Harvey y Green (1993) para describir la calidad de la educación virtual. Según dichos autores, la calidad puede utilizarse como fenómeno excepcional (idea tradicional, excelencia y cumplimento de ciertos estándares), perfección o coherencia (equivalente a cero deficiencias y adecuada cultura de calidad), ajuste a un propósito (adecuación de los procesos para lograr los objetivos fijados), relación valor-costo (eficiencia económica o “accountability”), y como transformación (cambio cualitativo entendido como proceso continuo de transformación del estudiante).

La calidad de la educación virtual como fenómeno excepcional es un aspecto vinculado a los objetivos del presente artículo, al centrar la antemencionada calidad en el proceso de esforzarse por conseguir las dimensiones que conforman la calidad de educación virtual e indicadores asociados a ellas.

METODOLOGÍA DE LA INVESTIGACIÓN

La estrategia metodológica de la investigación fue de tipo bibliográfico y tuvo como propósito establecer, a partir del análisis de modelos desarrollados para evaluar la calidad de educación virtual, las dimensiones que describen dicha calidad e identificar cuáles de ellas son consideradas por dichos modelos como más relevantes o frecuentes. Para ello, analizamos 25 modelos elaborados entre los años 1998 a 2016 por investigadores, universidades, organizaciones de certificación y acreditación, instituciones oficiales en todo el mundo; y propuestos a instituciones educativas superiores para evaluar la calidad de la educación virtual impartida por los mismos.

Como punto de partida de selección de los modelos para el análisis, utilizamos la clasificación de los modelos de evaluación de e-learning propuesta por Rubio (2003) quien divide dichos modelos en dos tipos:

1. 1. Modelos con enfoque parcial centrado principalmente en alguna de las siguientes evaluaciones:
   • Actividad formativa.
   • Materiales de formación.
   • Plataformas tecnológicas.
   • Relación coste/beneficio.
2. 2. Modelos con enfoque global en el cual se distinguen dos tendencias:
   • Sistemas de evaluación centrados en modelos y/o estándares de calidad total.
   • Sistemas basados en la práctica del benchmarking.

Nuestra investigación abarcó el análisis de modelos diseñados para evaluar una actividad formativa entendida por Rubio (2003) como “una acción concreta de formación, como puede ser un curso on-line, de mayor o menor duración”. El análisis incluyó modelos citados por Rubio (el modelo de los cuatro niveles de Kirkpatrick, el modelo sistémico de Vann Slyke, el modelo de los cinco niveles de evaluación de Marshall y Shriver), los cuales buscamos, encontramos, analizamos y comentamos. Además de estos, se localizaron otros que no eran contemplados por dicho autor, por lo que hemos procedido a ampliar el número de los modelos analizados para disponer de una visión holística de las dimensiones que proponen.

En cuanto a la terminología de búsqueda, se utilizaron como criterios de evaluación los siguientes descriptores: modelos de evaluación de calidad de educación virtual, evaluación de educación universitaria/superior virtual, evaluación de cursos virtuales, evaluación de e-learning, dimensiones de evaluación de educación virtual, dimensiones de evaluación de educación a distancia. Todos estos descriptores se han utilizado tanto en español, como en inglés.

Los buscadores de Internet utilizados fueron: scholar.google.com, scholar. google.es, www.mendeley.com, www.google.com, www.google.es

SÍNTESIS DE LA INVESTIGACIÓN BIBLIOGRÁFICA

A continuación, realizamos una breve descripción de los modelos de evaluación de la calidad más conocidos en el ámbito de educación virtual.

En los Estados Unidos destaca el modelo “Five Pillars of Quality Online Education” desplegado por el Online Learning Consortium (OLC, 2002). El objetivo del modelo es ayudar a las instituciones identificar objetivos relacionados con la educación virtual y medir el progreso en sus logros. Dicho objetivo puede ser alcanzado mediante la evaluación de cinco pilares que constituyen la calidad de educación virtual. Dichos pilares son:

1. 1. La efectividad del aprendizaje: Incluye indicadores referidos al diseño del curso, recursos didácticos, desarrollo del profesorado, pedagogía, interacción, evaluación y objetivos formativos
2. 2. La satisfacción de los profesores: Se refiere al apoyo y los recursos necesarios para que los profesores tengan una experiencia positiva con la enseñanza en la modalidad virtual.
3. 3. La satisfacción de los estudiantes: Se centra en la experiencia del estudiante, proporcionando servicios de apoyo necesarios, tales como el asesoramiento y el consulting y oportunidades de interacción con los compañeros. También evalúa la satisfacción de los estudiantes con el acceso y diseño del curso virtual, así como con la infraestructura tecnológica.
4. 4. La escala: Se centra en la rentabilidad y la capacidad de los cursos virtuales para que un aprendizaje de calidad sea ofrecido como un valor educativo a los estudiantes.
5. 5. El acceso: Garantiza que los alumnos tengan pleno acceso a la infraestructura tecnológica, materiales y servicios que necesitan para cursar un programa formativo en línea, incluyendo el apoyo para la preparación y evaluación a los estudiantes con discapacidades y dificultades de aprendizaje a distancia.

En Europa destaca el modelo de certificación de e-learning UNIQUe (European University Quality in eLearning) diseñado por la European Foundation for Quality in eLearning (EFQUEL) con el objetivo de desarrollar una certificación de calidad europea para el e-learning. Se trata de un procedimiento para la certificación de las instituciones en mecanismos de innovación y mejora de aprendizaje mediante las TICs (EFQUEL, 2012) . La certificación es otorgada a las instituciones tras un proceso de autoevaluación y revisión externa por pares, por períodos renovables de tres años.

Las dimensiones y subdimensiones que la EFQUEL evalúa durante la certificación UNIQUe son las siguientes:

1. 1. Contexto institucional: estrategia y e-learning, compromiso de innovación, apertura a la comunidad.
2. 2. Recursos educativos: recursos para la enseñanza, estudiantes, personal de la universidad, tecnologías y equipamiento.
3. 3. Proceso de enseñanza: calidad de la oferta, evaluación de aprendizaje, desarrollo de recursos humanos.

   La certificación UNIQUe está dirigida a dos tipos de instituciones:

4. 4. Instituciones de educación superior como universidades, instituciones de educación superior profesional, etc.
5. 5. Institutos independientes que colaboran con instituciones de educación superior como escuelas, facultades, etc.

En Nueva Zelanda, el profesor de la Victoria University of Wellington, Stephen Marshall diseñó el modelo denominado e-learning Maturity Model (eMM), cuyo objetivo es guiar a las organizaciones para que comprendan y evalúen sus capacidades en el campo de e-learning (Marshall, 2004). La idea principal que guió el desarrollo del modelo eMM fue que la capacidad de una institución para ser eficaz en cualquier particular área de educación virtual depende de su capacidad de involucrarse en procesos de alta calidad reproducibles y susceptibles de ser ampliados y sostenidos si crece la demanda de los mismos. Estos procesos se agrupan en cinco áreas (dimensiones) claves:

1. 1. Aprendizaje: Procesos relacionados con los aspectos pedagógicos de la educación virtual.
2. 2. Desarrollo: Procesos relacionados con la creación y el mantenimiento de recursos de educación virtual.
3. 3. Soporte: Procesos relacionados con el apoyo al estudiante y profesorado involucrados en la educación virtual.
4. 4. Evaluación: Procesos relacionados con la evaluación y el control de la calidad de la educación virtual en todo su ciclo de vida.
5. 5. Organización: Procesos relacionados con la planificación y la gestión institucional.

En España también tenemos modelos o marcos de referencia para evaluar la calidad de educación virtual. Entre ellos la norma UNE 66181:2012 de la Asociación Española de Normalización y Certificación (AENOR) que especifica las directrices para la identificación de las características que definen la calidad de la formación virtual en relación con los potenciales clientes o compradores. Se trata de mejorar la satisfacción de los clientes de la formación virtual, haciendo que la formación recibida supere las expectativas iniciales ante un proceso formativo (AENOR, 2012). Para alcanzar este fin, la norma UNE 66181:2012 establece un modelo de calidad basado en una serie de indicadores de calidad que representan los tres siguientes factores de satisfacción de los clientes, cada uno de los cuales se descomponen en dimensiones clave de calidad sobre los que se puede actuar para mejorar el factor de satisfacción correspondiente (AEC, s.f.):

1. 1. Reconocimiento de la formación para la empleabilidad: Representa en qué medida la formación virtual incrementa la capacidad del alumno para integrarse en el mercado laboral o mejorar la posición existente.
2. 2. Metodología de aprendizaje: Conjunto de toma de decisiones que van a definir las condiciones más adecuadas para conseguir el aprendizaje de los usuarios respecto a unos objetivos marcados.
3. 3. Accesibilidad: Factor que trata de cuantificar en qué medida la educación virtual es comprensible, utilizable y practicable con eficiencia y eficacia por cualquier persona.

La norma UNE 66181:2012 está dirigida a los suministradores y consumidores de educación virtual no reglada (empresas, centros de formación, organismos públicos). Pero, gracias a su carácter general puede ser usada por instituciones de educación reglada, como por ejemplo las universidades, en las que se lleven a cabo acciones de formación virtual, tanto en modalidad virtual como formación mixta.

Los modelos mencionados anteriormente no son los únicos desarrollados para evaluar la calidad de educación virtual, ya que existe gran cantidad de los mismos. La mayoría de dichos modelos aborda desde diferente perspectiva la evaluación de la educación virtual. La tabla 2 contiene el análisis comparativo de los modelos analizados durante la investigación bibliográfica. Dicho análisis abarca el nombre del modelo, su autor, año y país de su diseño, objetivo del modelo, las características destacadas de estos modelos, y las dimensiones que evalúan. El análisis se hace cronológicamente.

SÍNTESIS DE DIMENSIONES DE MODELOS ANALIZADOS

En la tabla 3 se sintetizan las dimensiones abordadas por cada uno de modelos presentados anteriormente.

Autor o nombre del modelo: 1-Kirkpatric, 2-García Aretio, 3-Van Slyke et al., 4-Marshall & Shriver, 5-McGriff, 6-Oliver, 7-MVU, 8-OLC, 9-Badrul, 10-Marcelo et al., 11-EFMD CEL, 12-eMM, 13-Fidalgo, 14-Ejarque et al., 15-SEA, 16-University of Wiscosin, 17-ECBCheck Model, 18-CALED, 19-UNIQUe, 20-Zhang & Jiang, 21-UNE66181, 22-Masoumi & Lindström, 23-AVU, 24-Marciniak, 25-EADTU.

A partir del análisis de 42 dimensiones propuestas por 25 modelos, se observa que no existe una dimensión que sea común para todos los modelos analizados, sin embargo, algunas de ellas se repiten frecuentemente (aunque algunas con diferente denominación), lo que significa que son consideradas como más relevantes y esenciales para evaluar la calidad de educación virtual. Entre dichas dimensiones se encuentran: contexto institucional, infraestructura tecnológica, estudiantes, docentes, pedagogía, y dimensiones que permiten evaluar el ciclo de vida del curso (o programa), es decir, la fase de su diseño, desarrollo y resultados. Al estudiar exhaustivamente estas dimensiones, se notan los diferentes significados asignados a cada una por los autores. Mientras que, por ejemplo, Van Slyke (1998) relaciona la dimensión de “contexto institucional” con la capacidad de la organización para implementar acciones de educación virtual como los objetivos de la institución, la infraestructura de soporte, y la capacidad económica; para Badrul (2005) esta dimensión abarca las cuestiones de asuntos administrativos, asuntos académicos, y servicios relacionados con el e-learning. Por otra parte, para los autores del modelo eMM, dentro de la dimensión contexto institucional se debe evaluar: situación y destinatarios del programa, modalidad de formación, ámbito de formación, necesidades de formación, liderazgo del programa y gestión de los recursos. En el modelo UNIQUe, la evaluación del contexto institucional abarca la valoración de la estrategia de la organización y aprendizaje, compromiso de innovación y abertura a la sociedad.

En cuanto a la dimensión de “infraestructura tecnológica”, hay bastante coincidencia entre los autores sobre el alcance de la evaluación dentro de dicha dimensión, definida como la capacidad tecnológica necesaria para que los estudiantes potenciales cubran el curso (Marciniak, 2015; Badrul, 2005; EFMD, 2006; CALED, 2010; MVU, 2002; Oliver, 2001). Esta capacidad debe ser valorada a través de los indicadores relacionados con los requisitos de hardware, accesibilidad, disponibilidad, usabilidad y navegabilidad, mantenimiento y la reusabilidad de los desarrollos tecnológicos y los contenidos usados en el proceso de enseñanza- aprendizaje. Para la MVU (2002), también se debería evaluar las habilidades de los estudiantes en el manejo de las Tecnologías de Información y Comunicación.

En la dimensión de “estudiantes” no todos los modelos presentan un enfoque coincidente. En general, este enfoque puede ser dividido en dos grupos. El primer grupo lo constituyen los modelos que proponen evaluar las características de los destinatarios ( Marciniak, 2015; EFMD CEL, 2006; Oliver, 2001; Van Slyke, 1998) como sus habilidades tecnológicas, acceso a la tecnología, autoregulación de aprendizaje, gestión personal del tiempo, dominio del ordenador. El segundo grupo lo conforman los modelos que proyectan evaluar la satisfacción de los estudiantes (CALED, 2010; Kirkpatric, 1994; OLC, 2002; EFQUEL, 2014). Dicha satisfacción puede ser medida en distintos aspectos como la satisfacción con docentes, materiales, contenidos, acceso al curso, infraestructura tecnológica, servicios académicos, servicios de apoyo, etc.

Los modelos que proponen evaluar la dimensión de “docentes”, al contrario que los modelos de evaluación de dimensión “estudiantes”, presentan un enfoque bastante coincidente. En casi todos se destaca la necesidad de evaluar si los docentes están cualificados para diseñar en el entorno virtual de aprendizaje, entre ellos, la capacidad del docente en la formación on-line para proyectarse a través del medio tecnológico, unas habilidades comunicativas adecuadas a la educación virtual (Marshall, 2004); el uso de las TICs en la enseñanza, la tecnología utilizada, una formación relacionada con la educación virtual (Oliver, 2001); habilidades para coordinar, ejecutar y evaluar el programa (Marciniak, 2015; EFMD CEL, 2006).

Casi todos los modelos analizados proponen evaluar aspectos relacionados con la “pedagogía” tales como: objetivos formativos (declaración de los propósitos de aprendizaje que se pretende lograr con el curso/programa virtual), contenidos temáticos (presentación de los temas y subtemas que constituyen), materiales y recursos didácticos (materiales y recursos diseñados y elaborados con la intención de facilitar el proceso de enseñanza- aprendizaje), actividades (diversas tareas realizadas por los estudiantes), estrategias de evaluación (indicadores para evaluar las políticas y procedimientos para la evaluación del aprendizaje de los estudiantes por parte de la universidad).

Otras dimensiones mencionadas con frecuencia por los modelos analizados son las que se proponen para evaluar la calidad de diferentes fases del ciclo de vida de un curso virtual (o programa), es decir, la evaluación de la calidad de cada una de las fases por las que el curso debe pasar durante su existencia. Este ciclo abarca la fase del diseño, de desarrollo y de resultados/impacto.

En cuanto al diseño, los indicadores propuestos por los modelos se refieren a la evaluación de dos aspectos: 1) El aspecto didáctico que abarca la evaluación del diseño de los objetivos del curso, estrategias de enseñanza y aprendizaje, actividades, materiales y recursos didácticos, estrategias de evaluación de aprendizaje de los estudiantes, contenido temático y estructura del curso; y 2) El aspecto tecnológico que proyecta evaluar el diseño de la plataforma virtual, funcionalidad de programa, medios de comunicación e interacción.

Con referencia al “desarrollo”, se nota un desacuerdo entre los autores en cuanto a los aspectos que se deben evaluar dentro de esta dimensión. Algunos autores, cuando hablan de “desarrollo”, se refieren a la autorización y producción de los materiales y recursos didácticos (Marshall, 2004; McGriff, 2000). Para otros, el “desarrollo” se refiere a la evaluación del desarrollo del curso, sin embargo, no hay coincidencia entre ellos en cuanto a su significación. Para unos, es el proceso de evaluación del curso desde su puesta en marcha y la planificación de actividades hasta la evaluación final del curso (Ejarque, 2008). Para otros, es el proceso de evaluación de preparación formativa de los docentes-tutores, sus formas de comunicación e interacción con los participantes, estrategias de enseñanza utilizadas por ellos, y sus funciones motivadoras (SEA, 2008).

En la esfera de la evaluación de “resultados/impacto” también encontramos una diversidad de enfoques en los modelos analizados que responden a paradigmas, algunas veces, contradictorios y opuestos. Por ejemplo, García Aretio (1998), para la evaluación de los resultados, propone indicadores referidos a la consecución o no de los objetivos de la institución y el producto de la misma, mientras que Marshall habla del grado en el que el curso on-line les permite a los participantes transferir los conocimientos adquiridos al puesto de trabajo. Según The University of Wiscosin (UW, 2002), la evaluación de los resultados se refiere a la evaluación de los cambios de los individuos, grupos, comunidades, organizaciones, comunidades o sistemas, mientras que, para The African Virtual University (AVU, 2014), es la evaluación de la retención de los estudiantes, tasa de rendimiento, e impacto de programa. Por otra parte, Masoumi y Lindström (2012), con respecto a la evaluación de los resultados, proponen utilizar indicadores referidos a la relación costo-eficacia, eficacia de aprendizaje, satisfacción de los estudiantes, satisfacción de los docentes.

DISCUSIÓN Y CONCLUSIONES

La mejora de la calidad de la educación universitaria constituye uno de los principales objetivos de los actores implicados en la misma. Sin embargo, cuando dicha educación es llevada a cabo a través de una modalidad virtual, cabe preguntarse si debe evaluarse su calidad a través de las mismas dimensiones que se utilizarían para evaluar la calidad de la educación presencial. Algunos autores piensan que sí, otros que no. Los primeros consideran que la evaluación de la calidad en los entornos virtuales es básicamente la misma que la evaluación de la calidad de educación presencial y que, tan sólo, difiere en la importancia de sus dimensiones. Por ejemplo, Butcher y Hoosen (2014) mantiene que:

Los fundamentos de evaluación de calidad no deben depender de si la educación se realiza de forma tradicional u online... es poco probable que el crecimiento de la apertura exija cambios importantes en las prácticas de evaluación de calidad en las instituciones. Los principios de la educación superior de buena calidad no han cambiado... La educación virtual de calidad es un subgrupo de una educación de calidad... La educación virtual debe estar sujeta a los mismos mecanismos de garantía de calidad que la educación en general. (p. 14, traducción propia).

Sin embargo, Jung y Latchem (2012) sostienen que la educación virtual es tan diferente en su organización, inscripción y operación de la educación tradicional, que no se pueden aplicar los mismos mecanismos y dimensiones para evaluar la calidad de las dos modalidades de educación. Evaluar la calidad educativa desde una modalidad presencial y desde una modalidad virtual requiere de parámetros y modelos adecuados a los contextos en los que se producen y desarrollan (Marciniak, 2016; Silvio, 2006; Veytia y Chao, 2013).

Como resultado de la polémica sobre cómo evaluar la calidad de la educación virtual, hasta la fecha se han desarrollado múltiples modelos que intentan dar respuesta a dicha pregunta. En el presente artículo se analizaron los modelos más representativos, incidiendo en las dimensiones que proponen para evaluar la antemencionada calidad con el propósito de saber ¿qué dimensiones proponen?, ¿cómo las definen?, ¿cuáles de ellas son más relevantes o más frecuentemente consideradas por los modelos analizados?

A partir del análisis de las 42 dimensiones propuestas por 25 modelos se observa que no existe una dimensión que sea común para todos los modelos de calidad analizados, sin embargo, algunos modelos poseen dimensiones iguales, por lo que podemos deducir que tienen un núcleo común y, a la vez, integran dimensiones divergentes, así como los significados que asignan a las dimensiones elegidas.

Concluimos entonces que, a pesar de ser específicas para la evaluación de la educación virtual, no existe un criterio unificado en cuanto a las dimensiones abordadas para dicha evaluación.

El análisis de los 25 modelos nos proporciona una idea sobre las dimensiones que más relevantes o más frecuentemente consideradas como aspectos esenciales para evaluar la calidad de la educación virtual. Dichas dimensiones se clasifican en seis grandes apartados:

1. 1. Contexto institucional (análisis de necesidades formativas, infraestructura, recursos humanos, situación financiera).
2. 2. Estudiantes (características de los destinatarios, factores que influyen en la satisfacción de los estudiantes).
3. 3. Docentes (perfil del docente en línea, factores que influyen en su satisfacción, desarrollo profesional).
4. 4. Infraestructura tecnológica (desde el punto de vista pedagógico y tecnológico).
5. 5. Aspectos pedagógicos (objetivos formativos, materiales y recursos didácticos, actividades de aprendizaje, evaluación de aprendizaje, estrategias de enseñanza, tutoría).
6. 6. Ciclo de vida de un curso/programa virtual (diseño, desarrollo y evaluación/ resultados).

La utilización de dichas dimensiones para evaluar un curso o programa virtual cumple con el siguiente postulado de Sarramona (2001):

La evaluación de un curso en línea ha de abarcar la evaluación desde el diagnóstico previo (el diagnóstico de necesidades y contexto) hasta la planificación (la evaluación del «input», es decir, de los elementos que constituyen el programa del curso: contenidos, recursos didácticos, estrategias de evaluación, etc.), el proceso aplicativo (respecto a los posibles ajustes a realizar para que el curso cumpla sus propósitos), y los resultados (previstos, indirectos y no previstos) (p. 6).

Como fortaleza de los modelos analizados, se concluye que desplazan la atención de la evaluación de la educación virtual hacia diferentes aspectos de la misma como contexto en el que se realiza la educación; agentes involucrados en el proceso de enseñanza-aprendizaje (docentes y estudiantes); infraestructura tecnológica a través de la cual se implementa un curso virtual; aspectos pedagógicos como objetivos formativos, estrategias de enseñanza y evaluación del aprendizaje de los estudiantes, actividades, materiales y recursos didácticos; fase de diseño, desarrollo y evaluación de un curso virtual. También proponen evaluar otros elementos que, en la opinión de los autores de los modelos analizados, definen la calidad de la educación virtual, en mayor o menor grado.

Por otra parte, dichos modelos presentan ciertas debilidades. Una de ellas es la carencia de un consenso en cuanto al número de dimensiones; hay modelos que proyectan evaluar sólo tres dimensiones y otros hasta ocho. Otra debilidad se manifiesta en el diferente significado asignado a las dimensiones. Sus interpretaciones son muy diferentes dependiendo del autor que las formuló y de la metodología empleada para alcanzarlas. Dichas debilidades hacen necesario elaborar un modelo, que contribuya con diversos componentes a generar un modelo aplicable a la evaluación de calidad de educación virtual, integrando las dimensiones comunes y de mayor relevancia.

REFERENCIAS BIBLIOGRÁFICAS

AEC (Asociación Española para la Calidad). (s.f.). Norma UNE 66181 . Recuperado de http://www.aec.es/web/guest/centro-conocimiento/norma-une-66181

AENOR (Asociación Española de Normalización y Certificación). (2012). Norma UNE 66181:2012 Gestión de la calidad. Calidad de la Formación Virtual. Madrid: AENOR.

Ajmera, R., y Dharamdasani, D. K. (2014). E-Learning Quality Criteria and Aspects. IJCTT 12(2), 90-93.

AVU (Africa Virtual University). (2014). Design and Development of a Quality Assurance Framework . Recuperado de http://www.avu.org/Teacher-Education-Programme/design-development-quality-assurance-framework.html

Badrul, H. (2005). Comprehensive Approach to Program Evaluation in Open and Distributed Learning (CAPEODL Model) . Recuperado de http://asianvu.com/bk/elearning/elearning_CAPEODL_Paper.pdf

Butcher, N., y Hoosen, S. (2014). A Guide to Quality in Post-traditional Online Higher Education . Dallas TX: Academic Partnerships.

CALED (Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia). (2010). Autoevaluación de Programas de Educación a Distancia. Loja: CALED.

EADTU (European Association of Distance Teaching Universities). (2016). Quality Assessment for E-learning: a Benchmarking Approach. Third edition. Maastricht: EADTU. Recuperado de http://excellencelabel.eadtu.eu/images/Excellence_manual_2016_third_edition.pdf

EFMD (European Foundation for Management Development). (2006). EFMD CEL Criteria, Indicators and Standards. Recuperado de http://www.efmd.org/images/stories/efmd/downloadables/Criteria-Indicators-Standards.pdf

EFQUEL (European Foundation for Quality in eLearning). (2012). UNIQUe - European Universities Quality in e-Learning. Certifying Excellence in Institutional TEL . Recuperado de http://unique.efquel.org/2012/09/20/unique-website-launched/

EFQUEL. (2010). Open ECBCheck Quality Criteria for Programmes . Recuperado de http://www.ecb-check.net/criteria-2/

Ehlers, U. (2013). Open Learning Cultures: A Guide to Quality, Evaluation, and Assessment for Future Learning . Berlin: Springer-Verlag.

Ejarque González, E., Buendía García, F., y Hervás Jorge, A. (2008). Aplicación de un modelo de calidad para evaluar experiencias e-learning en el Espacio Europeo Universitario. EDUCAR, 41, 11-28.

Fainholc, B. (2004). La calidad en la educación a distancia continúa siendo un tema muy complejo . Recuperado de http://www.um.es/ead/red/12/fainholc.pdf

Fidalgo, A. (2007). Micro Guía de Indicadores para el elearning . Madrid: Universidad Politécnica de Madrid.

García Aretio, L. (2014). Bases, mediaciones y futuro de la educación a distancia en la sociedad digital . Madrid: Síntesis, S.A.

García Aretio, L. (1998). Indicadores para la evaluación de la enseñanza en una universidad a distancia. RIED. Revista Iberoamericana de Educación a Distancia. 1 (1), 63-86. Recuperado de http://ried.utpl.edu.ec/sites/default/files/files/pdf/v%201-1/volumen1-1.pdf

Harvey, L., y Green, D. (1993). Defining quality. Assessment and Evaluation in Higher Education, 18(1), 9-34.

Hilera González, J. R.; Hoya Marín, R. (2010). Estándares de e-learning: Guía de consulta. Madrid: Universidad de Alcalá.

Jung, I., y Latchem, C. (2012). Quality Assurance and Accreditation in Distance Education and e-Learning. New York/ London: Routledge.

Jung, I., Wong, T. M., y Belawati, T. (2013). Quality Assurance in Distance Education and E-Learning: Challenges and Solutions from Asia. New Delhi: SAGE.

Kirkpatrick, D. L. (1994). Evaluación de acciones formativas: los cuatro niveles. Barcelona: EPISE-Gestión 2000.

McGriff, S. J. (2000). Instructional System Design (ISD): Using the ADDIE Model. Recuperado de http://www.uovirtual.com.mx/moodle/lecturas/teori/9.pdf

Marcelo García, C., Gago Nieto, M. J. y Marcelo García, M. (2006). Manual para la evaluación de la calidad de acciones de formación a través de elearning. Sevilla: Proyecto Prometeo. Grupo de Investigación IDEA. Sevilla: Universidad de Sevilla.

Marciniak, R. (2016). Autoevaluación de programas de educación universitaria virtual (Tesis doctoral). Universitat Autònoma de Barcelona: Barcelona.

Marciniak, R. (2015). Methodological proposal for the application of international benchmarking in order to assess the quality of virtual higher education. RUSC. Universities and Knowledge Society Journal, 12(3). 46-60, http://dx.doi.org/10.7238/rusc.v12i3.2163

Marshall, S. (2004). eMM Version Two. Process Guide. Wellington: Victoria University of Wellington.

Marshall, V., y Schriver, R. (1994). Using evaluation to improve performance. En D. Kirkpatrick (Ed.), Another look at evaluating training programs (27–175). Alexandria, VA: American Society for Training and Development.

Marúm-Espinosa, E. (2011). Calidad en el servicio en la Educación a Distancia. Una perspectiva desde México. RIED. Revista Iberoamericana de Educación a Distancia, 14(2), 49-62.

Masoumi, D., y Lindström, B. (2012). Quality in e-learning: a framework for promoting and assuring quality in virtual institutions. Journal of Computer Assisted Learning, 28(1), 27-41. doi: 10.1111/j.1365-2729.2011.00440.x.

Motz, R. (coord.). (2013). Informe de análisis de estándares, normas y modelos de capacidad de madurez relacionados con la calidad y accesibilidad de la educación virtual. Recuperado de http://www.esvial.org/wp-content/files/E311_vf_v1.pdf

Muñoz Santos, J. R. (2004). La Gestión integrada: calidad, seguridad y medio ambiente. Navarra: SERFOREM, S.L.

MVU (Michigan Virtual University). (2002). Standards for Quality Online Courses. Recuperado de http://standards.mivu.org/standards/id

OLC (Online Learning Consortium). (2002). Five Pillars of Quality Online Education. Recuperado de http://onlinelearningconsortium.org/5-pillars/

Oliver, R. G. (2001). Assuring the quality of online learning in Australian higher education. Proceedings of 2000 Moving Online Conference, (pp. 222-231). Recuperado de http://ro.ecu.edu.au/cgi/viewcontent.cgi?article=5791&context=ecuworks

Orozco Torres, L. M. (2014). Estudio comparativo de los modelos de evaluación de la calidad del e-learning en el Sistema de Universidad Virtual de la Universidad de Guadalajara - México y propuesta complementaria. [Tesis doctoral inédita]. Universitat de Lleida.

Rubio, M. J. (2003). Enfoques y modelos de evaluación del e-learning. Revista Electrónica de Investigación y Evaluación Educativa, 9(2). Recuperado de http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm

Rushby, N., y Surry, D. (2016). Wiley Handbook of Learning Technology. New York, John Wiley & Sons.

Sánchez Morales, P. J. (2012). Calidad en e-learning. En Clarenc, C. A. (coord.), Libro de Actas 2012. Memorias del Congreso Virtual Mundial de e-learning, (pp. 33-46) Recuperado de https://issuu.com/fcojavierlastrafreige/docs/libro_de_actas_2012_-_memorias_del_

Sarramona, J. (2001). Evaluación de programas de educación a distancia. RIED. Revista Iberoamericana de Educación a Distancia, 1(1), pp. 9-34. Recuperado de http://ried.utpl.edu.ec/sites/default/files/files/pdf/v4-1/volumen4-1.pdf

SEA (Stowarzyszenie Polskiego e-learningu Akademickiego, en español Asociación de E-learning Académico de Polonia). (2010). Kryteria oceny kursu internetowego (en español Criterios del curso virtual). Recuperado de http://www.sea.edu.pl/kryteria/?page=obszary

Seoane, A. M., García Peñalvo, F. J., Bosom Nieto, Á., Fernández Recio, E., y Hernández Tovar, M. J. (2006). Tutoring on-line as quality guarantee on elearning based lifelong learning. Definition, modalities, methodology, competences and skills. Recuperado de http://ceur-ws.org/Vol-186/05.pdf

Silvio, J. (2006). Hacia una educación virtual de calidad, pero con equidad y pertinencia. Revista de Universidad y Sociedad del Conocimiento (RUSC), 3(1). Recuperado de http://www.uoc.edu/rusc/3/1/dt/esp/silvio.pdf

Quesada Pallarès, C., Espona Barcons, B., Ciraso Calí, A., y Pineda Herrero, P. (2015). La eficacia de la formación de los trabajadores de la administración pública española: comparando la formación presencial con el eLearning. Revista del CLAD Reforma y Democracia, 61 , 107-132.

UW (University of Wiscosin). (2008). Logic Model. Recuperado de http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html

Van Slyke, C., Kittner, M., y Belanger, F. (1998). Identifying Candidates for Distance education: A telecommuting perspective. Baltimore: Association for Information Systems.

Veytia Bucheli, M. G., y Chao González, M. M. (2013). Las competencias como eje rector de la calidad educativa. Revista electrónica de Divulgación de la Investigación, 4. Recuperado de http://portales.sabes.edu.mx/redi/4/pdf/revista_sabes_4.pdf

Zhang, W., y Jiang, L. (2012). Quality Assurance in E-Learning: PDPP Evaluation Model and its Application. IRRODL The International Review of Research in Open and Distance Learning, 13(3), 66-82.

Notas

Notas de autor