Estudios
EVALUAR PRÁCTICAS INNOVADORAS EN LA ENSEÑANZA UNIVERSITARIA. VALIDACIÓN DE INSTRUMENTO
EVALUATING INNOVATIVE PRACTICES IN UNIVERSITY EDUCATION. VALIDATION OF INSTRUMENT
EVALUAR PRÁCTICAS INNOVADORAS EN LA ENSEÑANZA UNIVERSITARIA. VALIDACIÓN DE INSTRUMENTO
Educación XX1, vol. 24, núm. 1, pp. 69-91, 2021
Universidad Nacional de Educación a Distancia
Recepción: 07 Enero 2020
Aprobación: 27 Mayo 2020
Cómo referenciar este artículo / How to reference this article:
Pozuelos Estrada, F.J.; García Prieto, F.J. y Conde Vélez, S. (2021). Evaluar prácticas innovadoras en la enseñanza universitaria.
Validación de instrumento. Educación XX1, 24(1), 69-91, http://doi.org/10.5944/educXX1.26300
Pozuelos Estrada, F.J.; García Prieto, F.J. & Conde Vélez, S. (2021). Evaluating innovative practices in university education. Validation of instrument. Educación XX1, 24(1),
69-91, http://doi.org/10.5944/educXX1.26300
Resumen: El presente trabajo describe el proceso de diseño y validación de un cuestionario que mide y analiza el nivel de preferencia y utilidad que atribuyen los estudiantes universitarios que cursan asignaturas mediante el desarrollo de propuestas alternativas innovadoras a través de Trabajo por Proyectos e Investigación (PTI), basados en una dinámica de aula invertida, activa y cooperativa, una evaluación formativa que tiene en cuenta tanto el proceso como el resultado utilizando rúbricas que asignan valoración en distintos niveles de logro, materiales diversos y plurales o el seguimiento progresivo de las producciones mediante carpetas de aprendizaje, entre otros. A través de un diseño metodológico de tipo encuesta (descriptivo y transversal), el instrumento se articula en 46 ítems que se agrupan en cinco categorías de doble respuesta –preferencia estudiante y preferencia profesorado-, analizadas a partir de la aplicación a 640 estudiantes universitarios. Los resultados obtenidos ofrecen cualidades psicométricas satisfactorias del instrumento que permiten considerar su utilización para medir la preferencia y utilidad de los factores asociados a los procesos de cambio mediante innovaciones en la enseñanza universitaria, señalando la coherencia en los dos niveles de preferencia y se define la tendencia de la respuesta. Las conclusiones aportan referencias fiables sobre la propuesta de innovación docente, mostrando la eficacia y utilidad para el aprendizaje que el alumnado asigna a distintos aspectos desarrollados durante el proyecto respecto a estrategias utilizadas, material o recursos, tipo de apoyos, evaluación y rendimientos. En este sentido, sirven para corregir determinadas propuestas educativas y mejorar modelos para seguir avanzando en planteamientos alternativos. De ahí, que esta investigación ayude a entender y transformar las prácticas transformadoras en la universidad.
Palabras clave: Innovación, proyectos de trabajo, universidad, cuestionario.
Abstract: This work describes the design and validation process of a questionnaire that gauges and analyses the degree of preference and usefulness of developing innovative alternative proposals expressed by university students taking courses through Project and Research Work (PTI); a dynamic based on the active and cooperative flipped classroom; a formative evaluation that takes into account both the process and the result using rubrics that assign valuation on different levels of achievement; diversity and plural materials or the progressive monitoring of the productions through learning folders, among others. Through a methodological design of the survey type (descriptive and transversal), the instrument is articulated around 46 items grouped into five dual response categories -student preference and teacher preference- analysed following application with 640 university students. The outcomes obtained offer satisfactory psychometric qualities of the instrument that allow us to consider its use to measure the preference and usefulness of factors associated with the processes of change through innovations in university education, also, the dates indicate consistency at the two preference levels and the response trend is defined. The conclusions provide reliable references on the proposal of teaching innovation and show the effectiveness and usefulness for learning that students assign to different aspects developed during the project regarding: strategies used, material or resources, type of support, evaluation and performance. The data serve to correct certain educational proposals and improve models to continue advancing in alternative approaches. This research helps to understand and transform transformative practices in the university.
Keywords: Innovation, work projects, university, questionnaire.
INTRODUCCIÓN
El Espacio Europeo de Educación Superior ha planteado un cambio radical en la práctica docente. Son muchos los aspectos que se han revisado y en buena medida transformados: planificación, tutorías, dinámicas de clase, recursos, evaluación, etc. Es más, ya prácticamente todas las Universidades tienen programas de formación para este cometido e incluso se promueve la investigación y experimentación de propuestas innovadoras. Unido a esto, podemos comprobar los diferentes y abundantes congresos, monografías e incluso revistas centradas en esta temática. En suma, son muchos los recursos y esfuerzos que desde las más distintas esferas se han puesto en marcha para renovar y actualizar la enseñanza superior. Existe una verdadera preocupación por revisar el marco pedagógico ancestralmente aceptado y anclado en el marco universitario.
No obstante, también se observa que ese tránsito encierra más sombras de lo que a veces se plantea. Son muchas las experiencias que se muestran, pero también se comprueba su evanescencia y ocasionalidad (Porlán, 2018). De alguna manera, el esfuerzo transformador decae fácilmente y emerge de nuevo el modelo transmisivo basado en la recepción pasiva de la información facilitada (Kember y Kwan, 2000). Ese carácter episódico de la innovación universitaria es casi un techo de cristal difícil de romper, son muchas las tentativas, pero pocas las innovaciones que llegan a consolidarse y constituir una nueva lógica docente distinta a la anterior, al final solo permanecen los cambios formales: formatos de guías docentes, vocabulario y pequeños retoques que sencillamente actualizan sin calado transformador alguno.
Además de la escasa persistencia y estabilidad de los procesos de cambio e innovación también comprobamos la escasez de estudios empíricos que muestren evidencias de los beneficios y debilidades de las experiencias divulgadas. Como afirman Montalvo et al. (2018), tras una amplia revisión bibliográfica, encontramos un amplio conocimiento teórico sobre la innovación, pero pocas investigaciones. Vemos más relatos que datos.
En este sentido, la experiencia investigadora se ha centrado en el análisis de la implementación del trabajo por proyecto e investigación (Pozuelos y García Prieto, 2018) con objeto de obtener datos contrastados de los que aprender y seguir avanzando. El proyecto desarrollado puede inscribirse en el marco de la investigación acción y/o “lesson study” (Elliot, 2015) o la denominada “revisión de la enseñanza por pares” (Thomas et al., 2014). Es decir, los participantes constituidos en equipo de investigación someten su experiencia innovadora a una revisión compartida con objeto de mejorarla y aprender como efecto de la reflexión efectuada a partir de las evidencias recogidas en la intervención práctica. Se trata, por tanto, de un proceso destinado a conocer para transformar y mejorar la acción docente y el desarrollo profesional de los implicados.
El trabajo por proyecto es una propuesta de desarrollo curricular que tiene profundas raíces en el legado pedagógico innovador. Si bien Dewey es quién más ha influido en su fundamentación y difusión, la verdad es que este planteamiento ya venía desde los siglos XVII y XVIII desarrollándose en el seno de la enseñanza universitaria en algunas áreas técnicas como la arquitectura y la ingeniería (Howell, 2003; Knoll, 1997).
Pero en estos momentos, dentro del marco impulsado por la reforma de los estudios superiores en el espacio europeo, ha cobrado una mayor atención y expansión. La necesidad de superar el modelo magistral centrado en el docente y la transmisión unidireccional de un conocimiento academicista que debe ser memorizado por el alumnado con objeto de superar evaluaciones repetitivas y puntuales, ha dado paso a otro más preocupado para la actividad decidida del estudiante que, con la orientación del docente, aborda un conocimiento plural con objeto de generar nuevas producciones sólidamente informadas ( Monereo y Pozo, 2003) lo que coincide con la apreciación que Prosser y Trigwell (1999) denominaron centrado en el profesor versus centrado en el estudiante o con lo que Kember y Kwan (2000) designaron como centrado en el contenido y centrado en el aprendizaje. En definitiva, se plantean metodologías que involucren activamente a los participantes para hacer más funcionales y transferibles las competencias y contenidos abordados a lo largo de la experiencia formativa. En estas metodologías centradas en el aprendizaje se promueve la actividad cognitiva del estudiante con objeto de que construya el conocimiento y evolucione en su comprensión, en lugar de recibirlo y devolverlo en su formato cerrado e inequívoco (Pozo y Pérez Echeverría, 2009).
Entre otras propuestas, el trabajo por proyecto encaja perfectamente dentro de estas nuevas orientaciones promovidas desde diferentes instancias interesadas en transformar la formación universitaria. Y, que como afirman distintos estudios, inciden de forma significativa en la calidad de los aprendizajes de la educación superior (Hernández Pina et al., 2012) ayudando a los sujetos a reconstruir los contenidos con el fin de elaborar su propio conocimiento e incluso transformando su perspectiva del mundo y nuevas concepciones. Por ende, fomenta modelos integradores que promueven competencias como la de aprender a aprender.
A través de experiencias innovadoras relacionadas con la incorporación de los Proyectos de Trabajo e Investigación –PTI- (Pozuelos et al., 2012) en la universidad, se percibió la necesidad de evaluar el auténtico impacto que estos generan en la formación del alumnado y el desarrollo profesional del profesorado implicado. Y con ellos nos referimos tanto a cuestiones ligadas a las materias participantes como a su capacidad para ilustrar nuevas formas de entender y practicar la docencia (transferencia). Verdadero propósito de este proyecto: vivir otra experiencia para actuar según otros parámetros distintos al convencional modelo transmisivo incentivando para ello el aprendizaje autónomo y colaborativo.
Se trata de una investigación que quiere explorar los procesos de enseñanza y aprendizaje y esta no debería llevarse a cabo solo con la concurrencia de los docentes e investigadores para conocer sus actitudes frente a la innovación, como planteó el estudio de Traver-Martí y García-López (2007), sino que también se debe contar con la perspectiva de los estudiantes y en cómo ellos interpretan y valoran la experiencia que han vivido. Solo contando con una visión integrada de todos los participantes se podrá conocer el alcance de la tentativa innovadora y sus posibles mejoras. Cuando centramos el foco en el alumnado, hemos preferido confeccionar un cuestionario que nos reporte datos estrechamente vinculados a la experiencia que desarrollamos -Proyectos de Trabajo e Investigación- pues el que se administra desde la Unidad de Calidad de la Universidad es tan genérico como poco preciso para nuestro propósito, por no insistir en los sesgos y limitaciones que distintos estudios le atribuyen (Casero, 2016; Alcón y Esteve, 2017).
El cuestionario confeccionado tiene por finalidad recoger información sobre la eficacia para el aprendizaje que el alumnado atribuye a distintos aspectos desarrollados durante el proyecto. Las apreciaciones se organizan en cinco categorías –emergentes y previas- reformuladas a partir de un primer análisis exploratorio, depuradas y revisadas en función de los resultados hasta su versión final. La primera de ellas, llamada estrategia, se refiere a la forma en que se acerca y se trabaja la información y contenidos planteados; otra se centra en el material que se le proporciona, un trabajo que pretende la reconsideración de las concepciones iniciales y la producción de respuestas fundamentadas y creativas, necesitando en este sentido de un material plural, ya que deparar en los recursos nos llevará a conocer en qué medida esto se valora y se reconoce. Le sigue una tercera categoría relacionada con el apoyo ofertado para alcanzar un trabajo autónomo que fomente el crecimiento personal y que trascienda a la mera consulta puntual; la cuarta tiene que ver con la evaluación y la influencia que determinadas medidas e instrumentos tienen de cara a promover la calidad de los aprendizajes, y la ayuda que proporcionan para el desarrollo del proceso formativo, no solo como medida acreditativa del logro alcanzado. Finalmente, una quinta con datos vinculados sobre el rendimiento obtenido tanto para el sujeto individual como del equipo de trabajo al que pertenece. Se trata de un cuestionario sencillo, de fácil interpretación por parte de los participantes y de ágil manejo para los investigadores.
La combinación de estos elementos nos indicará el enfoque de enseñanza que se prefiere según la valoración que asigna a cada ítem. Así, podremos considerar un continuo que se mueve entre posiciones más orientadas a la trasmisión de información y reproducción mecánica de los contenidos -centrada en el contenido-, y otra que implica una reconstrucción del conocimiento por parte del estudiante -centrado en el aprendizaje- (Hernández Pina et al., 2012). Y razonar, asimismo, sobre el tipo de aprendizaje que se pretende: superficial –reproducción-, profundo (comprensión) o estratégico (cambio conceptual) (Kember, 1996; Hernández Pina, et al., 2002; Entwistle y McCune, 2004).
MÉTODO
Esta investigación se enmarca en un diseño de metodología de tipo encuesta (descriptivo y transversal) que pretende obtener las concepciones de los estudiantes universitarios (Navaridas y Jiménez, 2016) en factores asociados a prácticas innovadoras en la universidad: estrategias, material, apoyo, evaluación y rendimiento. Mediante la elaboración de un cuestionario ad hoc anónimo de doble respuesta se procede a la recogida de información.
Objetivos
El objetivo principal de la investigación es validar el constructo de factores asociados a prácticas innovadoras (Estrategias, material, apoyo, evaluación y rendimiento) en el marco de los proyectos de trabajo, aula invertida y evaluación formativa. Los ítems que saturan a cada uno de los indicadores mencionados se presentan en la tabla 2.
Asimismo, los objetivos específicos que se plantean son:
Población y Muestra
La muestra de sujetos que han participado es de 640 estudiantes – supone el 88.6 % del total de la población investigada-, de los cuales el 90.93% corresponde a mujeres (582 mujeres) y el 9.06% a varones (58 hombres); estas cifras se distribuyen con normalidad en relación con el alto índice de mujeres frente a hombres en las titulaciones involucradas durante los cursos académicos 2015/2016, 2016/2017 y 2017/2018. La edad comprendida para ambos grupos se encuentra entre los 18 y 46 años, situando la media en 23.8.
Instrumento
El diseño y construcción del cuestionario se inició en el año 2015, como instrumento principal para medir la opinión y el nivel de preferencia sobre la innovación desarrollada mediante trabajo por proyectos, aula invertida y evaluación formativa en las aulas universitarias. Para su elaboración, el equipo investigador realizó una revisión documental y analizó la propia experiencia de su práctica de aula para generar ítems en su primera versión. En este sentido, para el enfoque del estudio, se estableció un planteamiento de categorías que permitió descomponer la variable y expresar factores de diferenciación. Las mismas han sido emergentes y previas -modelo mixto- consideradas en función de los resultados y que permitieran estudiar los estilos de aprendizaje y autonomía del alumnado. Posteriormente, en distintas reuniones, se llegó a una versión constituida por 46 ítems en 5 categorías definitivas. A continuación, se realiza la validación por expertos en la temática, sometiéndolo al análisis y evaluación mediante un sistema de juicio de expertos (Jornet y Suárez, 1996; Prado et al., 2010) -(9 docentes en total de la Universidad de Extremadura, Universidad de Sevilla, Universidad del Algarve y Universidad de Córdoba)-, comprobando la pertinencia e inteligibilidad de cada uno de los ítems y del propio cuestionario. Para comprobar el nivel de acuerdo de estos, se consideró el coeficiente W de Kendall (índice de concordancia). Se desestimaron los ítems que presentaban discrepancias.
Esta primera versión se administró en formato papel, a una muestra piloto de 123 estudiantes de la asignatura de Didáctica y Desarrollo Curricular de los Grados Educación Infantil y Primaria. Posteriormente se procesaron los datos en una fase de validación donde se analizó el coeficiente de homogeneidad y cociente de variación, análisis de fiabilidad y consistencia interna, y validez de constructo. Con el final de este análisis de calidad técnica (Gargallo et al., 2011), se estaba en disposición de un instrumento definitivo para administrarlo a los participantes.
En la tabla 2 se presenta la estructura y dimensiones del cuestionario. Está conformado por cinco bloques de contenidos (indicadores) con 36 ítems de escala valorativa sobre prácticas innovadoras.
Cada uno de esos ítems es sometido a una doble valoración a través de dos escalas (Dimensiones) tipo Likert de cinco grados de respuesta que van de 1 “nulo” a 5 “totalmente”. En la primera escala “preferencia personal” el alumnado debe valorar la opinión que tiene respecto a los ítems planteados que muestran la eficacia y utilidad proporcionada respecto a las propuestas de innovación docente.
En la segunda escala “preferencia profesorado” debe valorar su opinión sobre la preferencia que tiene el docente respecto a los mismos ítems.
Tanto en una como en otra, se realizaron estudios iniciales de estadísticos descriptivos de frecuencias, medias y desviaciones típicas.
Procedimiento de recogida y análisis de datos
En primer lugar, se hizo un estudio descriptivo univariable para analizar el comportamiento de las respuestas respecto a la variabilidad y tendencia central de los ítems. Se calculó el alfa de Cronbach para el estudio de la fiabilidad del instrumento, tanto para el cuestionario total como para cada una de las dimensiones que lo configuran. Además se obtuvieron los índices de homogeneidad (correlación elemento-total corregida) de los ítems con el fin de determinar la conveniencia de la posible supresión de alguno de ellos (con valores inferiores a 0.2 según Hair et al., 2009, se suprime el ítem). Se obtuvieron las cargas factoriales a través de un análisis factorial exploratorio con el fin de determinar la estructura factorial del instrumento. Todo ello se calculó con el paquete informático SPSS (versión 21.0).
Finalmente se ha empleado el análisis factorial confirmatorio, tanto de las dos dimensiones, así como del cuestionario completo con la ayuda de la herramienta informática AMOS 18, determinando la bondad de ajuste del modelo factorial propuesto a nivel teórico, a través de las dimensiones e indicadores anteriormente expuestos, siguiendo los criterios marcados por Byrne (2010) y Kline (2010) (CMIN/DF entre 2 y 5, CFI e IFI > 0.9, RMSEA < 0.06 y HOELTER > 200) (tabla 7).
RESULTADOS
Estudio descriptivo univariable
En el estudio descriptivo inicial no se encontró ningún comportamiento irregular de la variabilidad y tendencia central de los ítems (medias entre 2.30 y 4.64, para la dimensión preferencia personal, ítems EV3 y R1, con desviaciones típicas que van de 1.31 a .575, respectivamente).
Para la dimensión preferencia del profesorado (tabla 4) la media está entre 2.34 y 4.69 ítems EV03 y EV01, con desviaciones típicas que van de1.53 a .63, respectivamente.
Fiabilidad y factorial exploratorio
Para el estudio de la consistencia interna se ha aplicado el Alfa de Cronbach, resultando un índice de .875, en una escala compuesta por 36 variables sobre una muestra de 640 sujetos. Se hallan también el Alfa de Cronbach para cada una de las dimensiones que forman la escala, identificando los ítems menos consistentes y, obteniéndose valores que comprenden índices algo más bajos (.128 - .628) aunque estos valores hay que considerarlos con cierta cautela ya que este estadístico se asocia al número de ítems que componen cada dimensión.
Considerando la fiabilidad de la escala (tabla 5) y la correlación ítem- total se suprimen los ítems: E1, E01, E3, E03, A3, A03, EV2, EV02, EV3, EV03, R1, R01, R2, R02, mejorando de esta forma la consistencia interna. Para examinar la estructura factorial del cuestionario se lleva a cabo un análisis factorial exploratorio para cada una de las escalas propuestas (excluyendo los ítems anteriormente mencionados), se ha empleado el análisis de componentes principales como método de extracción, obteniéndose un solo factor para cada una de las subdimensiones. En la tabla 6 se presenta la estructura factorial exploratoria resultante.
El índice de Kaiser-Meyer-Olkin (KMO) obtiene unos valores comprendidos entre .50 y .65 lo que indica la pertinencia de realizar el análisis factorial. Por otro lado, la prueba de esfericidad de Bartlett es significativa en todas las dimensiones < .001.
Los resultados obtenidos confirman la unidimensionalidad para cada una de las escalas analizadas, explicando más del 50% de la varianza en cada una de ellas.
Se elimina el indicador rendimiento (en ambas dimensiones), teniendo en cuenta los resultados obtenidos en el Alfa de Cronbach, ya que mejora considerablemente el modelo final.
Análisis factorial confirmatorio
Fundamentado el modelo propuesto en la literatura revisada se realiza el análisis factorial confirmatorio para valorar la validez del constructo. Para ello los resultados se muestran atendiendo a las dos dimensiones (preferencia personal y profesorado); cada una de ellas se compara con el valor del modelo inicial sin eliminar ningún ítem ni dimensión.
El modelo para la dimensión “preferencia personal” ofreció unos índices de ajuste muy adecuados (tabla 7) una vez suprimidos los ítems indicados en el análisis anterior.
Como puede observarse en la tabla 7, el modelo final, tras suprimir esos ítems, mejora considerablemente los niveles recomendados de las distintas medidas de ajustes.
En la figura 1 se indican las cargas factoriales saturando todas de forma significativas (<.05), entre un mínimo de .53 (ítems M1 “Recursos depositados en Moodle”) y un máximo de .67 (E2, “trabajos de clase” E5 “Actividades de investigación-documentación “y EV5 “rúbricas”. Las correlaciones entre los cuatro factores son todas significativas entre .48 y .89.
El modelo factorial para la dimensión “preferencia profesorado” ofreció también un ajuste muy adecuado (tabla 8).
En esta dimensión el modelo mejoró igualmente los índices de ajustes tras eliminar los ítems menos consistentes. Como puede observarse en la figura 2, las cargas factoriales saturan todas de forma significativa (<.05), entre un mínimo de .41 (ítems E04 “Trabajo en grupos fuera de clase”) y un máximo de .71 (M02, “Guía del Proyecto”. Las correlaciones entre los cuatro factores son todas significativas entre .75 y .84.
DISCUSIÓN
Los resultados obtenidos han permitido presentar un instrumento para evaluar propuestas de innovación docente mediante Proyectos de Trabajo e Investigación en el ámbito universitario. Este instrumento ha sido fundamentado teóricamente ( Pozuelos y García, 2018) y determinado operativamente atendiendo a cuatro categorías relevantes: estrategia, material, apoyo y evaluación.
De los datos conseguidos, cabe señalar cierta concordancia, respectivamente, al grado de preferencia del alumnado y la priorización que consideran tener del profesorado respecto a la eficacia y utilidad proporcionada en cuanto a las estrategias: el trabajo que se desarrolla dentro y fuera de clase, el desarrollo de actividades de investigación, los recursos que se depositan en la Moodle, las guías de proyectos, los apuntes de clase, el apoyo a través de las explicaciones en clase a los grupos de trabajo y en las tutorías y la evaluación por medio de carpetas de trabajo, trama personal y rúbricas. Parecen estos, elementos de eficacia y utilidad para el alumnado.
Sin embargo, las explicaciones del profesorado de tipo expositivo, el estudio personal, el apoyo a través de internet, la evaluación a través de exposiciones de clase o por medio de un examen, así como la valoración del rendimiento personal o en equipo, parecen ser de menor utilidad y eficacia como propuestas de innovación docente.
Como vemos, no se llega a concluir claramente un enfoque de enseñanza sólido, ni el basado en el alumnado ni el basado en el contenido tal y como indican los estudios de Prosser y Trigwell (1999) y de Kember y Kwan (2000). Cierto es que hay un mayor peso en el primero, ciertas estrategias y medidas del segundo consiguen validez y representatividad. Es decir, no se observa una polarización extrema entre la perspectiva centrada en el profesor y la basada en el estudiante, existen múltiples posibilidades intermedias que admiten matices de cada ángulo con objeto de lograr los aprendizajes, facilitar la comprensión o promover el cambio conceptual (Hernández Pina y Maquilón, 2010), incluso la integración de la dimensión más sociorelacional para aprender a aprender a través del trabajo en equipo o colectivo. En un sentido semejante se pronuncian Marcelo et al. (2014), cuando estudian las actividades preferidas por los estudiantes para alcanzar los objetivos, más que un tipo concreto tienden a recurrir a varias modalidades que se complementan entre sí. Análoga perspectiva se recoge en el estudio desarrollado por Rodríguez Izquierdo (2014) cuando analiza la opinión de los estudiantes en lo referido al aprendizaje basado en competencias conforme a las orientaciones del modelo formativo propuesto en el Espacio Europeo de Educación Superior. En todos los casos la autonomía y los enfoques de enseñanza y aprendizaje no representan un absoluto sino más bien una progresión que debe ser reforzada y apoyada en sucesivas tentativas intercalando medidas y cambios que lo hagan posible.
Estudios como el de Santos Rego et al. (2017) validan igualmente instrumentos para conocer la valoración de los estudiantes frente a innovaciones en la universidad, poniendo su énfasis en el diseño de entornos universitarios más allá de la mera transmisión de contenidos y evaluaciones de carácter puntual. Pero este instrumento no suele ser común ni en investigaciones como la citada ni en otros instrumentos de evaluación (Zhu et al., 2014), ya que se abordan desde una doble valoración, es decir, sometiendo al alumnado a estimar la opinión que tiene respecto a la eficacia y utilidad proporcionada a las propuestas de innovación docente “preferencia personal”, y en segundo término, “preferencia profesorado” al valorar su opinión sobre la preferencia que tiene el docente respecto a las mismas propuestas de innovación.
En este caso resulta relevante, no solo por el planteamiento teórico sino también por la operativización en ítems, ya que se trata de un instrumento de análisis que aporta una orientación al profesorado al que va dirigido sobre propuestas innovadoras docentes. Asimismo, la validez del constructo ofrece resultados satisfactorios de consistencia interna y validez factorial en una muestra de estudiantes universitarios onubenses (España).
Los índices de ajuste fueron adecuados para ambas escalas. No obstante, se observan problemas de fiabilidad y de saturación posterior en el modelo de los ítems: E1, E01, E3, E03, A3, A03, EV2, EV02, EV3, EV03, R1, R01, R2, R02. Es por eso por lo que se puso a prueba un modelo de las cuatro categorías establecidas en el que se eliminan estos ítems, consiguiendo un ajuste bastante satisfactorio.
De lo anteriormente mencionado, cabe destacar que uno de los puntos fuertes del instrumento es que aporta datos fiables de una propuesta de innovación docente respecto a su eficacia ( Monroy et al., 2015) y utilidad (Traver-Martí et al., 2016) de los distintos supuestos planteados sometidos a una doble valoración: “la preferencia personal” y la “preferencia del profesorado”. De este modo, permite ofrecer orientaciones al docente sobre aquellas estrategias de mayor calado para el alumnado.
Igualmente, el instrumento muestra adecuadas propiedades psicométricas de consistencia interna y validez. Este puede ser de utilidad en la práctica docente, concretamente en el ámbito del análisis de la implementación de propuestas innovadoras dentro del contexto universitario. No obstante, se hace interesante el poder replicar la estructura obtenida de los análisis en poblaciones distintas a la utilizada en la validación original.
Entre las limitaciones detectadas, señalar la muestra, que se limita a un contexto local (Universidad de Huelva) que supone restricciones a la hora de generalizar los resultados. Es por ello por lo que debería valorarse en un sentido exploratorio. Por otro lado, la aplicación del instrumento en un único momento temporal impide conocer la fiabilidad test-retest del mismo. También se debe señalar que se hace necesario revisar el indicador “rendimiento” ya que los ítems que lo conforman parecen no discriminar adecuadamente entre los sujetos –no por significatividad de los mismos sino por el número reducido de ítems-, desarrollando mejor el modelo y eliminando dicho indicador. Esto permitiría desarrollar adecuadamente el modelo, ya que los ítems que lo conforman parecían no discriminar bien entre los sujetos.
REFERENCIAS
Alcón, E. y Esteve, F.M. (2017). La importancia de la evaluación docente. Cuadernos de Pedagogía, 476, 67-70
Byrne, B. (2010). Structural equation modelling with AMOS. (2nd ed.). Taylor and Francis Group.
Casero-Martínez, A. (2016). Deconstrucción del “buen profesor”. Análisis de las características formales y no formales de la docencia universitaria. RELIEVE, 22(2). https://doi.org/10.7203/relieve.22.2.9419
Elliott, J. (2015). Las lesson y learning studies y la idea del docente como investigador. Revista Interuniversitaria de Formación del Profesorado, 84(29), 29-46. http://bit.ly/2QiS3aA
Entwistle, N. & McCune, V. (2004). The Conceptual Bases of Study Strategy Inventories. Educational Psychology Review, 16(4), 325–345. http://bit.ly/2MJXfCf
Gargallo, B., Suárez, J., Garfella, P., y Fernández, A. (2011). El cuestionario CEMEDEPU. Un instrumento para la evaluación de la metodología docente y evaluativa de los profesores universitarios. Estudios sobre Educación, 21, 9-40. http://bit.ly/37z6HA7
Hair, J., Anderson, R., Tathan, R., y Black, W. (2009). Análisis multivariante. Pearson.
Heikkilä, A., Lonka, K., Nieminen, J., & Niemivirta, M. (2012). Relations between teacher students' approaches to learning, cognitive and attributional strategies, well-being and study success. Higher Education, 64, 455-471. https://doi.org/10.1007/s10734-012-9504-9
Hernández Pina, F y Maquilón, J.J. (2010). Las concepciones de la enseñanza. Aportaciones para la formación del profesorado. Revista Electrónica Interuniversitaria de Formación del Profesorado, 13(3), 17-25. http://bit.ly/2QCTkrW
Hernández Pina, F., Maquilón, J.J., y Monroy, F. (2012). Estudio de los enfoques de enseñanza en profesorado de educación primaria. Profesorado. Revista de Currículum y Formación del Profesorado, 16(1), 61-77. http://bit.ly/2QILBJ1
Hernández Pina, F., Arán Jara, A., y Salmerón Pérez, H. (2012). Enfoques de aprendizaje y metodologías de enseñanza en la universidad. Revista Iberoamericana de Educación, 60(3), 1. https://doi.org/10.35362/rie6031299
Hernández Pina, F., García, M.P., Martínez, P., Hervás, R.M., y Maquillón, J. (2002). Consistencia entre motivos y estrategias de aprendizaje en estudiantes universitarios. Revista de Investigación Educativa, 20(2), 487-510. http://bit.ly/2sFwkRb
Howel, R.T. (2003). The importance of the Project Metod in technology education. Journal of Industrial Teacher Education, 40(3), 1-7. http://bit.ly/2ZJ0e2U
Jornet, J.M. y Suárez, J.M. (1996). Pruebas estandarizadas y evaluación del rendimiento: usos y características métricas. Revista de Investigación Educativa, 14(2), 141-163. http://bit.ly/2SNRya4
Kember, D. (1996). The intention to both memorise and understand: Another approach to learning? Higher Education, 31, 341-351. http://bit.ly/2rMZehK
Kember, D. & Kwan, K.P. (2000). Lecturers’ Approaches to Teaching and Their Relationship to Conceptions of Good Teaching. Instructional Science: An International Journal of the Learning Sciences, 28(5), 469-490. http://bit.ly/2QkujCZ
Kline, R. (2010). Principles and practice of structural equation modelling (Third edition). The Guilford Press.
Knoll, M. (1997). The project method: Its vocational education origin and international development. Journal of Industrial Teacher Education, 34(3), 59-80. http://bit.ly/2MQ7p4i
Marcelo, C., Yot, C., Mayor, C., Sánchez Moreno, M., Murillo, P., Rodríguez, J.M., y Pardo, A. (2014). Las actividades de aprendizaje en la enseñanza universitaria: ¿hacia un aprendizaje autónomo del alumno? Revista de Educación, 363, 334-359. https://doi.org/10.4438/1988-592X-RE-2012-363-191
Monereo, C. y Pozo, J.I. (eds.) (2003). La universidad ante la nueva cultura educativa. Síntesis.
Monroy, F., González-Geraldo, J.L., y Hernández-Pina, F. (2015). A psychometric analysis of the approaches to teaching inventory (ATI) and a proposal for a Spanish version (S-ATI-20). Anales de Psicología, 31(1), 172-183. https://doi.org/10.6018/analesps.31.1.190261
Montalvo, D.; Monge, C., y Torrego, J.C. (2018). Marco general de la innovación educativa en España: legislación, formación, teoría e investigación. En C. Monge y P. Gómez, Innovando la docencia desde la formación del profesorado (pp. 47 - 86). Síntesis.
Navaridas Nalda, F., y Jiménez Trens, M. (2016). Concepciones de los estudiantes sobre la eficacia de los ambientes de aprendizaje universitarios. Revista de Investigación Educativa, 34(2), 503-519. http://dx.doi.org/10.6018/rie.34.2.239481
Porlán, R. (2018). Enseñanza Universitaria. Cómo mejorarla. Morata.
Pozo, J.I. y Pérez Echeverría, M.P (2009). Psicología del aprendizaje universitario: la formación en competencias. Morata.
Pozuelos, F.J. y García Prieto, F.J. (2018). Innovar en educación superior: trabajo por proyectos, aula invertida y evaluación formativa. En C. Monge y P. Gómez Hernández, Innovando la docencia desde la formación del profesorado (pp. 167-194). Síntesis.
Pozuelos, F. J., Rodríguez, F. P., y Travé, G. (2012). El enfoque interdisciplinar en la enseñanza y aprendizaje basado en la investigación: un estudio de caso en el marco de la formación universitaria. Revista de Educación, 357, 561-585. https://doi.org/10-4438/1988-592X-RE-2010-357-073
Prado, V. M., Ramírez M., y Sofía, M. (2010). Adaptación y validación de la escala de clima social escolar (CES). Actualidades Investigativas en Educación, 10(2), 1-13. http://bit.ly/2Fgl3ti
Prosser, M. y Trigwell, K. (1999). Understanding learning and teaching: The experience in higher education. SRHE and Open University Press.
Rodríguez Izquierdo, R.M. (2014). Modelo formativo en el Espacio Europeo de Educación Superior: valoraciones de los estudiantes. Aula Abierta, 42(2). https://doi.org/10.17811/rifie.42.02.2014.106-113
Thomas, S., Chie, Q.T., Abraham M., Raj, S. & Beh, L.S. (2014). A Qualitative review of literature on peer review of teaching in higher education: an application of the SWOT framework. Review of Educational Research, 84, 112-159. https://doi.org/10.3102/0034654313499617
Traver-Martí, J.A. y García-López, R. (2007). Construcción de un cuestionario-escala sobre actitud del profesorado frente a la innovación educativa mediante técnicas de trabajo cooperativo (CAPIC). Revista Electrónica de Investigación Educativa, 9(1). http://bit.ly/37p2sXU
Traver-Martí, J.A., y Ferrández-Berrueco, R. (2016). Construcción y validación de un cuestionario de actitudes hacia la innovación educativa en la universidad. Perfiles educativos, 38(151), 86-103. https://doi.org/10.22201/iisue.24486167e.2016.151.54917
Zhu, C. y Nadine E. (2014). Organizational Culture and Instructional Innovations in Higher Education: Perceptions and reactions of teachers and students. Educational Management Administration & Leadership, 42(1), 136-158. https://doi.org/10.1177/1741143213499253
Notas de autor