La doble consideración de los créditos en las universidades de España en el marco del Espacio Europeo de Enseñanza Superior (EEES) distingue los presenciales (en aulas de clase, laboratorios, etc.) de los no presenciales, en entornos virtuales y dirigidos al trabajo autónomo de los estudiantes. Ha propiciado el marco idóneo para el desarrollo de nuevas modalidades de enseñanza en estos dos espacios (presencial y virtual) que solicitan una orientación y evaluación tutorizada, metodologías y tecnologías que faciliten una docencia integrada. Es lo que se denomina modalidad de enseñanza y aprendizaje blended-learning o b-learning (Bartolomé, 2004; Morueta, Rodríguez y Gómez, 2011; Tirado-Morueta, Pérez-Rodríguez y Aguaded- Gómez, 2011; Drysdale, Graham, Spring y Halverson, 2013). Esta modalidad, también llamada enseñanza mixta o combinada (presencial-virtual), surgió en los entornos de la “formación empresarial” (García Aretio, 2009) y, más recientemente, está implantada en todas las áreas de formación de las universidades europeas.

Las universidades están interesadas en favorecer la modalidad b-learning para el desarrollo de competencias en la medida en que, como en los ámbitos profesionales donde es frecuente, se orienta a la resolución de problemas complejos y en equipo (Sánchez, 2004). Por este motivo, en la actualidad se experimenta el blended-learning junto con otras metodologías (“clase invertida”, evaluación formativa, evaluación por competencias, autorregulación de los aprendizajes, etc.) en los diferentes contextos de enseñanza universitarios, procurando establecer fuertes lazos entre la teoría y las prácticas externas.

En algún sentido, se pretenden hacer más prácticas las clases teóricas y más teóricas las prácticas externas (Zabalza-Beraza, 2017). Esta es la razón por la que se plantean problemas reales y actuales del mundo profesional, en forma de aprendizaje basado en retos, o sencillamente cuando realizamos videoconferencias entre estudiantes en clase y profesionales en horario laboral; o cuando diseñamos unas “clases invertidas” (Prieto, Díaz y Santiago, 2014) con ejercicios y tareas de búsqueda de solución a casos prácticos; o bien, cuando planteamos una evaluación formativa donde el estudiante dispone de una retroalimentación durante su proceso de formación (Hortigüela-Alcalá, Pérez-Pueyo y López-Pastor, 2015), con autoevaluaciones (Lysaght, 2015) y evaluaciones de pares (Hafner y Hafner, 2003), implicando aprendizajes que desarrollan competencias profesionales con argumentos basados en el conocimiento científico y/o tecnológico.

Todo ello configura un “modelo integrado” de metodologías y tecnologías, y no tanto “mezclado” (García Aretio, 2012), que permite un proceso de aprendizaje exitoso y motivador. Sin duda, son numerosas las diferentes metodologías y tecnologías que podemos encontrar en la modalidad blended-learning. Las empleadas en esta investigación son, por un lado, la argumentación con rúbricas en la formación inicial de docentes y, por otro, la autoevaluación de los aprendizajes con rúbricas.

Basados en el modelo de Toulmin (1958), existe un amplio número de estudios sobre la argumentación (Sampson y Blanchard, 2012; Bulgren, Ellis y Marquis, 2014; Stapleton y Wu, 2015; Calle et al., 2016) que justifican el uso de esta metodología en distintas áreas universitarias y, especialmente, en la formación inicial de docentes (Nussbaum, Sinatra y Poliquin, 2008; Chowning et al., 2012). En esta trayectoria recientemente aparece una nueva línea de estudio con el desarrollo de las tecnologías aplicadas a la educación (Cebrián-Robles, Blanco-López y Noguera Valdemar, 2016; Kathpalia y See, 2016), y más particularmente, aplicadas a la evaluación formativa con e-rúbricas (rúbricas electrónicas) (Özçinar, 2015; Jung, 2015).

Entre las ventajas, destaca que la enseñanza de la argumentación pretende hacer reflexionar a los estudiantes de cuáles son sus preconcepciones, aprender a tomar decisiones y resolver problemas con criterios científicos y profesionales. Este proceso de reflexión favorece la evaluación formativa con e-rúbricas (Lawson, et al., 2015), pues estas se han mostrado excelentes como metodología para que el estudiante interiorice los criterios de calidad científicos y profesionales, desarrolle competencias digitales (Raposo-Rivas, Cebrián-de-la-Serna y Martínez-Figueira, 2013) y aporte soluciones a los problemas de la práctica laboral.

Las e-rúbricas favorecen la evaluación por competencias (Cebrián-de-la-Serna y Bergman, 2014) y sitúan el aprendizaje del estudiante en el centro de la enseñanza universitaria, siempre y cuando sean utilizadas como una metodología para guiar la evaluación formativa (Quinlan, 2006). A su vez, favorecen la autorregulación de su aprendizaje (Cebrián-Robles, Serrano Angulo, and Cebrián-de-la-Serna, 2014) en la medida en que se pretende ir más allá de la calificación, se entiende la evaluación como una oportunidad para aprender, y se solicita a los estudiantes la reflexión y el aprender sobre su propio proceso de aprendizaje (Reddy y Andrade, 2010).

La combinación de ambos enfoques metodológicos y tecnológicos (la argumentación y la evaluación formativa con e-rúbricas) son dos itinerarios que, al cruzarse, forman una nueva línea de estudios en la formación inicial de docentes, incipiente aún pero prometedora. Para consolidarse, sería necesario un número más elevado de investigaciones donde se compruebe el impacto en la enseñanza y la automatización de la evaluación de los aprendizajes. Más aún, si el grupo de estudiantes en clases presenciales es numeroso, y el tiempo necesario para evaluar las tareas que realizan los estudiantes fuera del aula también, resultará complicado gestionar un proceso de calidad en la evaluación con modalidad b-learning.

Las herramientas y las metodologías facilitan procesos de evaluación de los estudiantes de forma interactiva y rápida; a la vez que facilitan un tiempo para la reflexión individual y colectiva, sin dejar de tener en cuenta los entornos flexibles e integrados del b-learning. Este estudio plantea una metodología de uso de una e-rúbrica de argumentación para favorecer un proceso de calidad en la evaluación formativa de grupos de tamaño medio (sobre 30-50 estudiantes) y grande (75-100 estudiantes). En ella, es posible la argumentación individual y colectiva en modalidad b-learning y con una metodología de “clase invertida” o “flipped classroom” (Prieto, Díaz y Santiago, 2014; Ibáñez-Cubillas, Gallego-Arrufat y Gámiz-Sánchez, 2016). En suma, experimentar y evaluar el impacto de estas modalidades de enseñanza en experiencias en pequeña escala que nos aproximen a respuestas satisfactorias (Trahtemberg, 2000) para la evaluación formativa de los aprendizajes con tecnologías (Ibáñez-Cubillas, Gallego-Arrufat y Gámiz-Sánchez, 2016), analizando el impacto que esto provoca en las calificaciones y en el complejo ámbito de las argumentaciones de los estudiantes.

METODOLOGÍA

El estudio es parte de una línea de proyectos I+D+i^1,2 más amplia que experimenta y evalúa los modelos prácticos de uso de rúbricas electrónicas para la enseñanza y aprendizaje universitario. En estos proyectos, se analiza el impacto de la metodología de la rúbrica en diferentes contextos de enseñanza, y con diferentes prácticas de evaluación formativa, tales como la evaluación de pares (Søndergaard y Mulder, 2012), autoevaluación (Martínez-Figueira, Tellado-González y Raposo-Rivas, 2013; Cebrián-Robles, Serrano Angulo and Cebrián-de-la Serna, 2014;Pérez-Torregrosa, Gallego-Arrufat y Gámiz-Sánchez, 2016), evaluación de grupos, evaluación ipsativa, etc. (Gallego-Arrufat y Raposo-Rivas, 2014; Cebrián-de-la-Serna y Bergman 2014). En la mayoría de los estudios, el propósito y cuestión de investigación, como en el presente trabajo, consiste en responder a la pregunta: ¿qué impacto producen las metodologías de evaluación formativa con e-rúbricas en los aprendizajes universitarios?

En esta investigación, hemos planteado la realización de dos ejercicios similares a un mismo grupo de estudiantes con la única diferencia de utilizar y explicar, en el segundo ejercicio, la rúbrica de argumentación antes de realizar la tarea; así como, qué significa argumentar, presentar evidencias, etc. Por tanto, la hipótesis nula de la investigación es: No habrá diferencias en los resultados de las variables dependientes (calificaciones y argumentación elaborada por los estudiantes) de dos ejercicios similares y con la misma consigna, empleando solamente en uno de los ejercicios (en el segundo) la variable independiente (la metodología e-rúbrica de argumentación). Para ambos grupos se utilizó la plataforma Corubric.com desarrollada por el proyecto.

En el presente estudio, empleamos una metodología mixta (cualitativa- cuantitativa). En primer lugar, un análisis cualitativo mediante tres categorías de análisis (conclusiones, evidencias y argumentos) de las 262 anotaciones o respuestas dadas por los estudiantes a los dos ejercicios de argumentación científica. Los planteamientos son similares (problemas sobre proyectos de innovación tecnológica), y con las mismas consignas para las tareas. Se analizan y se comparan las respuestas de ambos ejercicios. En segundo lugar, se realiza un diseño de caso único A-B (Buendía Eisman, Colás Bravo y Hernández Pina, 1998, p. 112) donde se aplica solamente la e-rúbrica de argumentación como metodología para la orientación en uno de los dos ejercicios (el segundo ejercicio). Después se realiza un análisis cuantitativo y correlacional de las calificaciones obtenidas en ambos ejercicios, evaluando el docente con la misma e-rúbrica de argumentación (table 1) (Hernández-Sampieri, Fernández-Collado y Baptista-Lucio, 2006). En tercer lugar, se analiza la autoevaluación de los estudiantes empleando la e-rúbrica de argumentación y su correlación con las evaluaciones del docente.

Las variables del estudio

Las variables del estudio son: a) Variables independientes: la utilización de la rúbrica de argumentación editada desde el modelo teórico de Toulmin (1958) y la autoevaluación que realizan los estudiantes con la e-rúbrica; y b) Variables dependientes: Las calificaciones surgidas de la aplicación de dicha e-rúbrica por el docente a los dos ejercicios, y la naturaleza de las reflexiones e ideas de los estudiantes, tales como los argumentos que se esgrimen y las evidencias que se utilizan para llegar a las conclusiones.

Contexto y muestra

La experiencia de enseñanza se realiza en cuarto año del grado de Pedagogía (curso 2016-17) en una universidad del sur de España, en una asignatura optativa que aborda la innovación educativa y el uso de tecnología. En este grupo de 30 estudiantes, se proponen dos ejercicios similares -en cuanto a las consignas de las tareas- y espaciados en el tiempo, donde se explica qué se espera de ambos ejercicios. En particular, que respondan con “argumentación científica” como “profesionales que disponen de criterios y una opinión formada”, donde deben responder mediante tres aspectos muy relacionados: conclusiones, argumentos y evidencias. Los estudiantes deben explicar por qué eligen una de las dos conclusiones posibles y que presenten evidencias que apoyen esta argumentación.

El trabajo está diseñado para ocupar fácilmente más tiempo que el disponible en el laboratorio de clase, teniendo en cuenta así los créditos que tiene la asignatura para el trabajo autónomo en la modalidad de b-learning. Los estudiantes pueden seguir fuera del aula el ejercicio durante una semana. Se realiza un primer ejercicio sin e-rúbrica de argumentación y, transcurridas dos semanas, se propone en el aula un segundo ejercicio, explicando y utilizando la e-rúbrica de argumentación (table 1).

Recogida y análisis de datos

Para el análisis de categorías se siguió la técnica de “Q-análisis” o “Análisis de conectividades” en la idea de conseguir “los modelos de autopercepción” (Buendía Eisman, Colás Bravo y Hernández Pina, 1998, pp. 317-319) sobre los argumentos de los estudiantes. Para tal fin, se analizaron 262 anotaciones en total (99 correspondientes al ejercicio 1º y 163 al ejercicio 2º). Las diferencias con respecto al número de producción de anotaciones por los estudiantes entre ambos ejercicios son la primera evidencia cuantitativa del impacto positivo de la metodología de la e-rúbrica de argumentación aplicada. Para el análisis de contenido, se exportaron a Excel las anotaciones de la aplicación donde se realizó la evaluación con la rúbrica electrónica (Corubric.com). Para el estudio estadístico, se exportaron a Excel las calificaciones generadas por los estudiantes y el docente, utilizando la herramienta SPSS para su análisis.

El diseño de los ejercicios

En ambos ejercicios de similar dificultad, los estudiantes deben elegir entre una de las dos opciones planteadas, elaborando una argumentación y utilizando evidencias que la apoyen (mediante artículos, informes de proyectos, etc.). En ambos ejercicios, se señala expresamente que serán mejor valorados aquellos argumentos justificados con evidencias que procedan de artículos científicos incluidos en revistas indexadas, de informes de investigación hallados en portales educativos institucionales y repositorios oficiales (bases de datos de universidades, portales del ministerio, repositorios internacionales, secretarías de educación, universidades, etc.).

Para el primer ejercicio, se parte de una noticia breve y escueta de Internet en el que se puede leer: “Finlandia dejará de enseñar a escribir a mano en 2016” junto con el texto “A partir del curso 2016-2017, el programa educativo obligatorio de ese país prescindirá de la enseñanza de la escritura a mano y, en lugar de eso, las escuelas enseñarán mecanografía”. El ejercicio plantea quiénes están a favor y quiénes están en contra de que este planteamiento es una innovación beneficiosa para la educación. Los resultados de las argumentaciones de los estudiantes se recogen en el módulo de tareas de la plataforma de la universidad.

Para el segundo ejercicio, el docente explica muy brevemente qué son los proyectos 1:1 (un ordenador, un estudiante) y los proyectos 1:m (un ordenador, dos o más estudiantes). Se plantea la opción de elegir y argumentar entre el modelo 1:1 o la posibilidad de 1:m. En este segundo ejercicio, sí se explica la e-rúbrica de argumentación antes de iniciar la tarea; y también se propone a los estudiantes que escriban sus argumentaciones (conclusiones, evidencias y argumentación) en las anotaciones de texto de cada uno de estos apartados en la aplicación Corubric.com, en horas fuera de clase presencial (figura 1).

Planteamiento crítico frente a la información en Internet

En ambos ejercicios, tomar una u otra opción puede ser difícil pues hay aspectos relativos que requieren mayor definición. Aquí lo que nos interesa no es tanto ver si hay una conclusión acertada, sino en la justificación y en las evidencias que aporta. Este es el motivo por el que, en la consigna del ejercicio, se obliga a elegir una única opción. Podría afirmarse que esta “incertidumbre del contexto” se produce en muchos casos en la vida profesional cuando se realizan afirmaciones radicales o extremas sobre qué opción es la mejor.

Además, en el primer caso, es una noticia errónea procedente de los medios de comunicación. Podríamos decir que es un “bulo”, como otros tantos similares, que corren por los medios de comunicación y las redes; y que, al transmitirse parcialmente o fuera de contexto, generan un estado de opinión equivocado. El análisis posterior de este tipo de información “argumentada” y presentada como noticia es un elemento muy didáctico para el debate en clase.

En el segundo caso, igualmente la respuesta depende mucho del contexto y de la tecnología a utilizar (tabletas, móviles, ordenadores, etc.). Se eligió este segundo caso porque hemos observado en nuestras clases que hay una predisposición poco argumentada en los estudiantes, al asumir que es preferible disponer de la mayor cantidad de recursos tecnológicos y las últimas innovaciones tecnológicas. Es decir, plantear el modelo 1:1 como una innovación ideal, y no como una cuestión de recursos y organización escolar, puede permitir un debate interesante en clase presencial.

En definitiva, y en ambos casos, estamos llevando a los estudiantes a analizar sus percepciones, argumentos, reflexiones y pensamientos, al afrontar definitivamente un conflicto emocional y cognitivo. Junto a esto, estamos promoviendo que evalúen sus opiniones con criterios como los que aporta la e-rúbrica, de modo que puedan integrarlos y enfrentarse en el futuro con una actitud más profesional y crítica frente a los medios y las tecnologías, con mayor rigor y claridad en los argumentos.

RESULTADOS

Análisis cualitativo

Análisis cualitativo del ejercicio 1

En este ejercicio, 30 participantes que realizan 99 anotaciones, de las cuales 18 son referencias en el apartado de evidencias o pruebas. En la selección de la conclusión sobre estar o no de acuerdo si es una innovación sustituir la enseñanza de la escritura a mano por la mecanográfica responden no estar de acuerdo el 45,45%. En cambio, sí están de acuerdo y les parece una innovación positiva el 15,15%. Un 39,39% de estudiantes señalan las ventajas e inconvenientes de ambas opciones, y proponen una opción mixta que tomase los valores positivos de una propuesta combinada de ambas opciones sin excluir ninguna.

• Los que están de acuerdo (15,15%) parecen verse influenciados por el desarrollo de las tecnologías y por ser Finlandia el país. Entre las respuestas de los estudiantes destacan: “Es positiva la mecanografía ya que además (…) nos posibilita poder trabajar en numerosos sectores como por ejemplo el empresarial, porque es una habilidad muy solicitada.” (Est.8, A65); “… la mecanografía, su sustituto, es una manera y forma de escribir mucho más óptima y mejor orientada para el mundo en el que vivimos y viviremos….” (Est.19, A15); o “No podría estar en contra de un método educativo proveniente de un país como Finlandia, pionero en lo referente a la calidad educativa.” (Est.10, A22)
• Los que no están de acuerdo con esta propuesta de innovación (45,45%) suelen exponer su justificación en parte y “quizás más emocional”, pero con buenos razonamientos o criterios, casi sin evidencias, por estar más seguros de lo que afirman. “Es una afirmación muy fría el considerar la escritura a mano como inútil” (A48); “... el reemplazo de la escritura a mano por teclado podría influir la forma en que los/as niños/as perciben el lenguaje escrito” (A95); “La identificación de letras individuales se ve favorecida por su aprendizaje a mano, dado su influjo en el proceso de categorización y programación motriz que se relaciona con cada letra” (A74).
• Los que eligen una opción mixta (39,39%) no incluyen conclusiones definidas o taxativas, aportando argumentos a favor y en contra de ambas opciones. Consideraban ambas opciones o conclusiones más complementarias que excluyentes entre sí.

Si analizamos juntos los argumentos de los dos grupos “a favor” y “opción mixta”, (54,54%) apreciamos que suelen argumentar desde la creencia de que aprender las tecnologías a temprana edad favorece la empleabilidad y la integración social en el futuro. Por ejemplo: “A la hora de introducirnos en el mercado laboral, una de las competencias que nos piden las empresas es un nivel elevado en mecanografía y en manejo de las nuevas tecnologías” (Est.24, A44).

Resumen de los resultados del ejercicio 1

Se observa cierta correlación en aquellos que plantean más justificaciones y evidencias con mayor dominio del acceso y selección de información en Internet. Solo un pequeño grupo (27,3%) relaciona argumentos y evidencias precisas con un aporte de una o dos evidencias de artículos y noticias en blog. Algunas afirmaciones, que ofrecen los estudiantes, son propuestas provocadoras, ingeniosas en algunos casos y sorprendentes en otros. Opiniones, sin duda, para el debate en clase presencial o en un foro de discusión en un entorno virtual, por ejemplo: “La escritura a mano es algo que debería aprenderse en casa, con un apoyo en clase si es necesario” (A12); “… quedará la caligrafía como un arte” (A84).

Lejos de mostrar acuerdo o no con las conclusiones de los estudiantes, creemos que estos ejercicios les han proporcionado temas de debate, facilitando un ambiente para la discusión sobre temas complejos y controvertidos, puesto que unen el pensamiento y las emociones, así como las evidencias utilizadas en sus razonamientos. En conjunto, aparecen pocas evidencias teniendo en cuenta que sólo son 18 en total (0,6 referencias por estudiante). Solo un pequeño grupo (27,3%) relaciona argumentos y evidencias precisas con un aporte de una o dos evidencias de artículos o noticias en el blog. Los estudiantes que seleccionan una propuesta mixta (39,39%) no cumplen literalmente la consigna del ejercicio propuesto de elegir una opción, pero ponen en juego su inteligencia argumental.

Análisis cualitativo del ejercicio 2

En este ejercicio, 30 participantes que realizan 163 anotaciones, de las cuales 59 son referencias en el apartado de evidencias (casi dos referencias por estudiante). Eligen, en las conclusiones, los proyectos 1:1 el 48,48%; los que consideran la opción 1:m son el 39,39%. Aquí no hay una posición mixta, pero sí anotaciones de texto más bien confusas, poco claras o definidas (12,12% de estudiantes).

La mayoría de los que eligen el 1:1 (48,48%) suele tener una extensa argumentación y referencias más precisas para justificar su argumentación. Hay quienes valoran ambos y proponen 1:1 porque esto permite también el 1:m (es cuestión de metodología). Como afirma un estudiante: “En el sistema de una computadora por aula el uso del equipo es siempre grupal, mientras que en el modelo 1:1 cabe la dualidad Individual/Grupal según los intereses académicos del momento” (A88). Otros eligen esta opción con evidencias que no tienen mucha relación, dejándose llevar por los argumentos de las referencias y sin construir sus propias justificaciones.

La mayoría de quienes eligen el 1:m (39,39%) están motivados emocionalmente por la importancia del trabajo colaborativo y su argumentación es más pobre. Aparece también un error común, al asociar el hecho de que un ordenador por cada niño/a pudiera ser perjudicial para trabajar de forma colectiva. Esto se produce, incluso, cuando muestran o no evidencias y referencias precisas. Este es el caso de una estudiante que presentó cuatro referencias de bases de datos y artículos indexados que ofrecían resultados positivos sobre el trabajo colaborativo con TIC, pero ninguna justificaba la no utilización del 1:1: “En conclusión, puedo decir que en las aulas es necesario la existencia de un ordenador por cada dos estudiantes, ya que un solo ordenador por alumnado lo que genera es un aprendizaje individualizado y, por tanto, no favorece el aprendizaje colaborativo” (A 122).

Resumen de los resultados del ejercicio 2

Si, por un lado, seleccionan más referencias para justificar sus argumentos que en el ejercicio 1, también es cierto que encontramos más referencias contradictorias entre una y otra opción, circunstancia que les mueve a aquella opción más emocional o menos argumentada, (como el modelo 1:m). Encontramos numerosas anotaciones y referencias, principalmente citas de bases de datos y artículos indexados, y menos de instituciones o de blogs.

En ocasiones, teníamos dificultad de elegir el nivel de logro porque el texto no era específico respecto al ejercicio, o porque los estudiantes respondían con niveles intermedios o superiores a los previstos. Esto sucedió en pocas ocasiones, pero estimamos que es significativo y nos anima a mejorar la e-rúbrica y adaptarla al ejercicio. Por tanto, la e-rúbrica necesita de una mejora con un texto más acorde al ejercicio y con más niveles de logro.

En general, en el ejercicio 2 solían buscar y encontrar más evidencias científicas, su exposición de argumentos y redacción en la escritura mejoraban, y ofrecían un texto de mayor profesionalidad (por ejemplo, vocabulario utilizado). No obstante, eso no implicaba que hubiera incoherencias entre evidencias poco pertinentes para la pregunta, y justificaciones que no tenían relación con estas evidencias.

Comparación entre ambos ejercicios y análisis

El primer resultado es cuantitativo y cualitativo (tabla 2): por un lado, en el ejercicio 2 se observa un número más elevado de anotaciones (163 frente a 99) y más referencias utilizadas como evidencias (59 frente a 18) con respecto al ejercicio 1; por otro lado, también la argumentación está más elaborada y con mayor extensión, coherencia entre los tres elementos de la argumentación en el ejercicio 2 que en el ejercicio 1.

Existen más referencias y argumentación en el ejercicio 2; si bien, la calidad de las respuestas difiere. Por un lado, en casi la mitad de los casos, la argumentación no estaba relacionada con las conclusiones ni tampoco con las evidencias. Por otro lado, muchos estudiantes encontraban artículos muy precisos que demostraban las ventajas del 1:1 y el 1:m, aunque casi la mitad utilizaban, en su justificación, los resultados y argumentos de los estudios sin comentarlos, sin crear un discurso propio, etc, es decir, tomaban exactamente el hallazgo en Internet como verdadero. Esto provoca una nueva mejora en la e-rúbrica, pues no está, de algún modo, contemplada esta respuesta en los cuatro niveles de logro, por lo que se requiere un quinto nivel de logro. Un aspecto diferencial fue la opción mixta en el ejercicio 1, que parecía deberse más a la tensión por encontrar un término intermedio que a la afirmación de la noticia, frente a la opción mixta en el ejercicio 2, que respondía más a la inseguridad, claridad o confusión al posicionarse a una de las dos opciones.

Análisis cuantitativo

Del total de 262 anotaciones, 37% corresponden al ejercicio 1º y 62,21% al ejercicio 2º. Casi se duplicó la cantidad en el segundo ejercicio. A continuación, se muestra la frecuencia de las puntuaciones de evaluación que realizó el docente para las conclusiones, las pruebas y las justificaciones en los cuatro niveles posibles de logro de la e-rúbrica.

Consideramos que es necesario un comentario sobre el modo de aplicar a los dos ejercicios la e-rúbrica y sus criterios. Para tal fin, analizamos las figuras 2 y 3. Aquí se aprecia con claridad las diferencias más altas en el ejercicio 2. En el caso de las conclusiones del ejercicio 1, como vimos en el análisis cualitativo, no había mucha claridad y precisión, o no existían; de ahí la menor puntuación y reparto obtenido. En cambio, en el ejercicio 2 las conclusiones estaban por lo general mejor definidas, salvo pocos casos. Y en estas conclusiones se aplicó el criterio de la e-rúbrica y no importaba si elegían una u otra opción, o si abrían una nueva opción mixta. Lo importante era que estuviesen claramente descritas, definidas y precisas. Igualmente el número de pruebas era superior en el ejercicio 2 siendo la aplicación del criterio si había suficientes evidencias (al menos una o más), y que respondieran a las consignas de la tarea. En el caso del ejercicio 1, hubo muchos momentos en los que no había evidencias (puntuación muy alta del nivel 1 en la figura 2). La justificación o argumentación estaba basada en estas evidencias y en la calidad de las mismas, y, si no existe conclusión o no hay evidencias, difícilmente se puede justificar.

Se realizó un estudio estadístico con el paquete SPSS 23.0. Según el test de Kolmogorov-Smirnov (Razali y Wah, 2011), donde las variables de la rúbrica no se comportan como una curva normal, dando como resultado una significación de 0.000 en todas las variables. Este test mostró que las puntuaciones, así como los niveles de logros obtenidos en los resultados de las rúbricas, fueron variables no paramétricas; de ahí que se propusieran las pruebas estadísticas de Wilcoxon (Pértega Díaz y Pita Fernández, 2006) para ver si había diferencias antes y después en el ejercicio 1 y 2.

Una vez realizado el Test estadístico de Wilcoxon, se detecta que hay diferencias significativas en las pruebas (Z = -3,276; p = 0.001) con una media de 44,44 (entre el nivel de logro 2 y 3) para el ejercicio 1 y 81,11 (entre el nivel de logro 3 y 4) para el ejercicio 2. Con respecto a las justificaciones, hubo diferencias significativas (Z = -2,783; p = 0.005) con una media de 50,00 (entre el nivel de logro 2 y 3) para el ejercicio 1 y 74,44 (entre el nivel de logro 3 y 4) para el ejercicio 2. También se presentaron diferencias significativas para las conclusiones (Z = -2,440; p = 0.015) con una media de 51,85 para el ejercicio 1 y 80,37 para el ejercicio 2.

No se encontraron diferencias significativas entre las notas puestas por el docente y los estudiantes en el ejercicio de autoevaluación en ninguna de las tres categorías (prueba, justificación y conclusiones), por lo que debemos seguir investigando quizás en estudios posteriores en los que se emplee un diseño más longitudinal.

CONCLUSIÓN

Con el análisis de datos podemos rechazar, en parte, la hipótesis nula, y confirmar que la utilización de la metodología de la rúbrica de argumentación obtiene un impacto moderado en las calificaciones y argumentación de los estudiantes. No así, la variable autoevaluación de los estudiantes que necesitará de más medidas y experiencias para confirmarse; si bien albergamos optimismo, en este sentido, dados los resultados en otros trabajos (Cebrián-de-la Serna, Serrano-Angulo y Ruiz- Torres, 2014).

Este impacto moderado se observa en las siguientes evidencias, cualitativas y cuantitativas: a) Hay más anotaciones (el doble) y referencias utilizadas (el triple) en el ejercicio 2 que en el ejercicio 1, por lo que se podría decir que esta metodología promueve la búsqueda de referencias en Internet, su lectura, redacción y evidencia argumental; b) Si bien, las pruebas de Wilcoxon muestran que existe correlación positiva de todos los elementos en el ejercicio 2 frente al 1, pero con diferencias según los casos: las conclusiones (Z = -2,440; p = 0.015); las pruebas (Z = -3,276; p = 0.001) y, por último, las justificaciones (Z = -2,783; p = 0.005), necesitamos más estudios y evaluaciones similares con los mismos grupos de estudiantes y con diferentes diseño de investigación para llegar a una conclusión satisfactoria.

Si bien, existen diferencias en el ejercicio 2 frente al 1, no era un discurso propio en todos los estudiantes. Al menos en el 50% se podría estar reflejando un “copypaste” bien elaborado de las argumentaciones de las referencias encontradas, pues ofrecían buena justificación, pero muchas de las evidencias no estaban bien relacionadas con las justificaciones y tampoco con las conclusiones.

Esta es una de las dificultades, en general, de los estudiantes de grado, como así se ha comprobado en otros estudios (Nussbaum, Sinatra y Poliquin, 2008; Iordanou y Constantinou, 2014), donde les resulta más difícil justificar y algo menos buscar pruebas. Es decir, los estudiantes suelen tener mayor dificultad en redactar una justificación propia, algo menos una evidencia, y tienen mayor capacidad para elegir una opción. Se entiende que aquí la búsqueda de evidencias está mediatizada por su competencia digital, es decir, la capacidad para encontrar referencias adecuadas y precisas en bases de datos. Es, por esto, que pensamos que es preciso continuar investigando no tanto en la cantidad como en la calidad de los procesos de argumentación y en la mejora de las competencias digitales necesarias (en especial, las dirigidas a la información y análisis de datos, data literacy).

También consideramos algunas limitaciones en este estudio. Entre ellas, destaca que algunos participantes que planteaban la opción 1:m en el ejercicio 2, cuando no encuentran una evidencia precisa, se dejan llevar por el argumento del artículo, aunque no responda a la pregunta planteada. Esta situación nos lleva a profundizar en el estudio y medición de “las preconcepciones científicas” (Kuhn, Cheney y Weinstock, 2000) de los estudiantes previo al ejercicio, para establecer nuevas variables y, con otras posibles (entre otras, estilos de aprendizaje, etc.). Igualmente, sería oportuno utilizar la rúbrica para la autoevaluación por los estudiantes en un número más elevado de ejercicios, lo que permitiría examinar un aprendizaje ipsativo y longitudinal de cada estudiante y daría mayor validez interna al estudio.

En otros trabajos esperamos poder realizar, por un lado, diferentes aplicaciones y evaluaciones de distintos docentes que permitan conocer e interpretar cómo aplicamos los criterios, así como medir índices de concordancia y, por otro lado, realizar comparaciones entre los resultados de estudiantes de diferentes instituciones, empleando un entorno virtual común. De este modo, conseguiremos mayor validez de contenido en la e-rúbrica de argumentación, al tiempo que una adaptación más específica a los ejercicios. Se espera que, en el modelo blended-learning, adquiera mayor peso el debate virtual entre los estudiantes de características sociodemográficas similares pertenecientes a diferentes universidades, frente al debate realizado en una única universidad. Sobre todo interesa conseguir mayor reflexión compartiendo conclusiones, evidencias y argumentos, tras la realización de las anotaciones de estudiantes de diferentes instituciones de educación superior realizando el mismo ejercicio.

Por último, quizás la conclusión general más apremiante haya consistido en comprobar la eficacia, pero también la necesidad prospectiva de buscar más ejercicios de interés, provocadores y conflictivos para las dimensiones cognitivas y emocionales de los estudiantes, que motiven, promueven el debate y eleven el compromiso del estudiante. Todo ello para favorecer un cambio de las metodologías de enseñanza universitaria actuales. Este es el mejor contenido en una “clase invertida” que, junto con la necesidad de diseñar ejercicios que permitan una evaluación formativa (pares, ipsativa, auto-evaluación,etc), sencilla y automática, convierta en un estupendo aliado la metodología de la rúbrica electrónica de argumentación para la modalidad b-learning.

REFERENCIAS BIBLIOGRÁFICAS

Bartolomé, A. R. (2004). Blended-learning. Conceptos básicos. Píxel-Bit. Revista De Medios y Educación, 23, 7-20. doi: https://doi.org/10.12795/pixelbit

Buendía Eisman, L., Colás Bravo, P., y Hernández Pina, F. (1998). Métodos de investigación en psicopedagogía. Madrid: McGraw-Hill.

Bulgren, J. A., Ellis, J. D., y Marquis, J. G. (2014). The use and effectiveness of an argumentation and evaluation intervention in science classes. Journal of Science Education and Technology, 23(1), 82-97.

Calle, M., Soto, J. D., Torres, L., García, L. et al. (2016). Improving argumentative skills for engineering students in two different Colombian regions. In The International Scientific Conference eLearning and Software for Education, 3, 138-141. Bucharest: Carol I National Defence University. doi: 10.12753/2066-026X-16-197.

Cebrián-Robles, D., Blanco-López, A., y Noguera Valdemar, J. (2016). El uso de anotaciones sobre vídeos en abierto como herramienta para analizar las concepciones de los estudiantes de pedagogía sobre un problema ambiental. Indagatio Didactica, 8 (1), 158-174. Recuperado de https://goo.gl/bGDMMH

Cebrián-Robles, D., Serrano Angulo, J., y Cebrián-de-la-Serna,M.(2014).Federated e-rubric service to facilitate self-regulated learning in the European university model. European Educational Research Journal, 13(5), 575-583. doi: https://doi.org/10.2304/eerj.2014.13.5.575

Cebrián-de-la-Serna, M., y Bergman, M. (2014). Evaluación formativa con e-rúbrica: aproximación al estado del arte. REDU. Revista de docencia universitaria, 12(1), 15-22. doi: https://doi.org/10.4995/redu.2014.6427

Cebrián-de-la-Serna, M., Serrano-Angulo, J., y Ruiz-Torres, M. (2014). Las e-Rúbricas en la evaluación cooperativa del aprendizaje en la Universidad. Comunicar, 43, 153-161. doi: https://doi.org/10.3916/C43-2014-15

Chowning, J. T., Griswold, J. C., Kovarik, D. N., y Collins, L. J. (2012). Fostering critical thinking, reasoning, and argumentation skills through bioethics education. PloS one, 7(5), e36791. doi: https://doi.org/10.1371/journal.pone.0036791

Drysdale, J. S., Graham, C. R., Spring, K. J., y Halverson, L. R. (2013). An analysis of research trends in dissertations and theses studying blended learning. The Internet and Higher Education, 17, 90-100. doi: 10.1016/j.iheduc.2012.11.003.

Gallego-Arrufat, M. J., y Raposo-Rivas, M.(2014). Compromiso del estudiante y percepción del proceso evaluador basado en rúbricas. REDU. Revista de Docencia Universitaria, 12(1), 197-215.

García-Aretio, L. (2012). Blended, ¿mezcla o integración? (12,7). Blog Contextos universitarios mediados. Recuperado de http://aretio.hypotheses.org/135

García Aretio, L. (2009). ¿Por qué va ganando la educación a distancia? Madrid: UNED.

Hafner, J., y Hafner, P. (2003). Quantitative analysis of the rubric as an assessment tool: An empirical study of student peer-group rating. International Journal of Science Education, 25(12), 1509-1528. doi: https://doi.org/10.1080/0950069022000038268

Hernández-Sampieri, R., Fernández- Collado, C., y Baptista-Lucio, P. (2006). Metodología de la Investigación. (4a Edición). Ciudad: Editorial McGraw-Hill.

Hortigüela-Alcalá, D., Pérez-Pueyo, Á., y López-Pastor, V. (2015). Implicación y regulación del trabajo del alumnado en los sistemas de evaluación formativa en educación superior. Relieve, 21(1) doi: 10.7203/relieve.21.1.5171.

Ibáñez-Cubillas, P., Gallego-Arrufat, M. J., y Gámiz-Sánchez, V. M. (2016). The experience of flipped classroom in higher education. A case study in the University of Granada. EDULEARN16 Proceedings 8th International Conference on Education and New Learning Technologies (pp. 2816-2824). Barcelona.

Iordanou, K., y Constantinou, C. P. (2014). Developing pre-service teachers’ evidence-based argumentation skills on socio-scientific issues. Learning and Instruction, 34, 42-57. doi: http://doi.org/10.1016/j.learninstruc.2014.07.004

Jung, J. (2015). A Study on the Effects of the Rubric on Concurrent Discussion in Web-Based Environment. Paper presented at the International Conference on Cognition and Exploratory Learning in the Digital Age, CELDA2015. IADIS. Greater Dublin: Ireland.

Kathpalia, S. S., y See, E. K. (2016). Improving argumentation through student blogs. System, 58, 25-36. doi: http://doi.org/10.1016/j.system.2016.03.002

Kuhn, D., Cheney, R., y Weinstock, M. (2000). The development of epistemological understanding. Cognitive Development, 15(3), 309-328. doi: http://doi.org/10.1016/S0885-2014(00)00030-7

Lawson, T., Çakmak, M., Gündüz, M., y Busher, H. (2015). Research on teaching practicum – a systematic review. European Journal of Teacher Education, 38(3), 392-407. doi: 10.1080/02619768.2014.994060

Lysaght, Z. (2015). Assessment for learning and for self-regulation. International Journal of Emotional Education, 7(1), 20-34. Recuperado de http://search.proquest.com/docview/1680253200

Martínez-Figueira, E., Tellado-González, F., y Raposo-Rivas, M. (2013). La rúbrica como instrumento para la autoevaluación: Un estudio piloto. REDU. Revista de Docencia Universitaria, 11(2), 373-390.

Nussbaum, E. M., Sinatra, G. M., y Poliquin, A. (2008). Role of epistemic beliefs and scientific argumentation in science learning. International Journal of Science Education, 30(15), 1977-1999.

Özçinar, H. (2015). Scaffolding computer- mediated discussion to enhance moral reasoning and argumentation quality in pre-service teachers. Journal of Moral Education, 44(2), 232-251. doi: http://dx.doi.org/10.1080/03057240.2015.1043875

Pérez-Torregrosa, A. B., Gallego-Arrufat, M. J., y Gámiz-Sánchez, V. M (2016). Self-Assessment with Electronic Rubrics of Undergraduates in the Practicum in Spain and Greece. Paper presented at the ECER 2016, Leading Education: The Distinct Contributions of Educational Research and Researchers . European Educational Research Association, EERA

Pértega Díaz, S., y Pita Fernández, S. (2006). Métodos no paramétricos para la comparación de dos muestras. Cad Aten Primaria, 13, 109-113.

Prieto, A., Díaz, D., y Santiago, R. (2014). Metodologías Inductivas: El desafío de enseñar mediante el cuestionamiento y los retos. Barcelona: Océano.

Quinlan, A. (2006). A complete guide to rubrics: Assessment made easy for teachers, K-college. EEUU: Rowman & Little field Education.

Raposo-Rivas, M., Cebrián-de-la-Serna, M., y Martínez-Figueira, S. (2013). The electronic rubric to value skills on ICT subjects. European Educational Research Journal. 5(13), 584-594, doi: https://doi.org/10.2304/eerj.2014.13.5.584

Razali, N. M., y Wah, Y. B. (2011). Power comparisons of shapiro-wilk, kolmogorov- smirnov, lilliefors and anderson-darling tests. Journal of statistical modeling and analytics, 2(1), 21-33.

Reddy, Y. M., y Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. doi: 10.1080/02602930902862859.

Rojas, V. M. N. (2011). Metodología de la Investigación. Bogotá: Ediciones de la U.

Sánchez, A. B. (2004). Un modelo para blended-learning aplicado a la formación en el trabajo. Compartimos practices ¿compartimos saberes? RIED. Revista Iberoamericana de Educación a distancia, 7(1-2), 113-132.

Sampson, V., y Blanchard, M. R. (2012). Science teachers and scientific argumentation: Trends in views and practice. Journal of Research in Science Teaching, 49(9), 1122-1148. doi: 10.1002/ tea.21037.

Søndergaard, H., y Mulder, R. A. (2012). Collaborative learning through formative peer review: Pedagogy, programs and potential. Computer Science Education, 22(4), 343-367. doi: https://doi.org/10.1080/08993408.2012.728041

Stapleton, P., y Wu, Y. A. (2015). Assessing the quality of arguments in students’ persuasive writing: A case study analyzing the relationship between surface structure and substance. Journal of English for Academic Purposes, 17, 12-23.

Tirado-Morueta, R., Pérez-Rodríguez, M. A., y Aguaded-Gómez, I. (2011). Blended e-learning en universidades andaluzas. Aula Abierta, 39(2), 47-58.

Toulmin, S. E. (1958). The uses of argument (2003rd ed.). Cambridge: CUP

Trahtemberg, L. (2000). El impacto previsible de las nuevas tecnologías en la enseñanza y la organización escolar. Revista Iberoamericana de Educación, 24, 37-62. Recuperado de http://rieoei.org/rie24f.htm

Zabalza-Beraza, M. (2017). El Prácticum y las prácticas externas en la formación universitaria. Practicum, 1(1). Recuperado de https://goo.gl/4I7h55

Notas

Notas de autor