The challenge to design and assess learning outcomes in higher education
DOI:
https://doi.org/10.5944/educxx1.38233Keywords:
higuer education, learning outcomes, educational assessment, performance assessmentAbstract
Establishing learning outcomes and the system for monitoring and assessing their achievement is one of the essential aspects of the planning and organisation of the teaching-learning process, and is also one of the crucial functions of university teaching staff. In addition, it is also a key activity in order to give coherence in higher education to a curriculum design based on constructive alignment. This study presents an analysis and assessment of the descriptions of the following curricular elements in the university Master’s degree programmes: learning outcomes and assessment means and instruments. Employing a textual and content analysis, 9419 descriptions of learning outcomes and 6729 descriptions of assessment means and instruments have been analysed, which correspond to the programmes of 89 Master’s degrees in the branch of Social Sciences and Law taught in six Spanish universities in different autonomous regions. Textual analysis was carried out with the Xplortext software. For the content analysis, firstly, an ad hoc evaluation instrument (ANVALDOC) was designed and, secondly, a computer tool (CORAMeval) was developed for the implementation and use of the scale. The results show the association between the language used and the university of origin or the field of knowledge in which the degree is contextualised. Likewise, there is a clear difference between universities and fields in terms of the quality of the descriptions of the learning outcomes, assessed in terms of correctness, verifiability, authenticity, or underlying cognitive process. Moreover, these differences are maintained in the correctness and authenticity of the assessment means and instruments.
Downloads
References
Ajjawi, R., Tai, J., Boud, D., & Jorre de St Jorre, T. (2022). Assessment for Inclusion in Higher Education. Routledge. https://doi.org/10.4324/9781003293101
Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., & Wittrock, M. C. (Eds.). (2001). A taxonomy for learning, teaching, and assessing: a revision of Bloom’s taxonomy of educational objectives. Longman.
ANECA. (2022). Resultados de aprendizaje y procedimientos de aseguramiento de la calidad para la evaluación, certificación y acreditación de enseñanzas e instituciones, conforme al RD 640/2021 y al RD 822/2021. ANECA.
AQU. (2022). El perfil de las titulaciones. Objetivos de formación, perfil de graduación y resultados de aprendizaje. Agència per a la Qualitat del Sistema Universitat de Catalunya.
Astigarraga Echeverría, E., Mongelos García, A., & Carrera Farran, X. (2020). Evaluación basada en los Resultados de Aprendizaje: Una Experiencia en la Universidad. Revista Iberoamericana de Evaluación Educativa, 13(2), 27–48. https://doi.org/10.15366/riee2020.13.2.002
Balderas, A., Ibarra-Saiz, M. S., & Rodríguez-Gómez, G. (2021, September 23-24). CORAMeval: A Software to Evaluate Competencies, Learning Outcomes and Assessment Formats in Higher Education [Paper presentation]. XXIII International Simposium of Computers in Education (SIIE 2021).
Barboyon Combey, L., & Gargallo López, B. (2022). Métodos centrados en el estudiante. Sus efectos en las estrategias y los enfoques de aprendizaje de los universitarios. Teoría de La Educación. Revista Interuniversitaria, 34(1), 215–237. https://doi.org/10.14201/TERI.25600
Bécue-Bertaut, M. (2018). Analyse textuelle avec R. Presses Universitaires de Rennes.
Bécue-Bertaut, M., Alvarez-Esteban, R., Sánchez-Espigares, J. A., & Kostov, B. (2022). Xplortext: Statistical Analysis of Textual Data. R package version 1.5.1. [Computer Software]. https://cran.r-project.org/package=Xplortext
Biggs, J. (1996). Assessing learning quality: Reconciling institutional, staff and educational demands. Assessment & Evaluation in Higher Education, 21(1), 5–16. https://doi.org/https://doi.org/10.1080/0260293960210101
Biggs, J. (2014). Constructive alignment in university teaching. HERDSA Review of Higher Education, 1, 5–22.
Biggs, J., Tang, C., & Kennedy, G. (2022). Teaching for quality learning at university (5th ed.). McGraw-Hill & Open University Press.
Bone, E. K., & Ross, P. M. (2021). Rational curriculum processes: revising learning outcomes is essential yet insufficient for a twenty-first century science curriculum. Studies in Higher Education, 46(2), 394–405. https://doi.org/10.1080/03075079.2019.1637845
Boud, D. (2020). Retos en la reforma de la evaluación en educación superior: una mirada desde la lejanía. RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa, 26(1), 1–14. https://doi.org/10.7203/relieve.26.1.17088
Coates, H. (2016). Assessing student learning outcomes internationally: insights and frontiers. Assessment and Evaluation in Higher Education, 41(5), 662–676. https://doi.org/10.1080/02602938.2016.1160273
Coates, H. (2020). Higher Education Design: Big deal partnerships, technologies and capabilities. Palgrave Macmillan.
Coates, H., Liu, L., Zhang, J., Jiang, F., Zhang, D., & Godinho, S. (2021). Next-generation assessment spurs smarter learning. Journal of Supranational Policies of Education (JOSPOE), 13, 88–103. https://doi.org/10.15366/jospoe2021.13.004
Creswell, J. W., & Creswell, J. D. (2022). Research Design: Qualitative, Quantitative, and Mixed Methods Approaches (6th ed.). SAGE Publications.
Dobbins, K., Brooks, S., Scott, J. J. A., Rawlinson, M., & Norman, R. I. (2016). Understanding and enacting learning outcomes: the academic’s perspective. Studies in Higher Education, 41(7), 1217–1235. https://doi.org/10.1080/03075079.2014.966668
Gamboa Solano, L., Guevara Mora, M. G., Mena, A., & Umaña Mata, A. C. (2021). Aspectos para integrar el enfoque de resultados de aprendizaje en el diseño curricular universitario. Innovaciones Educativas, 23(34), 150–165. https://doi.org/10.22458/IE.V23I34.3474
García-Olalla, A., Villa Sánchez, A., Aláez, M., & Romero-Yesa, S. (2022). Aplicación y resultados de un sistema para evaluar la calidad de la docencia universitaria en una década de experimentación. Revista de Investigación Educativa, 40(1), 51–68. https://doi.org/10.6018/RIE.401221
Ibarra-Sáiz, M.S., & Rodríguez-Gómez, G. (2022a, 18 octubre). Alineamiento constructivo: Enseñanza-aprendizaje-evaluación [Vídeo]. YouTube. https://youtu.be/UuFKU4GBxnQ
Ibarra-Sáiz, M.S., & Rodríguez-Gómez, G. (2022b, 18 octubre). Seguimiento y evaluación de los resultados de aprendizaje en educación superior [Vídeo]. YouTube. https://youtu.be/xcklCg8q_kk
Ibarra-Sáiz, M. S., Balderas Alberico, A. y Rodríguez-Gómez, G. (2022, junio 14-17). Criterios y herramientas para la evaluación del diseño de competencias y resultados de aprendizaje. En M.S. Ibarra-Sáiz (Coord.), Análisis crítico comparativo del diseño de competencias y resultados de aprendizaje en másteres de Ciencias Sociales. Resultados del Proyecto FLOASS [Simposio]. XX Congreso Internacional de Investigación Educativa, Santiago de Compostela, España.
Ibarra-Sáiz, M. S., Rodríguez-Gómez, G., Lukas-Mujika, J. F., & Santos-Berrondo, A. (2023). Medios e instrumentos para evaluar los resultados de aprendizaje en másteres universitarios. Análisis de la percepción del profesorado sobre su práctica evaluativa. Educación XX1, 26(1), 21–45. https://doi.org/10.5944/EDUCXX1.33443
IBM Corp. (2017). IBM SPSS Statistics for Windows. (Version 25.0) [Computer Software]. IBM Corp.
Jiménez Hernández, D., González Ortiz, J. J., & Tornel Abellán, M. (2020). Metodologías activas en la universidad y su relación con los enfoques de enseñanza. Profesorado. Revista de Currículum y Formación Del Profesorado, 24(1), 76–94. https://doi.org/10.30827/PROFESORADO.V24I1.8173
Panadero, E., Fraile, J., Fernández Ruiz, J., Castilla-Estévez, D., & Ruiz, M. A. (2019). Spanish university assessment practices: examination tradition with diversity by faculty. Assessment & Evaluation in Higher Education, 44(3), 379–397. https://doi.org/10.1080/02602938.2018.1512553
R Core Team. (2022). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.r-project.org/
Real Decreto 1027/2011, de 15 de julio, por el que se establece el Marco Español de Cualificaciones para la Educación Superior. Boletín Oficial del Estado, 185, de 3 de agosto de 2011. https://www.boe.es/eli/es/rd/2011/07/15/1027
Real Decreto 822/2021, de 28 de septiembre, por el que se establece la organización de las enseñanzas universitarias y del procedimiento de aseguramiento de su calidad. Boletín Oficial del Estado, 233, de 29 de septiembre de 2021. https://www.boe.es/eli/es/rd/2021/09/28/822
Rodríguez-Gómez, G., & Ibarra-Sáiz, M.S. (2022, 18 octubre). Diseño de los resultados de aprendizaje en educación superior [Vídeo]. YouTube. https://youtu.be/JgnrlWFjrRQ
RStudio Team. (2022). RStudio: Integrated Development Environment for R. (Version 2022.07.2) [Computer Software]. RStudio, PBC. http://www.rstudio.com
Schoepp, K. (2019). The state of course learning outcomes at leading universities. Studies in Higher Education, 44(4), 615–627. https://doi.org/10.1080/03075079.2017.1392500
Soares, D., Carvalho, P., & Dias, D. (2020). Designing Learning Outcomes in Design Higher Education Curricula. International Journal of Art and Design Education, 39(2), 392–404. https://doi.org/10.1111/jade.12286
Zlatkin-Troitschanskaia, O., Pant, H. A., & Coates, H. (2016). Assessing student learning outcomes in higher education: challenges and international perspectives. Assessment & Evaluation in Higher Education, 41(5), 655–661. https://doi.org/10.1080/02602938.2016.1169501
Downloads
Additional Files
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 Gregorio Rodríguez-Gómez, Jaione Cubero-Ibáñez, Laura Sánchez-Calleja, Andrea González-Elorza, Mª Soledad Ibarra-Sáiz
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Educación XX1 is published under a Creative Commons Attribution-NonCommercial 4.0 (CC BY-NC 4.0)
