Eficacia escolar y alto rendimiento lector del alumnado español en PISA 2018: un enfoque de machine learning

Delia  Arroyo Resino; Alexander Constante-Amores; María  Castro; Enrique Navarro

doi:10.5944/educxx1.38634

Authors

Delia Arroyo Resino Universidad Complutense de Madrid, Spain https://orcid.org/0000-0002-3784-7745
Alexander Constante-Amores Universidad Camilo José Cela, Spain https://orcid.org/0000-0003-2024-9615
María Castro Universidad Complutense de Madrid, Spain https://orcid.org/0000-0002-2597-3621
Enrique Navarro Universidad Complutense de Madrid, Spain https://orcid.org/0000-0002-3052-146X

DOI:

https://doi.org/10.5944/educxx1.38634

Keywords:

PISA, high achievement, machine learning, school effectiveness

Abstract

In the last few decades, the analysis of school effectiveness has gained increasing importance in the field of education. This current research focuses on studying the factors of school effectiveness associated with high performance in reading comprehension. The sample is comprised of Spanish students who participated in PISA 2018. The dependent variable is high performance in reading comprehension, and a total of 159 predictors related to school effectiveness have been considered. The data were analyzed using the Random Forest algorithm and binary multilevel logistic regression. Among the key findings, it is highlighted that the most important variables are process variables: enjoyment of reading and metacognition: evaluating credibility. Furthermore, the relative importance of context or input factors and process factors explains 41% and 38%, respectively, of the variance of the criterion variable. The final model (comprising both groups of factors) explains approximately 54% of reading success. In this model, the predictor that has the most significant effect is metacognition: evaluating credibility, which refers to the subject’s ability to assess the quality and credibility of a text (for example, whether the information is valid, accurate, and impartial), with its effect being roughly double that of context or input variables. Among the main conclusions, it is highlighted that it is possible to increase the scarce number of high-performing students in the Spanish context through the development of educational policies that promote a love for reading and metacognitive capacity.

Downloads

Download data is not yet available.

References

Akande, S., & Oyedapo, R. (2018). Developing the reading habits of secondary school students in Nigeria: the way forward. International Journal of Library Science, 7(1), 15-20.

Arroyo, D., Constante-Amores, I. A., & Asensio, I. (2019). La repetición de curso a debate: un estudio empírico a partir de PISA 2015. Educación XX1, 22(2), 69-92. https://doi.org/10.5944/educxx1.22479

Artelt, C., & Schneider, W. (2015). Cross-country generalizability of the role of metacognitive knowledge in students’ strategy use and reading competence. Teachers College Record, 117(1), 1–32. https://bit.ly/4akHyKl

Asensio-Muñoz, I., Carpintero, E., Expósito, E., & López-Martín, E. (2018). ¿Cuánto oro hay entre la arena? Minería de datos con los resultados de España en PISA 2015. Revista de Educación, 270, 225-245

Avendaño, I., & Martínez, D. (2013). Competencia lectora y el uso de las nuevas tecnologías de la información y comunicación. Revista Escenarios, 11(1), 7-22.

Barrera, J. E., Polanco, J. G. C., & Acosta, J. D. (2019). Comprensión lectora de estudiantes universitarios. Factores asociados y mecanismos de acción. Revista Venezolana de Gerencia, 24(87), 874-889.

Bonaccorso, G. (2017). Machine learning algorithms. Packt Publishing Ltd.

Butlen, M. (2005). Paradoja de la lectura escolar. Revista de Educación, núm. Extraordinario, 139-151.

Cameron, A. C., & Windmeijer, F. A. (1997). An R-squared measure of goodness of fit for some common nonlinear regression models. Journal of Econometrics, 77(2), 329-342.

Campos, I. O., & Arantegui, M. (2022). Exploración de la mediación parental en el uso de las TIC y su correlación con la comprensión lectora del alumnado preadolescente. Lenguaje y Textos, 55, 43-54. https://doi.org/10.4995/lyt.2022.15948

Carrillo-López, P. J., Constante-Amores, A., Arroyo-Resino, D., & Sánchez-Munilla, M. (2022). Self-concept and academic achievement in primary school: a predictive study. International Journal of Education in Mathematics, Science and Technology, 10(4), 1057-107

Constante-Amores, A., Florenciano Martínez, E., Navarro, E., & Ferná ndez-Mellizo, M. (2021). Factores asociados al abandono universitario. Educación XX1, 24(1), 17-44.

Coleman, J. (1966). Equality of educational opportunity. US Government Printing Office.

Cordero, J. M., Crespo, E., & Pedraja, F. (2013). Rendimiento educativo y determinantes según PISA: una revisión de la literatura en España. Revista de Educación, 362, 273-297

Creemers, B. P., Peters, T., & Reynolds, D. (2022). School effectiveness and school improvement. Routledge

de Frutos, S. F., & Santaren, V. R. (2020). El papel del sexo en comprensión lectora. Evidencias desde PISA y PIRLS. Revista de Investigación en Educación, 18(2), 99-117.

de la Orden, A., Asensio, I., Carballo, R., Fernández Díaz, J., Fuentes, A., García Ramos, J. M., & Guardia, S. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE - Revista Electrónica De Investigación Y Evaluación Educativa, 3(1).

Dezcallar, T., Clariana, M., Cladellas, R., Badia, M., & Gotzens, C. (2014). La lectura por placer: su incidencia en el rendimiento académico, las horas de televisión y las horas de videojuegos. Ocnos: Revista de Estudios sobre Lectura, (12), 107-116.

Franco, M., Cárdenas, R., & Santrich, E. (2016). Factores asociados a la comprensión lectora en estudiantes de noveno grado de Barranquilla. Psicogente, 19(36), 296-310. https://doi.org/10.17081/psico.19.36.1299

Gamazo, A., Martínez-Abad, F., Olmos-Miguelañez S., & Rodríguez-Conde M. J. (2018). Evaluación de los factores relacionados con la eficacia escolar en PISA. Un análisis multinivel. Revista de Educación, 379, 56-84.

García M. A., Arévalo M. A., & Hernández C. A. (2018). La comprensión lectora y el rendimiento escolar. Cuadernos de Lingüística Hispánica, (32), 155- 174.

Garrido, R., Gallo-Rivera, M. T., & Martínez-Gautier, D. (2020). ¿Cuáles son y cómo operan los determinantes del fracaso escolar? Replanteando las políticas públicas para el caso de España y sus regiones. Revista Internacional de Ciencias del Estado y de Gobierno, 1(4), 509-540.

Gaviria, J. L. (2004). La situación española: el rendimiento de los estudiantes. En G. Haug, J. L. Gaviria, C. Lomas, M.D. de Prada, & D. Gil (Eds.), El rendimiento de los estudiantes al final de la educación obligatoria: objetivos europeos y situación española (pp.18- 83). Santillana.

Gil, J. (2011). Hábitos lectores y competencias básicas en el alumnado de educación secundaria obligatoria. Educación XX1, 14(1), 117-134.

Gómez, I. M., García, J. A., Vila, J. O., Elosúa, M. R., & Rodríguez, R. (2014). The dual processes hypothesis in mathematics performance: beliefs, cognitive reflection, working memory and reasoning. Learning and Individual Differences, (29), 67-73.

Gorostiaga, A., & Rojo-Álvarez, J. L. (2016). On the use of conventional and statistical-learning techniques for the analysis of PISA results in Spain. Neurocomputing, 171, 625-637.

Herrera, J. C., Treviño, A., & Navarrete, G. (2017). Factores de riesgo asociados a falta de competencia para la comprensión lectora en niños de primaria [Comunicación]. X Congreso Nacional de Investigación Educativa.

Hu, J., Peng, Y., & Ma, H. (2021). Examining the contextual factors of science effectiveness: a machine learning-based approach. School Effectiveness and School Improvement, 33, 21–50. https://doi.org/10.1080/09243453.2021.1929346

Kassambara, A. (2018). Machine learning essentials: Practical guide in R. Sthda.

Kyriakides, L., Charalambous, E., Creemers, B. P. M., Antoniou, P., Devine, D., Papastylianou, D., & Fahie, D. (2019). Using the dynamic approach to school improvement to promote quality and equity in education: a European study. Educational Assessment, Evaluation and Accountability, 31(1), 121–149. https://doi.org/10.1007/s11092-018-9289-1

Lee, V. E. (2000). Using hierarchical linear modeling to study social contexts: the case of school effects. Educational Psychologist, 35(2), 125-141.

Linnakyla, P., Malin, A., & Taube, K. (2004). Factors behind low reading literacy achievement. Scandinavian Journal of Educational Research, 48(3), 231-249.

López-González, E., Navarro, E., García San Pedro, M. J., Lizasoain, L., & Tourón, J. (2021). Estudio de la eficacia escolar en centros educativos de primaria mediante el uso de modelos jerárquicos lineales. Bordón, 73(1), 59-80. https://doi.org/10.13042/Bordon.2021.80530

Martínez-Abad, F., Gamazo, A., & Rodríguez-Conde, M. J. (2020). Educational data mining: identification of factors associated with school effectiveness in PISA assessment. Studies in Educational Evaluation, 66, Artículo 100875.

Medina, F., & Galván, M. (2007). Imputación de datos: teoría y práctica. Cepal.

Molina, I. (2020). Comprensión lectora y rendimiento escolar. Revista Boletín Redipe, 9(1), 121-131.

Murillo, F. J. (Coord.) (2007). Investigación iberoamericana sobre eficacia escolar. Convenio Andrés Bello.

Organización para la Cooperación y el Desarrollo Económicos. (2019). PISA 2018 assessment and analytical framework. OECD publishing.

Qi, X. (2021). Effects of self-regulated learning on student’s reading literacy: evidence from Shanghai. Frontiers in Psychology, 11, Artículo 555849.

Rivera, J. (2013). Punto de encuentro entre los jóvenes y la lectura: estrategia constructivista para fortalecer su comportamiento lector. Simbiosis Estudiantil 7(1).

Sarkar, D., Bali, R., & Sharma, T. (2018). Practical machine learning with Python. A problem-solvers guide to building real-world intelligent systems. Apress.

Scheerens, J. (1991). Process indicators of school functioning: a selection based on the research literature on school effectiveness. Studies in Educational Evaluation, 17(2), 371–403. https://doi.org/10.1016/S0191-491X(05)80091-4.

Scheerens, J., & Creemers, B. P. (2022). School effectiveness and school improvement. Routledge

Scheerens, J., Witziers, B., & Steen, R. (2013). A meta-analysis of school effectiveness studies. Revista de Educación, 361, 619-645. https://doi.org/10.4438/1988-592X-RE-2013-361-235

Sterne, J. A., White, I. R., Carlin, J. B., Spratt, M., Royston, P., Kenward, M. G., & Carpenter, J. R. (2009). Multiple imputation for missing data in epidemiological and clinical research: potential and pitfalls. BMJ, 338, 23-93

Viramontes, E., Amparán, A., & Núñez, L. D. (2019). Comprensión lectora y el rendimiento académico en educación primaria. Investigaciones sobre Lectura, 12, 65-82.

Wu, Y. J., Carstensen, C. H., & Lee, J. (2020). A new perspective on memorization practices among East Asian students based on PISA 2012. Educational Psychology, 40(5), 643-662.