ASSESSING SCHOOL PRINCIPAL LEADERSHIP PRACTICES. VALIDITY AND RELIABILITY OF A RUBRIC
DOI:
https://doi.org/10.5944/educxx1.23894Keywords:
Principals, Primary School, leadership, measurement, rubric.Abstract
Basic education has several priorities such as achieving better levels of reading, calculation and coexistence in the students; transforming pedagogical practices traditionally based on oral presentations and content learning; building better coexistence and inclusion in the school environment; improving security conditions; and ensuring that schools operate on a regular basis, among others. However, there are no rubrics to evaluate the director’s management regarding these priorities in basic education, although it is well known that rubrics are tools that allow accurate verification of achievements and definition of improvement needs. The purpose of the present study was to design and validate an analytical rubric that might be used by principals in order to self-evaluate their practices and establish improvement actions that benefit learning in basic education schools. The instrument was evaluated by 10 judges. Aiken’s V values higher than 0.75 were obtained in relevance, writing and satisfaction with the instrument. Then, the rubric was applied to a group of 645 principals of basic education schools and there was agreement that every item is satisfactory and has the relevance and clarity needed to be used to help improve principal’ management. Then, a factor analysis was carried out and a single factor was found, in accordance with what was expected at the theoretical level. Finally, it was established that the rubric has a reliability of 0.877. It is concluded that the rubric for self-assessment of management practices has adequate levels of content validity, construct validity and reliability.
Downloads
References
Arturo, C. (2019). La evaluación de competencias desde la socioformación en proyectos transversales de educación básica. Human Development and socioformation (HUDS), 1(1), 1-21. https://bit.ly/2uyPmJG
Barrientos-Piñeiro, C., Silva-García, P., y Antúnez-Marcos, S. (2016). Competencias directivas para promover la participación: familias en las escuelas básicas. Educare, 25(49), 45-62. https://doi.org/10.18800/educacion.201602.003
Bernal, D., Martínez, P., Parra, A., y Jiménez, J.L. (2015). Investigación documental sobre calidad de la educación en instituciones educativas del contexto iberoamericano. Revista Entramados. Educación y sociedad, 2, 107-124. https://goo.gl/5bdfbh
Berrelleza, N.E. (2019). The socioformative evaluation in the science subject: description of an experience in basic education. Knowledge Society and Quality of Life (KSQL), 1(1), 1-21. https://bit.ly/2t59J0I
Bolívar, A., Caballero, K., y García-Garnica, M. (2017). Evaluación multidimensional del liderazgo pedagógico: claves para la mejora escolar. Ensaio: Avaliação e Políticas Públicas em Educação. https://doi.org/10.1590/S0104-40362017002500780
Bolívar, A., y Ritacco, M. (2016). Impacto del modelo español de dirección escolar en la identidad profesional los líderes escolares. Archivos Analíticos de Políticas Educativas, 24(119), 1-39. https://doi.org/10.14507/epaa.24.2512
Bulger, S.M., & Housner, L. D. 2007. Modified Delphi investigation of exercise science in physical education teacher education. Journal of Teaching in Physical Education, 26(1), 57-80.
Cano, E. (2015). Las rúbricas como instrumento de evaluación de competencias en educación superior: ¿Uso o abuso? Profesorado. Revista de Currículum y Formación del Profesorado 19(2), 265-280. https://goo. gl/52hUqy
Cámara de Diputados del H. Congreso de la Unión. (2018a). Ley General de Educación (Promulgada en 1993). https://goo.gl/vQPXLh
Cámara de Diputados del H. Congreso de la Unión. (2018b). Ley General del Servicio Profesional Docente (Promulgada en 2013). https://goo.gl/bvDY6r
Carretero-Dios, H., y Pérez, C. (2005). Normas para el desarrollo y revisión de estudios instrumentales. International Journal of Clinical and Health Psychology, 5(3), 521-551.
Centre of Study for Policies and Practices in Education (CEPPE) (2013). Learning Standards, Teaching Standards and Standards for School Principals: A Comparative Study. OECD Publishing. https://doi.org/10.1787/5k3tsjqtp90v-en
Contreras, T. (2016). Liderazgo pedagógico, liderazgo docente y su papel en la mejora de la escuela: una aproximación teórica. Propósitos y Representaciones, 4(2), 231-284. https://doi.org/10.20511/pyr2016.v4n2.123
Costello, A.B., & Osborne, J. (2005). Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Practical Assessment Research & Evaluation, 10(7), 1-9.
Cronbach, L.J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297- 334.
Crow, G., Day, C., & Møller, J. (2016). Framing research on school principals’ identities. International Journal of Leadership in Education. https://doi.org/10.1080/13603124.2015.1123299
De Winter, J.C., & Dodou, D. (2012). Factor recovery by principal axis factoring and maximum likelihood factor analysis as a function of factor pattern and sample size. Journal of Applied Statistics, 39(4), 695-710. https://doi.org/10.1080/02664763.2011.610445
Diario Oficial de la Federación (2019, 30 de septiembre). Decreto por el que se expide la Ley General de Educación y se abroga la Ley General de la Infraestructura Física Educativa. https://bit.ly/2vplpMx
Diario Oficial de la Federación. (2010, 5 de julio). Ley Federal de protección de datos personales en posesión de los particulares.
Elliott, S. N., y Clifford, M. (2014). Principal assessment: Leadership behaviors known to influence schools and the learning of all students (Document No. LS-5). https://goo.gl/3kvU34
Fernández-Cruz, F.J., Fernández-Díaz, M.J., & Rodríguez-Mantilla, J.M. (2018). Design and validation of an instrument to measure teacher training profiles in information and communication technologies. Revista Española de Pedagogía, 270, 247-270. https://doi.org/10.22550/REP76-2-2018-03
Flessa, J., Bramwell, D., Fernández, M., & Weinstein, J. (2018). School Leadership in Latin America 2000-2016. Educational Management Adminstration & Leadership, 46(2), 182-206. https://doi.org/10.1177/
Fuentes-Arismendi, J.C., & Malagón-Micán, M.L. (2019). The evaluation of
competencies from the socioformative approach. Human Development and Socioformation (HUDS), 1(1), 1-13. https://bit.ly/37wgSpx
García-Garnica, M. (2016). Elaboración y validación de un cuestionario para medir prácticas eficaces de liderazgo pedagógico de la dirección. Profesorado. Revista de Currículum y Formación de Profesorado, 20(3), 493-526. https://goo.gl/YOIAcu
García-Garnica, M., y Caballero, K. (2015). ¿Qué prácticas eficaces de liderazgo desarrollan los directivos andaluces en sus escuelas? Revista Iberoamericana de Evaluación Educativa, 8(2), 129-147. https://goo.gl/o2ayOh
George, D., & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update (4ª ed.). Allyn & Bacon.
Gómez-Hurtado, I. (2013). Dirección y gestión de la diversidad en la escuela: hacia un liderazgo inclusivo. Revista Fuentes, 14, 61-84. https://goo.gl/LR1b5W
Gorsuch, R.L. (1983). Factor analysis. Lawrence Erlbaum.
Herrera, S. y Tobón, S. (2017). El perfil del director escolar desde el enfoque socioformativo. Estudio documental mediante la cartografía conceptual. Revista de Pedagogía, 38(102). 144-163. https://goo.gl/fG2sPn
Hefetz, A. y Liberman, G. (2017). The factor analysis procedure for exploration: a short guide with examples. Culture and Education, 29(3), 526-562. doi: 10.1080/11356405.2017.1365425
Horn, A., y Murillo, F. (2016). Incidencia de la dirección escolar sobre el compromiso de los docentes: Un estudio multinivel. Psicoperspectivas, 15(2), 64-77. https://doi.org/10.5027/psicoperspectivas-Vol15-Issue2-fulltext-746
Instituto de Evaluación de la Organización de Estados Americanos para la Educación la Ciencia y la Cultura. (2017). Miradas sobre la Educación en Iberoamérica. Desarrollo profesional y liderazgo de directores escolares en Iberoamérica. OEI. https://goo.gl/ra1s9H
Izquierdo, D. (2016). ¿Qué hacen los directores de centros escolares? Las prácticas de dirección en España a partir de los estudios internacionales PISA y TALIS. Revista Complutense de Educación, 27(3), 1193-1209. https://doi.org/10.5209/rev_RCED.2016.v27.n3.47610
Juárez-Hernández, L. G. (2018). Manual práctico de estadística básica para la investigación. Kresearch.
Ley Orgánica de Mejora de la Calidad Educativa. Boletín Oficial del Estado, 10 de diciembre de 2013, 295. https://goo.gl/uQG8WF
López-Báez, I., López-Ramírez, E., Martínez-Iñiguez, J.E., y Tobón, S. (2018). Gestión Directiva: Aproximaciones a un Modelo para su organización institucional en la educación media superior en México. Espacios, 39(29). https://bit.ly/2SvHnX1
Marin-Garcia, J., Ramirez Bayarri, L., & Atares-Huerta, L. (2015). Protocol: Comparing advantages and disadvantages of Rating Scales, Behavior Observation Scales and Paired Comparison Scales for behavior assessment of competencies in workers. A systematic literature review. WPOM-Working Papers on Operations Management, 6(2), 49-63. https://doi.org/10.4995/wpom.v6i2.4032
Marín-García, J.A., & Santandreu-Mascarell, C. (2015). What do we know about rubrics used in higher education? Intangible Capital, 11(1), 118-145. http://dx.doi/10.3926/ic.538
May, H., Huff, J., & Golding, E. (2012). A longitudinal study of principal’s activities and student performance. School Effectiveness and School Improvement, 23(4), 417–439. https://doi.org/10.1080/09243453.2012.6788
Montero, I., & León, O. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7(3), 847-862.
Moral, C., y Amores, F.J. (2014). Arquitectura resistente determinante del liderazgo pedagógico en los centros de educación secundaria. Bordón. Revista de Pedagogía, 66(2), 121-138. https://doi.org/10.13042/Bordon.2014.66208
Moral, C., Amores, F.J., y Rittaco, M. (2016). Liderazgo distribuido y capacidad de mejora en centros de educación secundaria. Estudios sobre educación, 30, 115-143. https://doi.org/10.15581/004.30.115 -143
Organisation for Economic Cooperation and Development. (2013). PISA 2012 Results: What Makes Schools Successful? Resources, Policies and Practices (Volume IV). PISA. OECD. https://doi.org/10.1787/9789264201156-en
Organisation for Economic Co-operation and Development. (2016). School Leadership for Learning: Insights from TALIS 2013. OECD. https://doi.org/10.1787/9789264258341-en
Penfield, R.D., & Giacobbi, Jr, P.R. (2004). Applying a score confidence interval to Aiken item contentrelevance index. Measurement in Physical Education and Exercise Science, 8, 213-225.
Reyes, A. (2017). Autonomía escolar y cambio educativo, consideraciones desde la implementación del PECFIDE. Revista Electrónica de Investigación Educativa, 19(2), 12-21. https://doi.org/10.24320/redie.2017.19.2.643
Robles, P. y Rojas, M.D.C. (2015). La validación por juicio de expertos: dos investigaciones cualitativas en Lingüística aplicada. Revista Nebrija de Lingüística Aplicada, 2015(18). https://goo.gl/HeXKwF
Sánchez-Contreras, M.L. (2019). Taxonomía socioformativa: Un referente para la didáctica y la evaluación. Forhum International Journal of Social Sciences and Humanities, 1(1), 100-115. https://dx.doi.org/10.35766/jf19119
SEP. (2019a). Marco para la excelencia en la enseñanza y la gestión escolar en la Educación Básica. Perfiles profesionales, criterios e indicadores para docentes, técnicos docentes y personal con funciones de dirección y de supervisión. SEP. https://bit.ly/3aGGXVb
SEP. (2019b). Orientaciones para elaborar el programa escolar de mejora continua. SEP. https://bit.ly/37unPaV
Servín-Ramírez, E., y Vázquez-Sánchez, C. (2019). El directivo escolar y su transición hacia la socioformación, un factor fundamental en la educación para el desarrollo sostenible. Ecocience International Journal, 1(1), 33-36. https://doi.org/10.35766/je19115
Soriano, A. M. (2014). Diseño y validación de instrumentos de medición. Dia-logos, (14), 19-40. https://bit.ly/2sW4Arw
Spillane, J., y Hunt, B. (2010). Days of their lives: a mixed-methods, descriptive analysis of the men and women at work in the principal’s office. Journal of Curriculum Studies, 42(3), 293-331. https://doi.org/10.1080/00220270903527623
Tobón, S. (2018). Proyecto de gestión escolar. Socioformación y prácticas pedagógicas. Kresearch. https://goo.gl/D4sT8Q
UN. (2015). Transforming our world: The 2030 agenda for sustainable development. https://bit.ly/2GoN4zc
Villela-Treviño, R., y Torres-Arcadia, C. (2015). Modelo de competencias como instrumento de evaluación de la dirección escolar. RIEE. Revista Iberoamericana de Evaluación Educativa., 8(2), 41-56. https://goo.gl/I93MMH
Published
How to Cite
Issue
Section
License
Copyright (c) 2020 Educación XX1
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Educación XX1 is published under a Creative Commons Attribution-NonCommercial 4.0 (CC BY-NC 4.0)
