Estudios

EVALUACIÓN DE LAS PRÁCTICAS DIRECTIVAS EN DIRECTORES ESCOLARES: VALIDEZ Y CONFIABILIDAD DE UNA RÚBRICA

ASSESSING SCHOOL PRINCIPAL LEADERSHIP PRACTICES. VALIDITY AND RELIABILITY OF A RUBRIC

Sergio Tobon 1
Centro Universitario CIFE, Cuernavaca, México, México
Luis Gibran Juárez-Hernández 2
Centro Universitario CIFE, Cuernavaca, México, México
Sergio Raúl Herrera-Meza 3
Centro Universitario CIFE, Cuernavaca, México, México
César Núñez 4
Universidad de Medellín, Colombia, Colombia

EVALUACIÓN DE LAS PRÁCTICAS DIRECTIVAS EN DIRECTORES ESCOLARES: VALIDEZ Y CONFIABILIDAD DE UNA RÚBRICA

Educación XX1, vol. 23, núm. 2, 2020

Universidad Nacional de Educación a Distancia

“Los textos publicados en esta revista están sujetos a una licencia “Creative Commons Atribución-NoComercial 4.0 Internacional". Puede copiarlos, distribuirlos, comunicarlos públicamente, de forma no comercial y siempre que reconozca los créditos de la obra (autor, nombre de la revista, instituciones editoras) de la manera especificada en la revista.”

Recepción: 15 Febrero 2019

Corregido: 08 Julio 2019

Aprobación: 29 Julio 2019

Cómo referenciar este artículo / How to reference this article:

Tobon, S.; Juárez-Hernández, L. G.; Herrera-Meza, S.R. y Núñez, C. (2020). Evaluación de las prácticas directivas en directores escolares: validez y confiabilidad de una rúbrica. Educación XX1, 23(2), 187-210, doi: 10.5944/educXX1.23894

Tobon, S.; Juárez-Hernández, L. G.; Herrera-Meza, S.R. & Núñez, C. (2020). Assessing school principal leadership practices. Validity and reliability of a rubric. Educación XX1, 23(2), 187-210, doi: 10.5944/educXX1.23894

Resumen: La educación básica tiene diversas prioridades tales como lograr en los estudiantes mejores niveles de lectura, cálculo y convivencia; transformar las prácticas pedagógicas centradas en la exposición y el aprendizaje de contenidos; mejorar la convivencia y la inclusión; lograr instituciones seguras; y asegurar que las escuelas funcionen de manera regular, entre otras. Sin embargo, no se tienen rúbricas que permitan evaluar la gestión del director respecto a estas prioridades en la educación básica, teniendo en cuenta que las rúbricas son una herramienta que posibilita establecer con mayor rigurosidad los avances y aspectos a mejorar. El propósito del presente estudio fue diseñar y validar una rúbrica analítica para que los directores autoevalúen sus prácticas y establezcan acciones de mejoramiento que beneficien el aprendizaje en las escuelas de educación básica. El instrumento fue evaluado por 10 jueces y se obtuvieron valores de V de Aiken superiores a 0.75 en pertinencia, redacción y satisfacción con el instrumento; después, se aplicó la rúbrica a un grupo de 645 directores de escuelas de educación básica y hubo acuerdo en que el instrumento posee pertinencia, claridad y satisfacción para ser utilizado en la mejora de la gestión de los directores, a partir de un valor de V de Aiken superior a 0.75 en todas las variables evaluadas. A continuación, se hizo un análisis factorial y se encontró un único factor, acorde con lo esperado a nivel teórico. Finalmente, se estableció que la rúbrica posee una confiabilidad de 0.877. Se concluye que la rúbrica para autoevaluar las prácticas directivas posee adecuados niveles de validez de contenido, validez de constructo y confiabilidad.

Palabras clave: Directores, educación básica, liderazgo, medida, rúbrica.

Abstract: Basic education has several priorities such as achieving better levels of reading, calculation and coexistence in the students; transforming pedagogical practices traditionally based on oral presentations and content learning; building better coexistence and inclusion in the school environment; improving security conditions; and ensuring that schools operate on a regular basis, among others. However, there are no rubrics to evaluate the director’s management regarding these priorities in basic education, although it is well known that rubrics are tools that allow accurate verification of achievements and definition of improvement needs. The purpose of the present study was to design and validate an analytical rubric that might be used by principals in order to self-evaluate their practices and establish improvement actions that benefit learning in basic education schools. The instrument was evaluated by 10 judges. Aiken’s V values higher than 0.75 were obtained in relevance, writing and satisfaction with the instrument. Then, the rubric was applied to a group of 645 principals of basic education schools and there was agreement that every item is satisfactory and has the relevance and clarity needed to be used to help improve principal’ management. Then, a factor analysis was carried out and a single factor was found, in accordance with what was expected at the theoretical level. Finally, it was established that the rubric has a reliability of 0.877. It is concluded that the rubric for self-assessment of management practices has adequate levels of content validity, construct validity and reliability.

Keywords: Principals, Primary School, leadership, measurement, rubric.

INTRODUCCIÓN

La educación de la población de una nación o estado es una de las más trascendentes responsabilidades que tienen que asumir las sociedades. Para ello se constituyen sistemas complejos que integran instrumentos legales e instituciones con sus autoridades correspondientes, se generan lineamientos curriculares y operativos, y se selecciona, capacita y acompaña al personal que ejecutará los programas y las acciones educativas (Cámara de Diputados del H. Congreso de la Unión [CDHCU], 2018a; Ley Orgánica de Mejora de la Calidad Educativa [LOMCE], 2013). Parte esencial de esta responsabilidad de la sociedad es la continua evaluación de la pertinencia y calidad de todos los componentes del sistema, lo cual representa una tarea muy compleja, dada la amplia variedad de componentes, la necesariamente multifacética naturaleza de cada uno de ellos y las muy distintas intencionalidades y perspectivas teóricas con que se conciben los procesos de evaluación ( Organisation for Economic Co-operation and Development [OECD], 2013, 2016; Secretaría de Educación Pública [SEP], 2019a).

La evaluación del desempeño de docentes y directores ha sido objeto de especial atención en los años recientes, ya sea con fines de investigación para identificar los rasgos y competencias clave que son determinantes para los resultados en materia de aprendizaje de los alumnos; o con fines de selección, mejora continua o decisión sobre la permanencia en el servicio educativo (OECD, 2013; CDHCU, 2018b). Pero la figura del director supone diversas prácticas en aspectos administrativos, legales, laborales, de representación y rendición de cuentas, además de aspectos pedagógicos y de desarrollo humano. Por ello ha merecido especial atención por la investigación y por los organismos encargados de la evaluación de su desempeño y gestión (Bolívar, Caballero y García-Garnica, 2017; Elliott & Clifford, 2014; García-Garnica, 2016; OECD, 2016; DOF, 2019).

Para la investigación sobre la figura del director se han desarrollado varios instrumentos de los que hay abundante información en la literatura reciente. Entre los más relevantes se encuentra el VAL-ED desarrollado por las universidades de Vanderbilt y Pensilvania, en los Estados Unidos de Norteamérica. Se trata de un instrumento que se aplica a docentes y supervisores para evaluar las conductas del director y su eficacia de acuerdo con los parámetros del liderazgo pedagógico establecidos por el Consorcio Interestatal para el Liderazgo Escolar de aquel país (ISLLC, por sus siglas en inglés). Los factores que se evalúan son seis, correspondientes a los componentes básicos del liderazgo pedagógico: 1) objetivos de aprendizaje elevados; 2) currículum riguroso; 3) calidad de la enseñanza; 4) cultura del aprendizaje y trabajo en equipo; 5) relación con la comunidad y 6) responsabilidad por los resultados. El informante responde a 72 ítems que expresan conductas de liderazgo pedagógico evaluando su eficacia en una escala de Likert de 5 niveles. De la validez de constructo y contenido del VAL-ED dan cuenta Elliott y Clifford (2014) cuando describen el proceso de elaboración de los ítems por parte de los investigadores, las revisiones de expertos y la prueba piloto realizada en once escuelas norteamericanas. También en España se ha empleado el VAL-ED después de cuidadosas adaptaciones lingüísticas y contextuales. Altos puntajes en el Alfa de Cronbach y el Coeficiente de Spearman-Brown, han probado la consistencia interna y confiabilidad de las adaptaciones para dicho país ( Bolívar et al., 2017).

A inicios del siglo XXI se desarrollaron algunos instrumentos conocidos como logs que recogían muestras de la actividad del director a lo largo del día mediante dispositivos electrónicos para registrar lo que hacían y cómo lo hacían. Tal es el caso del ESM (Experience-sampling method), diseñado para medir las conductas, creencias y actitudes de los directores durante el desarrollo de sus actividades y en el contexto natural de la rutina cotidiana ( Spillane & Hunt, 2010). Otro caso representativo de este modelo es el EOD (End of day) log, orientado a examinar las prácticas de liderazgo y la relación de estas con el desempeño de los estudiantes. El director debe registrar durante 15 minutos, al final del día, la actividad principal que estaba desempeñando en determinados momentos de la jornada y clasificarla en una de nueve categorías: aspectos operativos; aspectos financieros; relaciones con los padres de familia o la comunidad; reuniones con las autoridades educativas locales; asuntos personales de los estudiantes; asuntos laborales; planificación; liderazgo instruccional; y desarrollo personal como director. Por la naturaleza de los instrumentos y de su contenido, la validación de su confiabilidad se ha limitado a la comparación de los registros de los directores con las observaciones directas de los investigadores sobre su actividad cotidiana, entrevistas y los resultados de logro de los alumnos (May, Huff, & Goldring, 2012).

En entornos hispanoparlantes, Moral y Amores (2014) desarrollaron un instrumento o guión de auto-observación sobre la base del ESM para analizar la práctica diaria del director, con la finalidad específica de detectar las barreras que impiden el ejercicio cabal del liderazgo pedagógico. El instrumento tipo log fue empleado como una primera fase del estudio, complementada mediante entrevistas semiestructuradas a directores para ubicar las acciones cotidianas en categorías referentes al tipo de actividad: pedagógico-curricular; clima institucional; desarrollo profesional; y gestión administrativa y de relaciones externas. Se analizan también datos tales como el tiempo dedicado, los procedimientos empleados, las personas involucradas, los lugares en donde fueron realizadas dichas prácticas y los sentimientos experimentados durante la actividad o tarea. Por su carácter cualitativo descriptivo, no existen pruebas estadísticas de validez y confiabilidad (Moral, Amores y Rittaco, 2016).

En la misma perspectiva de la evaluación del liderazgo pedagógico como rasgo clave del director escolar, se diseñó el cuestionario Prácticas Eficaces de Liderazgo Pedagógico de la Dirección ( García-Garnica, 2016; García-Garnica y Caballero, 2015). El instrumento está diseñado para ser empleado en una evaluación de 360 grados, es decir, que recoge información de diversos actores alrededor del director escolar como jefes de estudio, docentes y personal administrativo con el fin de determinar la eficacia de las prácticas que los directores realizan para incidir en la calidad docente, la gestión estratégica de los recursos, la colaboración más allá de la escuela y la fijación y evaluación de metas educativas. Consta de dos escalas: una enfocada a recoger la apreciación de los informantes sobre lo que realmente ocurre en la escuela en relación con las conductas de liderazgo del director, y otra para indicar el grado de pertinencia o relevancia que determinadas prácticas directivas y de liderazgo tendrían para la mejora del centro escolar. La validez de contenido se realizó por medio del juicio de expertos que evaluaron la pertinencia, claridad y suficiencia de los ítems y sugirieron mejoras para la versión final. La confiabilidad fue medida mediante la aplicación a 329 sujetos de 207 centros públicos de educación primaria del sur de España con resultados altos en el Alfa de Cronbach.

Con otra perspectiva más amplia sobre la figura directiva y no centrada exclusivamente en la dimensión liderazgo, se diseñó en México un modelo basado en los parámetros del Proyecto Internacional de Directores Escolares Exitosos (ISSPP por sus siglas en inglés) para analizar las características que distinguen a un director exitoso, expresadas en dieciocho competencias directivas agrupadas en tres dimensiones: funcionamiento del centro escolar, interacción social, y seguimiento del programa educativo. El modelo fue revisado en primera instancia por expertos en ética y valores, administración educativa y competencias y luego validado a través de un cuestionario de 122 ítems, de los cuales 114 son tipo Likert para medir la frecuencia con que el director realiza acciones que evidencian las competencias definidas en el modelo. Tuvo una etapa de prepilotaje con 10 directores y otra de pilotaje con 58 directores, subdirectores, supervisores y docentes de México, que arrojó altos niveles de consistencia interna mediante el Alpha de Cronbach (Villela-Treviño y Torres-Arcadia, 2015).

En los estudios que se han realizado sobre el director escolar y los instrumentos empleados en ellos, predomina un carácter descriptivo general o bien un enfoque limitado al tipo de liderazgo ejercido por el director, priorizando, por supuesto su dimensión pedagógica o instruccional, pero poco se ha abordado el trabajo científico sobre el área para realizar evaluaciones con fines de mejora en el desempeño. En ese sentido el reto más significativo radica, por una parte, en la definición de la unidad de análisis que permita realizar una medición cuantitativa y cualitativa, considerando la complejidad que comporta el desempeño de un director escolar; y por otro, en asegurar la orientación metacognitiva o de mejora. Se requiere determinar una unidad que no sea tan amplia en su pretensión de integralidad como la competencia, pero tampoco tan limitada, estrecha y dualista como las tareas o acciones que se realizan o se omiten.

En el presente estudio se opta por las prácticas como alternativa a las competencias y actividades, las cuales permiten una valoración puntual y completa del desempeño con miras a la mejora de la actuación de los directores. Ciertamente, el concepto de práctica se encuentra en la literatura del área como término secundario y genérico o bien como sinónimo de otros términos, como conductas y acciones (Bolívar et al., 2017) y no se ha definido con claridad, ni siquiera en trabajos que lo emplean como eje fundamental de sus objetos de estudio (Izquierdo, 2016) cuando abordan las buenas prácticas o prácticas exitosas (Instituto de Evaluación de la Organización de Estados Americanos para la Educación la Ciencia y la Cultura [IESME-OEI], 2017). No obstante, algunos estudios refieren el concepto de prácticas como componentes importantes de los rasgos que se evalúan o estudian, por ejemplo, como elementos que dan concreción a las competencias, pues en su ejecución confluyen y se reflejan las habilidades, saberes, actitudes, valores y motivaciones de los directores (Barrientos-Piñeiro, Silva-García y Antúnez-Marcos, 2016; Servín-Ramírez, y Vázquez-Sánchez, 2019). De manera semejante, los estudios que refieren estándares para la medición del desempeño, consideran las prácticas como indicadores del estándar (Centre of Study for Policies and Practices in Education [CEPPE], 2013). Desde el enfoque socioformativo, las prácticas se asumen como acciones mediadas por los directores con el fin de lograr la formación integral en la escuela a partir de la participación activa de todos los actores: personal administrativo, docentes, asesores, supervisores, jefes de enseñanza, padres, personas de la comunidad, políticos y alumnos (Tobón, 2018).

En cuanto a las características de las prácticas directivas, en la literatura se pueden encontrar interesantes referencias, aunque siempre de carácter un tanto tangencial, a la concepción de que en las prácticas se expresan de forma implícita distintos elementos intrínsecos del director, como los valores, creencias, actitudes e incluso su identidad misma (Bolívar y Ritacco, 2016; Crow, Day, & Møller, 2016; Gómez-Hurtado, 2013). Por otro lado, son las prácticas del director las que contienen, reflejan y llevan a su realización las directrices emanadas de las políticas educativas y las que, en definitiva, permiten verificar su cumplimiento y, en su caso, las posibles transformaciones que estas pretenden operar (Contreras, 2016; Reyes, 2017). No obstante, las prácticas no pueden entenderse como una serie de prescripciones operativas apriorísticas, sino que constituyen la puesta en ejecución de acciones concretas y precisas con las que el director atiende las prioridades pedagógicas e institucionales de manera cotidiana y que pueden ser observables, verificables e incluso medibles a posteriori (Bolívar, et al., 2017; CEPPE, 2013) con base en: 1) su apego a los fines educacionales; 2) su coherencia respecto al enfoque educativo específico; y 3) su eficacia respecto de los logros que se esperan alcanzar en cuanto al aprendizaje, la formación integral y la calidad de vida de los miembros de la comunidad educativa.

Por otra parte, los directores escolares deben afrontar una serie de prioridades en las escuelas, las cuales trascienden el liderazgo integral de todos los ejes institucionales, para enfocarse en unas áreas de valor agregado, como por ejemplo ( Diario Oficial de la Federación [DOF], 2019): 1) buscar que todos los alumnos tengan niveles aceptables de lectura, escritura y cálculo; 2) promover la convivencia pacífica; 3) lograr la normalidad mínima en el funcionamiento; 4) disminuir el abandono escolar y el rezago en el aprendizaje; 5) promover un ambiente escolar seguro; y 6) trabajar con los docentes en el mejoramiento de sus prácticas pedagógicas para transformar la educación centrada en contenidos por un proceso basado en la resolución de problemas mediante la colaboración, la transversalidad, la creatividad, el emprendimiento y el fortalecimiento continuo de los valores, tal y como lo propone la socioformación (Arturo, 2019; Fuentes-Arismendi, 2019). Sin embargo, los instrumentos para evaluar el desempeño de los directores poco integran estas prioridades, lo cual es una necesidad urgente.

Es importante también analizar el tipo de instrumentos que se han propuesto para evaluar el liderazgo de los directores. En la mayoría de los casos son escalas de estimación y listas de cotejo conformadas por una serie de indicadores que no posibilitan a los directores identificar la calidad y avances en su actuación porque no poseen niveles con descriptores (Marin-Garcia, Ramirez-Bayarri, y Atares-Huerta, 2015). Esto es especialmente necesario cuando se promueve la autoevaluación, para lo cual se prefieren las rúbricas, las cuales posibilitan identificar el nivel que se posee en un área y ayudan a determinar qué se requiere hacer para lograr el máximo desempeño, permitiendo una mejor gestión de la formación continua para este tipo de actores, la cual muchas veces se implementa sin pertinencia. Se precisan, entonces, instrumentos en forma de rúbrica que ayuden a los directores a tener más claridad de sus logros y aspectos a mejorar en su desempeño.

Considerando lo anterior, el presente estudio se enfocó en los siguientes propósitos: 1) diseñar una rúbrica para evaluar las prácticas esenciales del director escolar de educación básica desde el enfoque socioformativo, en función de la mejora del desempeño y en consonancia con las prioridades establecidas para la gestión escolar en este nivel; 2) realizar el estudio de validez de contenido del instrumento con un grupo de jueces expertos en el área para determinar su pertinencia, grado de claridad de las preguntas y nivel de satisfacción; 3) determinar la pertinencia, el grado de comprensión y el grado de satisfacción del instrumento para los directores escolares en la educación básica; y 4) analizar la validez de constructo y la confiabilidad del instrumento.

METODOLOGÍA

Tipo de estudio

Se realizó un estudio de tipo instrumental (Montero y León, 2007) centrado en el diseño, validez y confiabilidad de un instrumento de recolección de información (Juárez-Hernández, 2018), que en este caso fue una rúbrica analítica, la cual se elaboró y validó considerando las sugerencias específicas de Marín-García y Santandreu-Mascarell (2015) para que pueda ser empleada por los directores de las escuelas de educación básica para autoevaluar sus prácticas directivas, teniendo en cuenta las prioridades de los centros escolares, tales como el logro de los aprendizajes esperados en los estudiantes, el desarrollo de las competencias esenciales para la vida, la transformación de las prácticas pedagógicas en los docentes, entre otras. La rúbrica elaborada fue aplicada a través de un formulario en Google Forms.

Fases del proceso

El estudio fue realizado mediante cinco fases, las cuales se describen a continuación:

Fase 1. Diseño de la rúbrica y revisión por expertos

Se elaboró una rúbrica analítica desde cero tomando en cuenta la metodología socioformativa (Sánchez-Contreras, 2019). Para ello se tuvieron en cuenta los siguientes pasos: 1) se revisaron los instrumentos recientes para evaluar las competencias del director como líder pedagógico;2) se analizaron las prioridades de la educación básica a partir de diferentes documentos sobre la materia (DOF, 2019; SEP, 2019a, 2019b; UN, 2015); y 3) se les preguntó a tres expertos en gestión de las escuelas sobre las prioridades que debían ser evaluadas en la rúbrica. Con base en estas tres fuentes, se elaboró una rúbrica analítica, la cual fue revisada, a su vez, por tres expertos en el área, quienes presentaron las siguientes cualidades: 1) título de doctorado en educación, con énfasis en la gestión escolar; 2) experiencia de más de 15 años en la validación de instrumentos; y 3) tener al menos cinco publicaciones sobre la gestión escolar.

Fase 2. Estudio de la validez de contenido

Una vez elaborada la rúbrica con el apoyo de los expertos, esta fue evaluada por 10 jueces con amplia experiencia en gestión escolar y procesos de aprendizaje (ver Tabla 1). Este grupo de expertos valoró la rúbrica mediante una escala con tres indicadores: pertinencia de los indicadores, claridad en la redacción y nivel de satisfacción con el instrumento. Los dos primeros indicadores fueron evaluados de 1 a 4, (donde 1 es el nivel Muy Bajo, y 4, el nivel Muy Alto), y el tercero se midió de 1 a 5, donde 1 es muy baja satisfacción y 5, muy alta. También se invitó a los jueces a brindar sugerencias para mejorar el instrumento, como agregar o quitar prácticas, modificar los descriptores, etc. Para evaluar el grado de acuerdo de los jueces, se empleó la técnica estadística V de Aiken y se aceptaron valores superiores a 0.75 (Penfield, & Giacobbi, 2004).

Tabla 1
Datos de los jueces que participaron en la validez de contenido
Datos de los jueces que participaron en la validez de contenido

Fase 3. Aplicación en un grupo piloto

Después de la validación de contenido, la rúbrica se aplicó en un grupo piloto de 25 directores de educación básica pertenecientes a escuelas del Estado de Guanajuato, México. Esto se hizo para establecer el grado de comprensión de las instrucciones, las prácticas y los indicadores, como también para determinar el tiempo promedio de duración de la aplicación en línea y el grado de pertinencia, redacción y satisfacción con el instrumento con base en la misma escala empleada por los jueces. Así mismo, se les pidió brindar sugerencias para mejorar la redacción. En la Tabla 2 se describen las características de este grupo piloto.

Tabla 2
Datos del grupo piloto
Datos del grupo piloto

Fase 4. Evaluación de la pertinencia, redacción y satisfacción

A partir de la aplicación al grupo piloto, se hicieron ajustes a la rúbrica en la redacción de algunas instrucciones y descriptores, y con base en ello se procedió a su aplicación en una muestra disponible, no probabilística, de directores de escuelas oficiales de educación básica que estuviesen trabajando en ese momento en el Estado de Guanajuato, México. Se invitó a los directores a participar en el estudio a través de correo, y, finalmente, aceptaron 645 directores. Ellos completaron el instrumento en línea y evaluaron la pertinencia, el grado de claridad en la redacción de los descriptores y el nivel de satisfacción con la rúbrica, siguiendo la misma escala empleada con los jueces y el grupo piloto. En la Tabla 3 se describen sus características.

Tabla 3
Datos sociodemográficos de la muestra
Datos sociodemográficos de la muestra

Fase 5. Validez de constructo y confiabilidad

Después del análisis de la pertinencia, la claridad en la redacción y el grado de satisfacción se analizó la validez de constructo de la rúbrica en el mismo grupo de 645 directores. Para ello, se aplicó el análisis factorial exploratorio (AFE), previo el análisis del cumplimiento de los requisitos para esta técnica por medio de la observación de la matriz de correlaciones, el índice de KMO (Kaiser Meyer Olkin) y la prueba de esfericidad de Bartlett (Costello, & Osborne, 2005; Hefetz, & Liberman, 2017; Juárez-Hernández, 2018). Posteriormente, se eligió el método de extracción de factores principales (De Winter, & Dodou, 2012; Hefetz, & Liberman, 2017; Juárez-Hernández, 2018). El número de factores a retener tuvo en cuenta la regla de Gutman-Kaiser (Gorsuch, 1983). Finalmente, se evaluó la confiabilidad del instrumento a través del Alfa de Cronbach (Cronbach, 1951).

Aspectos éticos

En la investigación se siguió la Ley de Protección de Datos Personales que se tiene en México (DOF, 2010). También, cada persona que participó fue previamente informada del propósito del estudio y firmó una carta de consentimiento en línea. Todos los participantes podían abandonar el proceso de llenado del instrumento en cualquier momento sin ninguna consecuencia. Cuando terminaron de responder, se les permitió conocer el resultado de su evaluación para que se beneficiaran de este proceso y pudiesen implementar mejoras en su actuación, en caso de ser necesarias.

RESULTADOS

Diseño de la rúbrica

A partir de los tres expertos, se elaboró la rúbrica y esta quedó conformada por ocho prácticas directivas fundamentales (Tabla 4). En la rúbrica, cada práctica es evaluada mediante cinco niveles de actuación compuestos por descriptores, que van desde lo más bajo hasta lo más alto o deseable. Además, se integraron al inicio de la rúbrica una serie de preguntas generales de tipo demográfico, como: edad, sexo y años de experiencia como director. La rúbrica puede verse en el siguiente link: https://cutt.ly/sTCjO4

Tabla 4
Prácticas que evalúa la Rúbrica sobre Prácticas Directivas
Prácticas que evalúa la Rúbrica sobre Prácticas Directivas

Validez de contenido

Hubo acuerdo entre los jueces respecto a que la rúbrica de prácticas directivas evaluada posee pertinencia, adecuada claridad en la redacción de los aspectos que evalúa y buen grado de satisfacción, ya que los valores obtenidos en la V de Aiken fueron superiores a 0.75 en los tres aspectos evaluados. Esto demuestra que el instrumento posee validez de contenido (Tabla 5).

Tabla 5
Resultados de la validez de contenido
Resultados de la validez de contenido

Aplicación al grupo piloto

En el grupo piloto de 25 directores hubo acuerdo respecto a que la rúbrica presenta adecuados niveles de pertinencia, redacción de las prácticas y descriptores, y grado de satisfacción, ya que los valores de la V de Aiken fueron superiores a 0.76. Además, la media en cada una de estas variables fue superior a 3.0, que es un nivel aceptable (Tabla 6).

Tabla 6
Valoración del instrumento por el grupo piloto
Valoración del instrumento por el grupo piloto

Pertinencia, redacción y grado de satisfacción

La aplicación de la rúbrica en los 645 directores muestra que hay un buen grado de acuerdo en que esta posee pertinencia, adecuada redacción de las prácticas y de los descriptores, y aceptable satisfacción con el instrumento, ya que los valores en la V de Aiken fueron superiores a 0.75, que era lo esperable (Tabla 7). Para las variables de pertinencia y redacción, el nivel mínimo aceptable en la media era de 3.0. En cuanto a la satisfacción, un valor de 4.0 o más muestra buena satisfacción (el nivel mínimo aceptable era de 3.0).

Tabla 7
Valoración del instrumento por la población objetivo
Valoración del instrumento por la población objetivo

Validez de constructo y confiabilidad

Inicialmente, se comprobó la pertinencia de aplicación del AFE mediante los resultados de la prueba de Bartlett (X2: 2160.097; p < 0.001) y el índice Kaiser-Meyer-Olkin (KMO: 0.920). Se especifica que las correlaciones fueron estadísticamente significativas entre todas las prácticas directivas (ver Tabla 8).

Tabla 8
Matriz de correlaciones
Matriz de correlaciones

Las comunalidades muestran valores adecuados y se representan en el modelo factorial (Tabla 9). Se identificó un único factor, el cual explicó más del 55% de la varianza. Este factor incluyó las ocho prácticas directivas esenciales propuestas (con cargas factoriales mayores a 0.60) (Tabla 9).

Tabla 9
Comunalidades y cargas factoriales
Comunalidades y cargas factoriales

Finalmente, se obtuvo la confiabilidad, la cual fue de 0.877, medida por el coeficiente de Alfa de Cronbach.

DISCUSIÓN

La presente investigación ofrece un nuevo instrumento para evaluar la actuación de los directores, denominado Rúbrica de Prácticas Directivas Esenciales (RPD-8), con adecuados niveles de validez de contenido a partir de la evaluación de expertos en el área, por cuanto los valores de la V de Aiken fueron superiores a 0.75, lo cual se considera pertinente (Bulger, & Housner, 2007; Penfield, & Giacobbi, 2004). La validez de contenido solo es factible si los jueces tienen el nivel de competencia requerido para ser considerados como tales. Frente a ello, hay diversas propuestas, por ejemplo Robles y Rojas (2015) plantean que un juez debe poseer experiencia en el área, experticia investigativa y conocimiento del proceso de diseño de instrumentos de la misma naturaleza que el que pretende evaluar. Esto se cumplió en el presente estudio ya que todos los jueces expertos presentaron más de diez años de experiencia en el área de la dirección escolar; un promedio de 250 horas de actualización en los últimos dos años; alguna publicación sobre el tema; y experiencia en el diseño, revisión o mejora de un instrumento de investigación o de evaluación de procesos educativos. Esto hace que la evaluación que hicieron los jueces del instrumento sea confiable. De esta manera, puede decirse que los contenidos de la rúbrica tienen una adecuada pertinencia, un aceptable grado de comprensión y un buen nivel de satisfacción, de acuerdo con los expertos.

Un elemento para destacar respecto a la validez de contenido es que esta no se hizo solo con los jueces expertos, sino que también se indagó con los usuarios finales del instrumento, es decir, los directores que en estos momentos lideran escuelas de educación básica, con el fin de determinar si para ellos el instrumento ayuda a su labor. Esto ha faltado en otros estudios similares (Bolívar, et al., 2017; García-Garnica, 2016). Al respecto, se encontró que entre los directores hubo acuerdo respecto a que el instrumento es pertinente, tiene una adecuada redacción y posee una buena satisfacción, con valores de V de Aiken superiores a 0.75. Esto permite establecer que el instrumento probablemente será asumido como relevante en los directivos de las escuelas para autoevaluar las prácticas directivas y mejorarlas.

Además de la validez de contenido, pertinencia y satisfacción, la RPD-8 posee validez de constructo, un requisito esencial en este tipo de estudios (Fernández-Cruz, Fernández-Díaz, y Rodríguez-Mantilla, 2018; Soriano, 2014). Al respecto, las comunalidades fueron adecuadas y se encontró un único factor en el cual se integraron las ocho prácticas directivas, tal y como se pronostica a nivel teórico, ya que todas las prácticas se refieren al liderazgo prioritariamente pedagógico que deben tener los directores para asegurar que el servicio educativo posea un mínimo de calidad para los estudiantes, entendida como la convergencia de decisiones, recursos y acciones para el logro real de los aprendizajes de todos los estudiantes y la pertinencia de esos aprendizajes frente a los desafíos de la sociedad y el contexto (Bernal, Martínez, Parra y Jiménez, 2015; Reyes, 2017). Finalmente, la rúbrica posee una buena confiabilidad (Cronbach, 1951; George, & Mallery, 2003), lo cual significa que hay consistencia entre los ítems.

El presente estudio representa un importante aporte, en tanto que, por una parte, la muestra empleada para la validación es más amplia que la utilizada en otros trabajos de gran importancia ( Bolívar y Caballero, 2017; García-Garnica y Caballero, 2015). Por otro lado, la investigación sobre el tema de los directores es reciente y se ha enfocado a estudiar distintos aspectos del liderazgo escolar y las políticas nacionales al respecto, pero poco se ha orientado en la formación y mejora continua de los directores con base en instrumentos validados (Flessa, Bramwell, Fernández, y Weinstein, 2018).

La dirección escolar posee una alta heterogeneidad respecto a sus metas, dimensiones y áreas (Herrera y Tobón, 2017; López-Báez et al., 2018), y difícilmente hay acuerdo frente a cómo debe llevarse a cabo en una escuela por parte de los expertos que hay en el área (IESME-OEI, 2017) debido a los múltiples criterios a considerar y visiones en torno a esta área educativa. Además, con frecuencia es difícil que un grupo de expertos, que están en una misma área, se pongan de acuerdo frente a la validez de contenido de un instrumento (Robles y Rojas, 2015). Es por ello que un resultado altamente relevante del presente estudio fue el acuerdo que hubo, medido mediante una herramienta estadística como la V de Aiken, entre 645 directores sobre la pertinencia, grado de redacción y nivel de satisfacción de la rúbrica abordada. Además, no solo hubo acuerdo, sino que el instrumento superó los niveles aceptables esperados en estas tres variables (3.0). El nivel obtenido en pertinencia (3.5 sobre 4.0) fue bueno, probablemente, debido a los retos compartidos en la educación básica de México en torno a unas mismas prioridades (Reyes, 2017) de las que los directores están conscientes, lo cual podría significar un avance en el área de la gestión, al menos en los participantes de este estudio. El alto grado de claridad en la redacción se debe a las sucesivas mejoras realizadas, antes de aplicarse a la muestra amplia. Finalmente, el grado de satisfacción fue superior a 4.0 que es bueno o medio alto, y esto señala que la rúbrica está acorde, en buena medida, con las expectativas de los directores respecto al contenido de un instrumento de evaluación de su gestión, lo cual confirma su aplicabilidad para fines de autoevaluación.

La RPD-8 comparte algunas características con otros instrumentos en el área como lo son el VAL-ED (Bolívar, et al., 2017; Elliot, & Clifford, 2014) y el de García-Garnica y Caballero (2015) sobre las prácticas eficaces de liderazgo pedagógico de la dirección en tanto que focaliza aspectos torales relacionados con el logro de los aprendizajes de los estudiantes, como son (1) la mejora de las prácticas docentes; (2) la importancia del trabajo colaborativo; (3) las acciones y decisiones cotidianas del director; y (4) la disponibilidad de los recursos materiales. No obstante, hay diferencias muy notables en cuanto al número de ítems y la especificidad de algunos de los aspectos que se abordan en el instrumento. La RPD-8 con 8 ítems realiza la evaluación de (1) la gestión del desarrollo de las competencias básicas como lectura, escritura, cálculo y convivencia; (2) la mejora o transformación de las prácticas pedagógicas para asegurar la formación para la sociedad del conocimiento; (3) la seguridad de la escuela, tanto frente a desastres naturales como ante riesgos sociales como la violencia o las drogas; y4) la gestión de acciones para lograr la inclusión y la convivencia. Estas particularidades de la rúbrica responden a las prioridades de la educación básica como también a la propuesta socioformativa del director como un líder pedagógico centrado en la formación humana integral para la sociedad del conocimiento, más que como un gestor de procesos administrativos.

Una importante característica innovadora de la RPD-8 es que se trata de una rúbrica para ser empleada en procesos de evaluación predominantemente formativa (Cano, 2015) y que se basa en la socioformación (Berrelleza, 2019), un nuevo enfoque educativo que cada vez se emplea más en diversos países. Su característica esencial es centrarse en todo el sistema educativo y no solamente en unos actores, mediante el trabajo con proyectos colaborativos ( Arturo, 2019). Las ocho prácticas directivas esenciales que evalúa el instrumento apuntan a una gestión integral del director para lograr que la formación realmente se oriente al mundo de la vida y trascienda el énfasis en el aprendizaje de contenidos.

Aunque el análisis de validez, pertinencia, satisfacción y confiabilidad de la RPD-8 son positivos, se trata de un estudio exploratorio. Para poder obtener resultados concluyentes es preciso realizar nuevos estudios en otras regiones y poblaciones diversas, tanto de México como de otros países. Además, se requieren otros análisis de la validez, como la consistencia en el tiempo, la validez convergente y la validez concurrente considerando su relación con instrumentos validados para directores escolares (Carretero-Dios, y Pérez, 2005). En futuros estudios, se sugiere realizar también un análisis factorial confirmatorio, para contrastar los hallazgos aquí presentados.

REFERENCIAS BIBLIOGRÁFICAS

Arturo, C. (2019). La evaluación de competencias desde la socioformación en proyectos transversales de educación básica. Human Development and Socioformation (HUDS), 1(1), 1-21. https://bit.ly/2uyPmJG

Barrientos-Piñeiro, C., Silva-García, P., y Antúnez-Marcos, S. (2016). Competencias directivas para promover la participación: familias en las escuelas básicas. Educare, 25(49), 45-62. https://doi.org/10.18800/educacion.201602.003

Bernal, D., Martínez, P., Parra, A., y Jiménez, J.L. (2015). Investigación documental sobre calidad de la educación en instituciones educativas del contexto iberoamericano. Revista Entramados. Educación y sociedad, 2, 107-124. https://goo.gl/5bdfbh

Berrelleza, N. E. (2019). The socioformative evaluation in the science subject: description of an experience in basic education. Knowledge Society and Quality of Life (KSQL), 1(1), 1-21. https://bit.ly/2t59J0I

Bolívar, A., Caballero, K., y García-Garnica, M. (2017). Evaluación multidimensional del liderazgo pedagógico: claves para la mejora escolar. Ensaio: Avaliação e Políticas Públicas em Educação. https://doi.org/10.1590/S0104-40362017002500780

Bolívar, A., y Ritacco, M. (2016). Impacto del modelo español de dirección escolar en la identidad profesional los líderes escolares. Archivos Analíticos de Políticas Educativas, 24(119), 1-39. https://doi.org/10.14507/epaa.24.2512

Bulger, S.M., & Housner, L. D. 2007. Modified Delphi investigation of exercise science in physical education teacher education. Journal of Teaching in Physical Education, 26(1), 57-80.

Cano, E. (2015). Las rúbricas como instrumento de evaluación de competencias en educación superior: ¿Uso o abuso? Profesorado. Revista de Currículum y Formación del Profesorado 19(2), 265-280. https://goo.gl/52hUqy

Cámara de Diputados del H. Congreso de la Unión. (2018a). Ley General de Educación (Promulgada en 1993). https://goo.gl/vQPXLh

Cámara de Diputados del H. Congreso de la Unión. (2018b). Ley General del Servicio Profesional Docente (Promulgada en 2013). https://goo.gl/bvDY6r

Carretero-Dios, H., y Pérez, C. (2005). Normas para el desarrollo y revisión de estudios instrumentales. International Journal of Clinical and Health Psychology, 5(3), 521-551.

Centre of Study for Policies and Practices in Education (CEPPE) (2013). Learning Standards, Teaching Standards and Standards for School Principals: A Comparative Study. OECD Publishing. https://doi.org/10.1787/5k3tsjqtp90v-en

Contreras, T. (2016). Liderazgo pedagógico, liderazgo docente y su papel en la mejora de la escuela: una aproximación teórica. Propósitos y Representaciones, 4(2), 231-284. https://doi.org/10.20511/pyr2016.v4n2.123

Costello, A.B., & Osborne, J. (2005). Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Practical Assessment Research & Evaluation, 10(7), 1-9.

Cronbach, L.J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334.

Crow, G., Day, C., & Møller, J. (2016). Framing research on school principals’ identities. International Journal of Leadership in Education. https://doi.org/10.1080/13603124.2015.1123299

De Winter, J.C., & Dodou, D. (2012). Factor recovery by principal axis factoring and maximum likelihood factor analysis as a function of factor pattern and sample size. Journal of Applied Statistics, 39(4), 695-710. https://doi.org/10.1080/02664763.2011.610445

Diario Oficial de la Federación (2019, 30 de septiembre). Decreto por el que se expide la Ley General de Educación y se abroga la Ley General de la Infraestructura Física Educativa. https://bit.ly/2vplpMx

Diario Oficial de la Federación. (2010, 5 de julio). Ley Federal de protección de datos personales en posesión de los particulares.

Elliott, S. N., y Clifford, M. (2014). Principal assessment: Leadership behaviors known to influence schools and the learning of all students (Document No. LS-5). https://goo.gl/3kvU34

Fernández-Cruz, F.J., Fernández-Díaz, M.J., & Rodríguez-Mantilla, J.M. (2018). Design and validation of an instrument to measure teacher training profiles in information and communication technologies. Revista Española de Pedagogía, 270, 247-270. https://doi.org/10.22550/REP76-2-2018-03

Flessa, J., Bramwell, D., Fernández, M., & Weinstein, J. (2018). School Leadership in Latin America 2000-2016. Educational Management Adminstration & Leadership, 46(2), 182-206. https://doi.org/10.1177/1741143217717277

Fuentes-Arismendi, J.C., & Malagón-Micán, M.L. (2019). The evaluation of competencies from the socioformative approach. Human Development and Socioformation (HUDS), 1(1), 1-13. https://bit.ly/37wgSpx

García-Garnica, M. (2016). Elaboración y validación de un cuestionario para medir prácticas eficaces de liderazgo pedagógico de la dirección. Profesorado. Revista de Currículum y Formación de Profesorado, 20(3), 493-526. https://goo.gl/YOIAcu

García-Garnica, M., y Caballero, K. (2015). ¿Qué prácticas eficaces de liderazgo desarrollan los directivos andaluces en sus escuelas? Revista Iberoamericana de Evaluación Educativa, 8(2), 129-147. https://goo.gl/o2ayOh

George, D., & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update (4ª ed.). Allyn & Bacon.

Gómez-Hurtado, I. (2013). Dirección y gestión de la diversidad en la escuela: hacia un liderazgo inclusivo. Revista Fuentes, 14, 61-84. https://goo.gl/LR1b5W

Gorsuch, R.L. (1983). Factor analysis. Lawrence Erlbaum.

Herrera, S. y Tobón, S. (2017). El perfil del director escolar desde el enfoque socioformativo. Estudio documental mediante la cartografía conceptual. Revista de Pedagogía, 38(102). 144-163. https://goo.gl/fG2sPn

Hefetz, A. y Liberman, G. (2017). The factor analysis procedure for exploration: a short guide with examples. Culture and Education, 29(3), 526-562. doi: 10.1080/11356405.2017.1365425

Horn, A., y Murillo, F. (2016). Incidencia de la dirección escolar sobre el compromiso de los docentes: Un estudio multinivel. Psicoperspectivas, 15(2), 64-77. https://doi.org/10.5027/psicoperspectivas-Vol15-Issue2-fulltext-746

Instituto de Evaluación de la Organización de Estados Americanos para la Educación la Ciencia y la Cultura. (2017). Miradas sobre la Educación en Iberoamérica. Desarrollo profesional y liderazgo de directores escolares en Iberoamérica. OEI. https://goo.gl/ra1s9H

Izquierdo, D. (2016). ¿Qué hacen los directores de centros escolares? Las prácticas de dirección en España a partir de los estudios internacionales PISA y TALIS. Revista Complutense de Educación, 27(3), 1193-1209. https://doi.org/10.5209/rev_RCED.2016.v27.n3.47610

Juárez-Hernández, L. G. (2018). Manual práctico de estadística básica para la investigación. Kresearch.

Ley Orgánica de Mejora de la Calidad Educativa. Boletín Oficial del Estado, 10 de diciembre de 2013, 295. https://goo.gl/uQG8WF

López-Báez, I., López-Ramírez, E., Martínez-Iñiguez, J.E., y Tobón, S. (2018). Gestión Directiva: Aproximaciones a un Modelo para su organización institucional en la educación media superior en México. Espacios, 39(29). https://bit.ly/2SvHnX1

Marin-Garcia, J., Ramirez Bayarri, L., & Atares-Huerta, L. (2015). Protocol: Comparing advantages and disadvantages of Rating Scales, Behavior Observation Scales and Paired Comparison Scales for behavior assessment of competencies in workers. A systematic literature review. WPOM-Working Papers on Operations Management, 6(2), 49-63. https://doi.org/10.4995/wpom.v6i2.4032

Marín-García, J.A., & Santandreu-Mascarell, C. (2015). What do we know about rubrics used in higher education? Intangible Capital, 11(1), 118-145. http://dx.doi/10.3926/ic.538

May, H., Huff, J., & Golding, E. (2012). A longitudinal study of principal’s activities and student performance. School Effectiveness and School Improvement, 23(4), 417–439. https://doi.org/10.1080/09243453.2012.678866

Montero, I., & León, O. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7(3), 847-862.

Moral, C., y Amores, F.J. (2014). Arquitectura resistente determinante del liderazgo pedagógico en los centros de educación secundaria. Bordón. Revista de Pedagogía, 66(2), 121-138. https://doi.org/10.13042/Bordon.2014.66208

Moral, C., Amores, F.J., y Rittaco, M. (2016). Liderazgo distribuido y capacidad de mejora en centros de educación secundaria. Estudios sobre educación, 30, 115-143. https://doi.org/10.15581/004.30.115-143

Organisation for Economic Co-operation and Development. (2013). PISA 2012 Results: What Makes Schools Successful? Resources, Policies and Practices (Volume IV). PISA. OECD. https://doi.org/10.1787/9789264201156-en

Organisation for Economic Co-operation and Development. (2016). School Leadership for Learning: Insights from TALIS 2013. OECD. https://doi.org/10.1787/9789264258341-en

Penfield, R.D., & Giacobbi, Jr, P.R. (2004). Applying a score confidence interval to Aiken item content-relevance index. Measurement in Physical Education and Exercise Science, 8, 213-225.

Reyes, A. (2017). Autonomía escolar y cambio educativo, consideraciones desde la implementación del PEC-FIDE. Revista Electrónica de Investigación Educativa, 19(2),12-21. https://doi.org/10.24320/redie.2017.19.2.643

Robles, P. y Rojas, M.D.C. (2015). La validación por juicio de expertos: dos investigaciones cualitativas en Lingüística aplicada. Revista Nebrija de Lingüística Aplicada, 2015(18). https://goo.gl/HeXKwF

Sánchez-Contreras, M.L. (2019). Taxonomía socioformativa: Un referente para la didáctica y la evaluación. Forhum International Journal of Social Sciences and Humanities, 1(1), 100-115. https://dx.doi.org/10.35766/jf19119

SEP. (2019a). Marco para la excelencia en la enseñanza y la gestión escolar en la Educación Básica. Perfiles profesionales, criterios e indicadores para docentes, técnicos docentes y personal con funciones de dirección y de supervisión. SEP. https://bit.ly/3aGGXVb

SEP. (2019b). Orientaciones para elaborar el programa escolar de mejora continua. SEP. https://bit.ly/37unPaV

Servín-Ramírez, E., y Vázquez-Sánchez, C. (2019). El directivo escolar y su transición hacia la socioformación, un factor fundamental en la educación para el desarrollo sostenible. Ecocience International Journal, 1(1), 33-36. https://doi.org/10.35766/je19115

Soriano, A. M. (2014). Diseño y validación de instrumentos de medición. Dia-logos, (14), 19-40. https://bit.ly/2sW4Arw

Spillane, J., y Hunt, B. (2010). Days of their lives: a mixed-methods, descriptive analysis of the men and women at work in the principal’s office. Journal of Curriculum Studies, 42(3), 293-331. https://doi.org/10.1080/00220270903527623

Tobón, S. (2018). Proyecto de gestión escolar. Socioformación y prácticas pedagógicas. Kresearch. https://goo.gl/D4sT8Q

UN. (2015). Transforming our world: The 2030 agenda for sustainable development. https://bit.ly/2GoN4zc

Villela-Treviño, R., y Torres-Arcadia, C. (2015). Modelo de competencias como instrumento de evaluación de la dirección escolar. RIEE. Revista Iberoamericana de Evaluación Educativa., 8(2), 41-56. https://goo.gl/I93MMH

Notas de autor

1 Sergio Tobon. ORCID: http://orcid.org/0000-0001-5543-9131. Centro Universitario CIFE, Cuernavaca, México (https://www.cife.edu.mx/) y de Ekap University.
E-mail: stobon5@gmail.com
2 Luis Gibran Juárez-Hernández. ORCID: http://orcid.org/0000-0003-0658-6818. Profesor-Investigador en el Centro Universitario CIFE. Líneas de investigación sobre ecología de comunidades, diagnóstico y gestión ambiental.
E-mail: luisgibran@cife.edu.mx
3 Sergio Raúl Herrera-Meza. ORCID: http://orcid.org/0000-0003-2605-4878. Líneas de investigación sobre procesos formativos y gestión deinstituciones educativas. Experto en el diseño de instrumentos de evaluación.
E-mail: sergioherrera@cife.edu.mx
4 César Núñez. ORCID: http://orcid.org/0000-0001-8925-993X. Mg. Profesor asociado. Director del sistema de investigación, desarrollo e innovación en el Programa de Psicología de la Universidad de Medellín, Colombia. Director del grupo de investigación en Psicología y Procesos Clínicos-Sociales en la misma Universidad.
E-mail: cnunez@udem.edu.co