Diseño y validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario

Elena López-de-Arana Prado, Pilar Aramburuzabala Higuera, Héctor Opazo Carvajal

Resumen


Son cada vez más los docentes universitarios que utilizan el aprendizaje-servicio como alternativa a los contextos tradicionales de enseñanza-aprendizaje. Esta realidad hace evidente la necesidad de contar con herramientas que faciliten los procesos de diseño, implementación y evaluación para esta nueva propuesta educativa. Actualmente son escasos los recursos para asegurar la calidad de las experiencias de aprendizaje-servicio, y con frecuencia no están validados. Este artículo describe el proceso seguido para el diseño de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario y su posterior validación utilizando el método Delphi modificado online, que es una técnica de carácter cualitativo cuyo objetivo es proporcionar una respuesta grupal fidedigna.

El proceso implicó dos rondas de consulta mediante el correo electrónico, en las que participaron 16 expertos académicos que valoraron la relevancia y claridad de los ítems propuestos. El objetivo de la primera ronda de consulta fue determinar la relevancia y la claridad de todos los ítems. En la segunda ronda se analizó la claridad de los ítems que habían sido reformulados. Los resultados sobre la validez de constructo y de contenido sugirieron la eliminación o reformulación de algunos ítems iniciales para constituir un cuestionario de 41 ítems relevantes y claros, que se valoran a través de una escala Likert de 5 puntos. Se concluye aportando dos vías posibles para dar continuidad a este trabajo: incluir en el proceso de validación los juicios de expertos no académicos y participantes en proyectos de aprendizaje-servicio; y profundizar en la validación psicométrica del cuestionario a través de métodos intra-pruebas e inter-pruebas.

Palabras clave


Aprendizaje-Servicio; Educación Superior; Cuestionarios; Autoevaluación; Validez; Técnica Delphi.

Texto completo:

PDF

Referencias


Abal, F.J.P., Auné, S.E., Lozzia, G.S., y Attorresi, H.F. (2017). Funcionamiento de la categoría central en ítems de Confianza para la Matemática. Revista Evaluar, 17(2), 18-31.

Aliaga, J. (2006). Psicometria: Tests Psicométricos, Confiabilidad y Validez. En A. Quintana y W. Montgomery. (Eds.), Psicología: Tópicos de actualidad (pp. 85-108). Lima, Perú: Universidad Nacional Mayor de San Marcos.

Álvarez, J.L., Martínez, M.J., González, H., y Buenestado, M. (2017). El aprendizaje-servicio en la formación del profesorado de las universidades españolas. Revista Española de Pedagogía, 75(267), 199-217. https://

doi.org/10.22550/REP75-2-2017-02

Aponte, G., Cardozo, M.A., y Melo, M. (2012). Método Delphi: Aplicaciones y posibilidades en la gestión prospectiva de la investigación y desarrollo. Revista Venezolana de Análisis de Coyuntura, 18(1), 41-52.

Aramburuzabala, P., Gezuraga, M., y López-de-Arana, E. (2018). Cómo abordar la evaluación en los proyectos de Aprendizaje-Servicio. En J. García-Gutiérrez y M. Ruiz-Corbella (Eds.), Aprendizaje-Servicio: Los retos de la evaluación (pp. 27-37). Madrid: Narcea.

Aramburuzabala, P., McIlrath, H., & Opazo, H. (Eds.). (2019). Embedding Service-Learning in European Higher Education. London, UK: Routledge.

Averch, H. (2004). The systematic use of expert judgment. In K.E. Newcomber, J.S. Wholey, & H P. Hatry (Eds.), Handbook of practical program evaluation (pp. 292-309). San Francisco, USA: Jossey-Bass Inc.

Bakieva, M., Jornet, J.M., González, J., y Leyva, Y.E. (2018). Colegialidad docente: validación lógica del instrumento para autoevaluación docente en España y México. Estudios sobre Educación, 34, 99-127.

Bisquerra, R. y Pérez-Escoda, N. (2015). ¿Pueden las escalas Likert aumentar en sensibilidad? REIRE, Revista d’Innovació i Recerca en Educació, 8(2). https://doi.org/10.1344/reire2015.8.2828

Blanco, N. y Alvarado, M.E. (2005). Escala de actitud hacia el proceso de investigación científico social. Revista de Ciencias Sociales, 3(11), 537-546.

Cabero, J. (2014). Formación del profesorado universitario en TIC. Aplicación del método Delphi para la selección de los contenidos formativos. Educación XX1, 17(1), 111-131.

Cabero, J. y Barroso, J. (2013). La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta. Bordón, 65(2), 25-38.

Cabero, J. e Infante, A. (2014). Empleo del Método Delphi y su empleo en la investigación en comunicación y educación. Edutec, 48, 1-16.

Campo, L. (2015). Evaluar para mejorar los proyectos de aprendizaje servicio en la universidad. RIDAS, Revista Iberoamericana de Aprendizaje y Servicio, 1, 91-111.

CLAYSS (2016). Cómo desarrollar proyectos de aprendizaje y servicios solidario en la Educación Media (Secundaria y Enseñanza Técnica). Buenos Aires, Argentina: Ediciones CLAYSS.

Coates, J. (1975). In defense of Delphi: a review of Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 193-194.

Cronbach, L.J. (1990). Essentials of psychology testin. New York, USA: Harper & Row.

Cruz, M. y Rúa, J.A. (2018). Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica. Biblios, 71, 90-107. https://doi.org/10.5195/biblios.2018.470

Dalkey, N. & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management science, 9(3), 458-467.

Dawes, J. (2008). Do data characteristics change according to the number of scale points used? An experiment using 5 point, 7 point and 10 point scales. International Journal of Market Research, 50(1), 1-19.

Declaración de Bolonia (junio 1999). Declaración conjunta de los Ministros Europeos de Educación. Recuperado de http://bit.do/eSTaH

Deeley, S. (2016). El aprendizaje-Servicio en educación superior. Teoría, práctica y perspectiva crítica. Madrid: Narcea.

Donohoe, H., Stellefson, M., & Tennant, B. (2012). Advantages and limitations of the e-Delphi technique. American Journal of Health Education, 43(1), 38-46. https://doi.org/10.1080/19325037.2012.10599216

Europe Engage (2015). Quality Standards for Service Learning Activities. Recuperado de http://bit.do/eSTa3

Eyler, J. & Giles, D. (1999). Where’s the Learning in Service Learning? San Francisco, CA, USA: Jossey-Bass.

Geist, M.R. (2010). Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning, 33(2), 147-154.

George, C.E. y Trujillo, L. (2018). Aplicación del Método Delphi Modificado para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente. Revista Iberoamericana de Evaluación Educativa, 11(1), 113-135.

Gil, B. y Pascual, D. (2012). La metodología Delphi como técnica de estudio de la validez de contenido. Anales de Psicología, 28(3), 1011-1020.

Goetz, J.P. y LeCompte, M.D. (1988). Etnografía y diseño cualitativo en investigación educativa. Madrid: Morata.

Gordon, T.J. (1994). The Delphi method. Washington D.C. USA: United Nations University.

GREM (2014). Rúbrica para la autoevaluación y la mejora de los proyectos de Aprendizaje Servicio. Barcelona: Fundación Jaume Bofill. Recuperado de http://bit.do/eSTbb

Hilbert, S., Küchenhoff, H., Sarubin, N., Nakagawa, T.T., & Bühner, M. (2016). The Influence of the Response Format in a Personality Questionnaire: An Analysis of a Dichotomous, A Likert-Type, and a Visual Analogue Scale. Testing, Psychometrics, Methodology in Applied Psychology, 23(1), 3-24.

4473/TPM23.1.1

Hung, H.L., Altschuld, J.W., & Lee, Y. (2008). Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Evaluation and Program Plannin, 31, 191-198.

Kennedy, H. (2004). Enhancing Delphi research: methods and results. Journal of Advanced Nursing, 45, 504-511.

Krippendorff, K. (1980). Content Analysis. An Introduction to Its Methodology. Beverly Hills, CA, USA: Sage.

Landeta, J. (1999). El método Delphi. Una técnica de previsión para la incertidumbre. Barcelona: Ariel.

Landeta, J. (2006). Current validity of the Delphi method in social sciences. Technological Forecasting and Social Change, 73(5), 467-482.

Linstone, H.A., & Turoff, M. (2011). Delphi: a brief look backward and forward. Technological Forecasting and Social Change, 78, 1712-1719.

López, E.J., Bernal, C., Leiva, J.J. y Martín, A.H. (2018). Validación del instrumento didáctico de valoración de observatorios digitales sobre MOOC: CUVOMOOC® mediante el Método Delphi. Campus Virtuales, 7(1), 95-110.

López-de-Arana, E., Aramburuzabala, P., Opazo, H., Quintana, A., y Franco, L. (En prensa). Idoneidad del método Delphi para la validación de herramientas dirigidas a la evaluación de experiencias basadas en Aprendizaje-Servicio. En P. Aramburuzabala, C. Ballesteros y J. García (Eds.), El papel del servicioaprendizaje en la construcción de una ciudadanía global. Madrid: UNED.

Lozano, L., García-Cueto, E., & Muñiz, J. (2008). Effect of the number of response categories on the reliability and validity of rating scales. Methodology, 4(2), 73-79. https://doi.org/10.1027/1614-2241.4.2.73

Ludwig, B. (1997). Predicting the future: Have you considered using the Delphi methodology? Journal of Extension, 35(5) 1-4.

Martín, X., Puig, J. M., Palos, J., & Rubio, L. (2018). Enhancing the quality of Service-Learning practices. Enseñanza & Teaching, 36(1), 111-128. https://doi.org/10.14201/et2018361111128

Martínez, E. (2003). La Técnica Delphi como estrategia de consulta a los implicados en la evaluación de programas. Revista de Investigación Educativa, 21(2), 449-463.

Matas, A. (2018). Diseño del formato de escalas tipo Likert: Un estado de la cuestión. Revista Electrónica de Investigación Educativa, 20(1), 38-47. https://doi.org/10.24320/redie.2018.20.1.1347

McIlrath, L. (2016). Europe Engage Survey of Civic Engagement & Service- Learning Activities within the Partner Universities.

Recuperado de http://bit.do/eSTbe

Messick, S. (1995). Standards of validity and the validity of standards in performance assessment. Educational Measurement: Issues and practice, 14, 5-8.

Pérez, A., García, R., y Aguaded, I. (2018). La competencia mediática en el profesorado universitario. Validación de un instrumento de evaluación. @tic

revista d’innovació educativa, 21, 1-9.

https://doi.org/10.7203/attic.21.12550

Powell, C. (2003). The Delphi technique: Myths and realities. Journal of Advanced Nursing, 41(4), 376-382.

Price, B. (2005). Delphi survey research and older people. Nursing Older People, 17(3), 25-31.

Puig, J., Martín, X., y Rubio, L. (2017). ¿Cómo evaluar proyectos de aprendizaje servicio? Voces de la Educación, 2(2), 122-132.

Real Decreto 1791/2010, de 30 de diciembre, por el que se aprueba el Estatuto del Estudiante Universitario. Boletín Oficial del Estado 318/2010, de 31 de diciembre de 2010. Recuperado de http://bit.do/eSTbo

Reguant, M. y Torrado, M. (2016). El método Delphi. REIRE, Revista d’Innovació i Recerca en Educació, 9(1), 87-102.

http://dx.doi.org/10.1344/freire2016.9.1916

Repáraz, C. Arbués, E., Naval, C., y Ugarte, C. (2015). El índice cívico de los universitarios: sus conocimientos, actitudes y habilidades de participación social. Revista Española de Pedagogía, 260, 23-51.

RMC Research Corporation. (2008). Standards and Indicators for Effective Service-Learning Practice. Scotts Valley, CA, USA: National Service-Learning Clearinghouse. Recuperado de http://bit.do/eSTbD

Rowe, G. & Wright, G. (1999). The Delphi technique as a forecasting tool: Issues and analysis. International Journal of Forecasting, 15(4), 353-375.

Rowe, G. & Wright, G. (2011). The Delphi technique: Past, present, and future prospects-Introduction to the special issue. Technological Forecasting and Social Change, 78, 1487-1490.

Rubio, L., Puig, J. M., Martín, X., y Palos, J. (2015). Analizar, repensar y mejorar los proyectos: Una rúbrica para la autoevaluación de experiencias de aprendizaje servicio. Profesorado, Revista de currículum y formación del profesorado, 19(1), 111-126.

Sackman, H. (1975). Delphi critique. Boston, MA, USA: Lexington Books.

Santos, M. A. (Ed.) (2016). Sociedad del conocimiento. Aprendizaje e innovación en la universidad. Madrid: Biblioteca Nueva.

Scheele, D. (1975). Consumerism comes to Delphi: comments on Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 215- 219.

Simms, L.J., Zelazny, K., Williams, T.F., & Bernstein, L. (2019). Does the number of response options matter? Psychometric perspectives using personality questionnaire data. Psychological Assessment, 31(4), 557-566.

Steurer, J. (2011). The Delphi method: an efficient procedure to generate knowledge. Skeletal Radiol, 40, 959-961.

Varela, M., Díaz, L., y García, R. (2012). Descripción y usos del método delphi en investigaciones en el área de la salud. Investigación en Educación Médica, 1(2), 90-95.

Von der Gracht, H. (2012). Consensus measurement in Delphi studies: review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525-1536.

Zabalza, M.A. (2006). La convergencia como oportunidad para la mejora de la docencia universitaria. Revista Interuniversitaria de Formación del Profesorado, 20(3) 37-69.




DOI: https://doi.org/10.5944/educxx1.23834

Enlaces refback

  • No hay ningún enlace refback.


Licencia de Creative Commons
Este obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial 4.0 Internacional.

Reconocimiento – NoComercial (by-nc):Se permite la generación de obras derivadas siempre que no se haga un uso comercial. Tampoco se puede utilizar la obra original con finalidades comerciales.

 

Educación XX1

Decanato de la Facultad de Educación. UNED
c/ Juan del Rosal, 14
28040 - MADRID (España)
Teléfono: +34 91.398.7216/7469/8769
E-mail: educacionxx1@edu.uned.es
DOI prefix: 10.5944/educxx1

 

Síguenos  twitrer_120 linkedin_75   

 

 

ISSN (versión impresa): 1139-613X

ISSN (versión electrónica): 2174-5374
Depósito legal: M. 31468-1998