Development and Psychometric Properties of an Instrument for Assessing Group Processes in Collaborative Problem-Solving in Higher Education

• Mauricio López Cruz ^[1] ; Victoria Sánchez Gómez ^[2] ; Patricio Cabello ^[3]
  1. [1] Universidad de Chile

     Universidad de Chile

     Santiago, Chile

     
  2. [2] Universidad de Salamanca

     Universidad de Salamanca

     Salamanca, España

     
  3. [3] Universidad Andrés Bello

     Universidad Andrés Bello

     Santiago, Chile

     

  Mostrar afiliaciones +
• Localización: Acta Colombiana de Psicología, ISSN 0123-9155, ISSN-e 1909-9711, Vol. 28, Nº. 1, 2025
• Idioma: inglés
• DOI: 10.14718/ACP.2025.28.1
• Títulos paralelos:
  • Desarrollo y propiedades psicométricas de un instrumento para la evaluación de procesos grupales en la resolución colaborativa de problemas en la educación superior
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    Este estudio tuvo como objetivo desarrollar y analizar un instrumento para evaluar los procesos grupales invo-lucrados en tareas de resolución colaborativa de problemas en educación superior. La Escala para la Evaluación de Procesos Grupales en la Resolución Colaborativa de Problemas (GROUPS) consta de 24 ítems de autoinforme agrupados en cuatro dimensiones: Exploración y Comprensión; Representación y Formulación; Planificación y Ejecución; y Monitoreo y Reflexión. El estudio siguió un diseño instrumental y se llevó a cabo en Chile. Se aplicó el instrumento a 939 estudiantes matriculados en educación superior, que lo respondieron tras completar una tarea de resolución colaborativa de problemas de tres semanas de duración. La tarea fue diseñada por el equipo de investigación en colaboración con los docentes. En cuanto a las evidencias de validez referidas a la estructura interna del instru-mento, este mostró índices de ajuste apropiados para un modelo de cuatro factores (RMSEA y SRMR por debajo de .05; CFI y TLI por encima de .95). Además, el instrumento mostró índices de fiabilidad óptimos (alfa ordinal por encima de .80 en todos los factores). Se describen los diferentes procesos grupales observados. Por último, se discuten las características del instrumento, así como los resultados obtenidos y sus implicaciones para el desar-rollo de habilidades de resolución colaborativa de problemas en la educación superior.

  • English

    This article aimed to develop and analyze an instrument for assessing group processes involved in collaborative problem-solving tasks in higher education. The Scale for the Assessment of Group Processes in Collaborative Problem Solving (GROUPS) consisted of 24 self-reporting items grouped into four dimensions: Exploring and Understanding, Representing and Formulating, Planning and Executing, and Monitoring and Reflecting. The study followed an instrumental design and took place in Chile. The test was administered to 939 higher education students, all of whom answered the instrument upon completing a 3-week task on collaborative problem-solving. The task was designed by the research team in collaboration with the stu-dents' teachers. Regarding validity, the instrument structure showed appropriate fit indexes according to the theoretical model’s four factors (RMSEA and SRMR under <.05; CFI and TLI over .95). The instrument also showed appropriate indices of reliability (ordinal alpha over .80 in all factors). The different group processes observed are described. Moreover, the instrument’s characteristics are discussed, as are the results obtained and their implications for developing collaborative problem-solving skills in higher education.

• Referencias bibliográficas
  • American Psychological Association (APA). (2017). Ethical Principles of Psychologists and Code of Conduct. https:// www.apa.org/ethics/code/ethics-code-2017.pdf
  • Borsinger, A. M. (2009). Writer development in the sciences: Expressing new meanings in research. In C. Andersen, N. Scheuer, M. P. Pérez...
  • Care, E., & Griffin, P. (2017). Collaborative problem solving processes. In B. Csapó & J. Funke (Eds.). The nature of problem solving....
  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
  • Dindar, M., Järvelä, S., & Järvenoja, H. (2020). Interplay of metacognitive experiences and performance in collaborative problem solving....
  • Doane, D., & Seward, L. E. (2011). Measuring Skewness: A Forgotten Statistic? Journal of Statistics Education, 19(2), 1–18. https://doi.org/10.1080/10691898.2011.11889611
  • Domínguez-Lara, S. (2012). Propuesta para el cálculo del alfa ordinal y theta de armor. Revista de Investigación en Psicología, 15(1), 213–217....
  • Ferrando, J., & Anguiano-Carrasco, F. (2010). El análisis factorial como técnica de investigación en psicología. Papeles del psicólogo,...
  • Graesser, A. C., Fiore, S. M., Greiff, S., Andrews-Todd, J., Foltz, P. W., & Hesse, F. W. (2018). Advancing the science of collaborative...
  • Graesser, A. C., Greiff, S., Stadler, M., & Shubeck, K. T. (2020). Collaboration in the 21st century: The theory, assessment, and teaching...
  • Griffin, P., McGaw, B., & Care, E. (Eds.) (2012). Assessment and teaching of 21st century skills. Springer. https://doi. org/10.1007/978-94-007-2324-5
  • Hayes, A. F., & Krippendorff, K. (2007). Answering the Call for a Standard Reliability Measure for Coding Data. Communication Methods...
  • Hesse, F., Care, E., Buder, J., Sassenberg, K., & Griffin, P. (2015). A Framework for Teachable Collaborative Problem Solving Skills....
  • Hu, L., & Bentler, P. M. (1995). Evaluating Model Fit. In R. H. Hoyle (Ed.), Structural Equation Modelling: Concepts, Issues, and Applications...
  • IBM Corp. (2021). IBM SPSS Statistics for Windows, Version 28.0.
  • Kirschner, P. A., & Erkens, G. (2013). Toward a Framework for CSCL Research. Educational Psychologist, 48(1), 1–8. http://doi.org/10.1080/00461520.2012.750227
  • Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems:...
  • Lu, Y., Li, K. R., Sun, Z., Ma, N., & Sun, Y. (2023). Exploring the effects of role scripts and goal-orientation scripts in collaborative...
  • Mercer, N. (2019). Language and the Joint Creation of Knowledge: The Selected Works of Neil Mercer. Routledge. https://doi.org/10.4324/9780429400759
  • Montero, I., & León, O. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology,...
  • Muñiz, J., & Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test. Psicothema, 31(1), 7–16. http:// doi.org/10.7334/psicothema2018.291
  • Organisation for Economic Co-operation and Development (OECD). (2017a). PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic,...
  • Organisation for Economic Co-operation and Development (OECD). (2017b). PISA 2015 Results. Collaborative problem solving. Volume V.
  • Pazos, P., Micari, M., & Light, G., (2010). Developing an instrument to characterise peer-led groups in collaborative learning environments:...
  • Pérez-Echeverría, M. P., Martí, E., & Pozo, J. I. (2010). Los sistemas externos de representación como herramientas de la mente. Cultura...
  • Prieto, G., & Delgado, A. R. (2010). Fiabilidad y Validez. Papeles del Psicólogo, 31(1), 67–74. https://www2.papelesdelpsicologo.es/pdf/1797.pdf
  • RStudio Team. (2023). RStudio: Integrated Development Environment for R. RStudio. http://www.rstudio.com/
  • Scoular, C., & Care, E. (2020). Monitoring patterns of social and cognitive student behaviors in online collaborative problem solving...
  • Slavin, R. E. (2017). Instruction based on cooperative learning. In R. E. Mayer & P. A. Alexander (Eds.), Handbook of research on learning...
  • The jamovi project. (2023). jamovi. (Version 2.3) [Computer Software]. https://www.jamovi.org
  • Visschers-Pleijers, A., Dolmans, D., Wolfhagen, I., & van der Vleuten, C. (2005). Development and validation of a questionnaire to identify...