Invariance levels across language versions of the PISA 2009 reading comprehension tests in Spain

• Autores: Paula Elosua Oliden, Josu Mujika Lizaso
• Localización: Psicothema, ISSN-e 1886-144X, ISSN 0214-9915, Vol. 25, Nº. 3, 2013, págs. 390-395
• Idioma: inglés
• Títulos paralelos:
  • Evaluación de la invarianza entre las versiones lingüísticas de las pruebas de comprensión lectora PISA 2009 en España
• Enlaces
  • Texto completo (pdf)
• Dialnet Métricas: 3 Citas
• Resumen
  • español

    Antecedentes: el proyecto PISA es la base de estudios y comparaciones sobre diseño curricular y factores de eficacia educativa, que solo son posibles si se garantiza la equivalencia entre las versiones idiomáticas de las pruebas. La aplicación de PISA en comunidades autónomas con lengua propia extiende el cumplimiento de la equivalencia a las versiones lingüística utilizadas en España: español, gallego, catalán y vasco. El objetivo de este trabajo fue analizar la equivalencia de la Prueba de Comprensión Lectora (PISA 2009) entre las 4 versiones idiomáticas. Método: tras definir el testlet como unidad de análisis se analizó la equivalencia entre versiones utilizando dos procedimientos de estudio de la invarianza: las estructuras de medias y covarianzas multigrupo para datos ordinales y la regresión logística ordinal. Resultados: los procedimientos arrojaron resultados concordantes que permiten avalar la equivalencia métrica entre versiones idiomáticas tanto con referencia al español, como entre los idiomas vasco, gallego y catalán. Conclusiones: la equivalencia respalda la comparabilidad de las estimaciones de competencia lectora entre las versiones lingüísticas utilizadas en España.

  • English

    Background: The PISA project provides the basis for studying curriculum design and for comparing factors associated with school effectiveness. These studies are only valid if the different language versions are equivalent to each other. In Spain, the application of PISA in autonomous regions with their own languages means that equivalency must also be extended to the Spanish, Galician, Catalan and Basque versions of the test. The aim of this work was to analyse the equivalence among the four language versions of the Reading Comprehension Test (PISA 2009). Method: After defining the testlet as the unit of analysis, equivalence among the language versions was analysed using two invariance testing procedures: multiple-group mean and covariance structure analyses for ordinal data and ordinal logistic regression. Results: The procedures yielded concordant results supporting metric equivalence across all four language versions: Spanish, Basque, Galician and Catalan. Conclusions: The equivalence supports the estimated reading literacy score comparability among the language versions used in Spain.

• Referencias bibliográficas
  • Byrne, B.M. (2008). Testing for multigroup equivalence of a measuring instrument: A walk through the process. Psicothema, 20, 872-882.
  • Bully, P., Elosua, P., & Mujika, J. (2011, marzo). Procedimientos de juicio y métodos empíricos en el estudio de la equivalencia psicométrica...
  • Chen, W.-H., & Thissen, D. (1997). Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral...
  • Cheung, G.W., & Rensvold, R.B. (1999). Testing factorial invariance across groups: A reconceptualization and proposed new method. Journal...
  • Dorans, N.J., & Middleton, K. (2012). Addressing the extreme assumptions of presumed linkings. Journal of Educational Measurement, 49,...
  • Elosua, P. (2006). Funcionamiento diferencial del ítem en la evaluación internacional PISA. Detección y comprensión [Differential item functioning...
  • Elosua, P. (2011). Assessing measurement equivalence in ordered-categorical data. Psicológica, 32, 403-421.
  • Elosua, P. (2013). Diferencias individuales y autonómicas en el estatus socioeconómico y cultural como predictores en PISA 2009 [Individual...
  • Elosua, P., Hambleton, R.K., & Zenisky, A. (2006). Improving the methodology for detecting biased test items. Paper presented at 5th International...
  • Elosua, P., & Muñiz, J. (2010). Exploring the factorial structure of the Self-Concept: A sequential approach using CFA, MIMIC and MACS...
  • Elosua, P., & Wells, C.S. (2013). Detecting DIF in polytomous items using MACS, IRT and ordinal logistic regression. Psicológica, 34,...
  • Elosua, P., & Zumbo, B.D. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada [Reliability coeffi cients...
  • Ferrer, F., Valiente, O., & Castel, J.L. (2010). Los resultados PISA-2006 desde la perspectiva de las desigualdades educativas [PISA-2006...
  • French, A.W., & Miller, T.R. (1996). Logistic regression and its use in detecting differential item functioning in polytomous items. Journal...
  • Grisay, A., de Jong, J.H.A.L., Gebhardt, E., Berezner, A., & Halleux-Monseur, B. (2007). Translation equivalence across PISA countries....
  • Grisay, A., & Monseur, C. (2007). Measuring the equivalence of item difficulty in the varios versions of an international test. Studies...
  • Hambleton, R.K., Merenda, P., & Spielberger, C. (2005). Adapting educational and psychological tests for cross-cultural assessment. Hillsdale,...
  • Hambleton, R.K., Swaminathan, H., & Rogers, H.J. (1991). Fundamentals of item response theory. London: Sage publications Inc.
  • Hambleton, R.K., & Zenisky, A.L. (2011). Translating and adapting tests for cross-cultural assessments. In D. Matsumoto & F.J.R. van...
  • Hu, L., & Bentler, P.M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives....
  • Jodoin, M.G., & Gierl, M.J. (2001). Evaluating Type I error and power rates using an effect size measure with logistic regression procedure...
  • Matsumoto, D., & Vijver, F.J.R. van de (2011). Cross-cultural research methods in psychology. New York: Cambridge University Press.
  • Monseur, C., & Halleux, B. (2009). Translation and verification outcomues: National versions quality. In OECD (Ed.), OECD Technical Report....
  • Muñiz, J., Elosua, P., & Hambleton, R.K. (2013). Segundas directrices de la ITC para la adaptación de tests [Second ITC guidelines for...
  • Muthén, B., du Toit, S.H.C., & Spisic, D. (1997). Robust inference using weighted least squares and quadratic estimating equations in...
  • Muthén, L.K., & Muthén, B.O. (1998-2010). Mplus User's Guide. Sixth Edition. Los Angeles, CA: Muthén & Muthén.
  • OECD (2009). PISA 2009 assessment framework-key competencies in reading, mathematics and science. PISA: OECD Publishing.
  • OECD (2012). PISA 2009 Technical Report. PISA: OECD Publishing.
  • Oliveri, M.E., & von Davier, M. (2011). Investigation of model fit and score scale comparability in international assessments. Journal...
  • Swaminathan, H., & Rogers, H.J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational...
  • Van de Vijver, F.J. R, & Hambleton, R.K. (1996). Translating tests: Some practical guidelines. European Psychologist, 1(2), 89-99.
  • Van de vijver, F.J.R., & Leung, K. (2011). Equivalence and Bias: A review of concepts, models and data analytic procedures. En D. Matsumoto...
  • Wainer, H., & Kiely, G.L. (1987). Item clusters and computerized adaptive testing: A case for testlets. Journal of Educational Measurement,...
  • Wainer, H., & Lewis, C. (1990). Toward a psychometric for testlest. Journal of Educational Measurement, 27, 1-14.
  • Wainer, H., & Lukhele, R. (1997). How reliable are TOEFL scores? Educational & Psychological Measurement, 57, 741-758.
  • Wainer, H., Sireci, S.G., & Thissen, D. (1991). Differential Testlet Functioning: Definitions and detection. Journal of Educational Measurement,...