Deterioro de parámetros de los ítems en tests adaptativos informatizados: estudio con eCAT

• Autores: Francisco José Abad García, Julio Olea Díaz, David Aguado García
• Localización: Psicothema, ISSN-e 1886-144X, ISSN 0214-9915, Vol. 22, Nº. 2, 2010, págs. 340-347
• Idioma: español
• Enlaces
  • Texto completo (pdf)
• Dialnet Métricas: 7 Citas
• Resumen

  • En el presente trabajo se muestra el analisis realizado sobre un Test Adaptativo Informatizado (TAI) disenado para la evaluacion del nivel de ingles, denominado eCAT, con el objetivo de estudiar el deterioro de parametros (parameter drift) producido desde la calibracion inicial del banco de items. Se ha comparado la calibracion original desarrollada para la puesta en servicio del TAI (N= 3224) y la calibracion actual obtenida con las aplicaciones reales del TAI (N= 7254). Se ha analizado el Funcionamiento Diferencial de los Items (FDI) en funcion de los parametros utilizados y se ha simulado el impacto que sobre el nivel de rasgo estimado tiene la variacion en los parametros. Los resultados muestran que se produce especialmente un deterioro de los parametros a y c, que hay un importante numero de items del banco para los que existe FDI y que la variacion de los parametros produce un impacto moderado en la estimacion de �Æ de los evaluados con nivel de ingles alto. Se concluye que los parametros de los items se han deteriorado y deben ser actualizados.

• Referencias bibliográficas
  • Abad, F.J., Olea, J., Ponsoda, V., Ximénez, C., y Mazuela, P. (2005). Efecto de las omisiones en la calibración de un test adaptativo informatizado....
  • Bolt, D. (2002). Studying the potential of nuisance dimensions using bundle DIF and multidimensional IRT analyses. Paper presented at the...
  • Dodd, B.G. (1990). The effect of ítem selection procedure and stepsize on computerized adaptive attitude measurement using the rating scale...
  • Donoghue, J.R., y Isham, S.P. (1998). A comparison of procedures to detect ítem parameter drift. Applied Psychological Measurement, 22, 33-51.
  • Glas, C.A.W. (2000). Item calibration and parameter drift. En W.J. van der Linden y C.A.W. Glas (Eds.): Computerized adaptive testing: Theory...
  • Guo, F., y Wang, L. (2003). Online calibration and scale stability of a CAT program. Paper presented at the annual meeting of the National...
  • Haebara, T. (1980). Equating logistic ability scales by a weighted least squares method. Japanese Psychological Research, 22, 144-149.
  • Hanson, B.A., y Beguin, A.A. (2002). Obtaining a common scale for IRT item parameters using separate versus oncurrent estimation in the common-item...
  • Harmes, J.C., Parshall, C.G., y Kromrey, J.D. (2003). Recalibration of IRT item parameters in a CAT: sparse data matrices and missing data...
  • Holland, P.W. y Thayer, D.T. (1988). Differential item performance and the Mantel-Haenszel procedure. En H. Wainer y H.I. Braun (Eds.): Test...
  • Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum Associates.
  • Mislevy, R.J., y Bock, R.D. (1990). BILOG (version 3) [Computer software]. Chicago: Scientific Software International.
  • Olea, J., Abad,. y Ponsoda, V. (2002). Elaboración de un banco de ítems, predicción de la dificultad y diseño de anclaje. Metodología de las...
  • Olea, J., Abad, F.J., Ponsoda, V., y Ximénez, M.C. (2004). Un test adaptativo informatizado para evaluar el conocimiento del inglés escrito:...
  • Olea, J., y Ponsoda, V. (1996). Tests adaptativos informatizados. En J. Muñiz (Coord.): Psicometría (pp. 730-783). Madrid: Universitas
  • Pommerich, M, y Segall, D.O. (2003). Calibrating CAT pools and online pretest items using marginal maximum likelihood methods. Paper presented...
  • Ponsoda, V., Hontangas, P., Olea, J., Revuelta, J., Abad, F.J., y Ximénez, C. (2004). Los tests adaptativos informatizados: investigación...
  • Raju, N.S. (1988). The area between two item characteristic curves. Psychometrika, 53, 492-502.
  • Raju, N.S. (1999). DFIT5P: A Fortran program for calculating dichotomous DIF/DTF [Computer software]. Chicago, IL: Illinois Institute of Technology.
  • Rubio, V.J., y Santacreu, J. (2003). TRASI. Test adaptativo informatizado para la evaluación del razonamiento secuencial y la inducción como...
  • Stocking, M.L. (1990). Specifying optimum examinees for item parameter estimation in item response theory. Psychometrika, 55, 461-475.
  • Thissen, D., Chen, W-H, y Bock, R.D. (2003). Multilog (version 7) [Computer software]. Lincolnwood, IL: Scientific Software International.
  • Wang, T., y Kolen, M.J. (2001). Evaluating comparability in computerized adaptive testing: Issues, criteria, and an example. Journal of Educational...
  • Wells, C.S., Subkoviak, M.J., y Serlin, R.C. (2002). The effect of item parameter drift on examinee ability estimates. Applied Psychological...
  • Zwick, R. (2000). The assessment of differential item functioning in computer adaptive tests. En W.J. van der Linden y C.A.W. Glas (Eds.):...
  • Zwick, R., y Thayer, D.T. (2002). Application of an empirical Bayes enhancement of Mantel-Haenszel differential item functioning analysis...