Evaluación de la calidad de los artículos y de las revistas científicas: propuesta del factor de impacto ponderado y de un índice de calidad

• Autores: Gualberto Buela Casal
• Localización: Psicothema, ISSN-e 1886-144X, ISSN 0214-9915, Vol. 15, Nº. 1, 2003, págs. 23-35
• Idioma: español
• Enlaces
  • Texto completo
• Dialnet Métricas: 81 Citas
• Resumen
  • español

    El factor de impacto y otros índices bibliométricos son utilizados en la actualidad en diversos países para evaluar la producción y/o la calidad de la investigación científica. Sin embargo, rara vez se interpreta correctamente el factor de impacto (o el factor de prestigio). Éstos presentan varias limitaciones importantes que deben ser consideradas, una es que se refieren sólo a las citas de los dos o tres años anteriores (respectivamente) y la otra es que no se tiene en cuenta el «impacto o el prestigio» de las revistas donde se producen las citas, dando el mismo valor a cualquier cita, independientemente de la revista en la que se produce. Para paliar esta limitación se proponen dos índices: el factor de impacto medio de las revistas donde se producen las citas (FIMRC) y el factor de impacto ponderado (FIP). Además, se proponen también otros índices que resultan útiles para analizar la interacción entre las revistas: el porcentaje de interacción parcial de citas (PIPC) y el porcentaje de interacción mutua de citas (PIMC). En este artículo se explican los fundamentos y la forma de calcularlos. A continuación se comenta el sistema actual utilizado para evaluar artículos, el sistema de revisión «por iguales»: los sesgos del director, la cualificación de los revisores y los criterios establecidos para evaluar. Además, se establece una serie de argumentos por los que no debe evaluarse la calidad de un artículo sólo en función de la revista en la que fue publicado. Por último, se presenta una alternativa para evaluar la calidad de los artículos y de las revistas científicas, centrándose en: qué se debe evaluar, quién debe evaluar y qué criterios se pueden usar. En función de esto se hace una propuesta de cómo se podría crear un índice de calidad, independientemente del factor de impacto o del factor de prestigio.

  • English

    Evaluating quality of articles and scientific journals. Proposal of weighted impact factor and a quality index. The factor of impact and other bibliometric indices are currently used in several countries to evaluate the type and quality of scientific production. However, the impact factor (or prestige) rarely receives an accurate interpretation. Available impact factors display a number of shortcomings: they only refer to citations in the previous two or three years, and they do not take into account the impact or prestige of the periodicals where citations appear, so that every citation is given the same value, regardless of the periodical where it appears. In order to overcome these limitations, two indices are proposed: a mean impact factor of the journals where citations appear (FIMRC) and a weighted impact factor (FIP). Additionally, other useful indices are suggested for the analysis of interaction between periodicals: a percentage of partial interaction of citations (PIPC), and a percentage of mutual interaction among citations (PIMC). This paper explains their details a procedures for their calculation. Several problem areas are discussed, namely, peer review, the policy of publications, qualification of referees, and assessment criteria. It is also argued that quality of studies should not only be primarily evaluated in terms of the periodical where they are published. Finally, an alternative is offered for the assessment of quality of scientific articles and journals on three bases: what is to be evaluated, who is to be an evaluator, and possible criteria for evaluation. These considerations lead to a proposal for a quality index aside of impact or prestige.

• Referencias bibliográficas
  • Alcain, M.D. y Carpintero, H. (2001). La Psicología en España a través de las revistas internacionales: 1981-1999. Papeles del Psicólogo,...
  • Aguirre de Cárcer, A. (2001). La contribución de España a la producción científica mundial sigue con su lenta escalada. ABC (26-5-2001), 32.
  • Aleixandre, R. y Porcel, A. (2000). El factor de impacto y los cómputos de citas en la evaluación de la actividad científica y las revistas...
  • Almeida, L. y Buela-Casal, G. (1997). Deontología y evaluación psicológica. En G. Buela-Casal, G. y Sierra, J.C. (Dirs.), Manual de Evaluación...
  • Amin, M. y Mabe, M. (2000). Impact factor: use and abuse. Perspectives in Publishing, 1, 1-6.
  • Bados, A.; García, E. y Fusté, A. (2002). Eficacia y utilidad clínica de la terapia psicológica. Revista Internacional de Psicología Clínica...
  • Benach de Rovira, J. y Tapia, J. (1995). Mitos o realidades: a propósito de la publicación de trabajos científicos. Mundo Científico, 154,...
  • Bobenrieth, M.A. (2000). Mitos y realidades en torno a la publicación científica. Medicina Clínica de Barcelona, 114, 339-341.
  • Bobenrieth, M.A. (2002). Normas para la revisión de artículos originales en ciencias de la salud. Revista Internacional de Psicología Clínica...
  • Bordons, M.; Felipe, A. y Gómez, I. (2002). Revistas científicas españolas con factor de impacto en el año 2000. Revista Española de Documentación...
  • Bordons, M.; Fernández, M.T.; Gómez, I. (2002). Advantages and limitations in the use of impact factor measures for the assessment of reserach...
  • Borges, A.; San Luis, C.; Sánchez, J. A. y Cañadas, I. (2001). El juicio contra la hipótesis nula. Muchos testigos y una sentencia virtuosa....
  • Bornas, X. y Noguera, M. (2002). Bases científicas de la Terapia de Conducta: nuevas propuestas para un viejo problema. Revista Internacional...
  • Buela-Casal, G. (2001). La Psicología española y su proyección internacional. El problema del criterio: internacional, calidad y castellano...
  • Buela-Casal, G. (2002). La evaluación de la investigación científica: el criterio de la opinión de la mayoría, el factor de impacto, el factor...
  • Buela-Casal, G.; Carretero-Dios, H. y De los Santos-Roig, M. (2002). Análisis comparativo de las revistas de Psicología en castellano con...
  • Buela-Casal, G. y Sierra, J.C. (2002). Normas para la redacción de un caso clínico. Revista Internacional de Psicología Clínica y de la Salud/...
  • Carpintero, H. (2001). La Psicología y el problema de España: Una cuestión de Psicología social. Psicothema, 13, 186-192.
  • Chacón, S.; Pérez-Gil, J. A.; Holgado, F.P. y Lara, A. (2001). Evaluación de la calidad universitaria: validez de contenido. Psicothema, 13,...
  • Colegio Oficial de Psicólogos (1987). Código deontólogico. Madrid: Colegio Oficial de Psicólogos.
  • Colom, R. (2000). Algunos «mitos» de la Psicología: entre la ciencia y la ideología. Psicothema, 12, 1-14
  • Crammer, J.L. (1998). Invited commentaries on: Peer review and editorial decision-making. British Journal of Psychiatry, 173, 114-115.
  • Di Trocchio, F. (1993). Le bugie della scienza. Perché e come gliscienziati imbrogliano. Milán: Arnoldo Moldadori Editore.
  • Díaz, M.; Asensio, B.; Llorente, G.; Moreno, E.; Montori. A.; Palomares, F.; Palomo, J.; Pulido, F.; Senar, J.C. y Tellería, J.L. (2001)....
  • Echeburúa, E. (2002). El sistema de sexenios en la evaluación de la actividad investigadora en el ámbito de la Psicología clínica: una primera...
  • Echeburúa, E. y Corral, P. (2001). Eficacia de las terapias psicológicas: de la investigación a la práctica clínica. Revista Internacional...
  • Fernández-Hermida, J.R. y Pérez Álvarez, M. (2001). Separando el grano de la paja en los tratamientos psicológicos. Psicothema, 13, 337-344.
  • Garfield, E. (1955). Citation indexs for science: a new dimension in documentation through association of ideas. Science, 122, 108-111.
  • Garfield, E. (1970). Citation index for studyng science. Nature, 227, 669-671.
  • Garfield, E. (1996). How can impact factors be improved? British Medical Journal, 313, 411-413.
  • Gil-Roales, J. y Luciano, M.C. (2002). A la calidad por the quantity (porque la cantidad no vale). Algunas reflexiones sobre los criterios...
  • Gómez, I. y Bordons, M. (1996). Limitaciones en el uso de los indicadores bibliométricos para la evaluación cíentífica. Política Científica,...
  • Gross, P.L. y Gross, E.M. (1927). College libraries and chemical education. Science, 66, 385-389.
  • Hamilton, K.E. y Dobson, K.S. (2001). Empirically supported tratments in psychology: implications for international promotion and dissemination....
  • Howard, L. y Wilkinson, G. (1998). Peer review and editorial decision-making. British Journal of Psychiatry, 173, 110-113.
  • Institute for Scientific Information (2001). Journal Citation Reports. Philadelphia: ISI.
  • Jiménez-Contreras, E.; Faba, C. y Moya, A. (2001). El destino de las revistas científicas nacionales. El caso español a través de una muestra...
  • León, O.G. y Montero, I. (1997). Diseño de investigaciones. Madrid: McGraw Hill.
  • Méndez, F.X. (2001). Prólogo. En G. Buela-Casal y J.C. Sierra, Manual de evalaución y tratamientos psicológicos (pp. 21-24). Madrid: Biblioteca...
  • Montero, I. y León, O.G. (2001). Usos y costumbres metodológicas en la Psicología española: un análisis a través de la vida de Psicothema...
  • Montero, I. y León, O.G. (2002). Clasificación y descripción de las metodologías de investigación en Psicología. Revista Internacional de...
  • Muñiz, J. (1996). Psicometría. Madrid: Universitas.
  • Muñiz, J. (1997). Aspectos éticos y deontólogicos de la evaluación psicológica. En A. Cordero (Dir.), La Evaluación Psicológica en el año...
  • Muñiz, J. y Fernández-Hermida, J.R. (2000). La utilización de los tests en España. Papeles del Psicólogo, 76, 41-49.
  • Muñiz, J. y Hambleton, R.K. (1996). Directrices para la traducción y adaptación de tests. Papeles del Psicólogo, 66, 63-70.
  • Pelechano, V. (2000). Psicología sistemática de la personalidad. Barcelona: Ariel.
  • Pelechano, V. (2002a). Presentación del Monográfico 2002: La valoración de la actividad científica. Análisis y Modificación de Conducta, 28,...
  • Pelechano, V. (2002b). ¿Valoración de la actividad científica en Psicología? ¿Pseudoproblema, sociologismo o idealismo? Análisis y Modificación...
  • Pelechano, V. (2002c). Epílogo del Monográfico 2002: La valoración de la actividad científica. Análisis y Modificación de Conducta, 28, 477-479.
  • Pérez Álvarez, M. (2002). La Psicología en el contexto de la cultura española. Análisis y Modificación de Conducta, 28, 405-430.
  • Pérez Álvarez, M. y Fernández-Hermida, J.R. (2001). El grano y la criba de los tratamientos psicológicos. Psicothema, 13, 523-529.
  • Polaino, A. (2002). Ciencia, política y política de la investigación. Análisis y Modificación de Conducta, 28, 363-390.
  • Prieto, G. y Muñiz, J. (2000). Un modelo para evaluar la calidad de los tests utilizados en España. Papeles del Psicólogo, 77, 65-75.
  • Sánchez M. (1999). Análisis comparativo de la producción científica en la Unión Europea, España y el Consejo Superior de Investigaciones Científicas....
  • Seglen, P. O. (1993). How representative is the journal impact factor? Research Evaluation, 2, 143-149.
  • Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314, 498-502.
  • Shashok, K. (1997). Responsabilidades compartidas en la revisión de los originales por expertos. Revista de Neurología, 25, 1.946-1.950.
  • Sierra, J.C. y Buela-Casal, G. (2001). Past and present of behavioural assessment. Revista Internacional de Psicología Clínica y de la Salud...
  • Siguan, M. (2002). Evaluando manuscritos: la experiencia de un director. Análisis y Modificación de Conducta, 28, 317-322.
  • Sokal, A. (1996a). Transgressing the boundaries: Toward a transformative hermeneutics of quantum gravity. Social Text, 46/47, 217-252.
  • Sokal, A. (1996b). Transgressing the boundaries: An afterword. Dissent, 43, 93-96.
  • Sokal, A. y Bricmont, J. (1999). Imposturas intelectuales. Barcelona: Paidós (Orig. 1998).
  • Sternberg, R.J. (1988). The psychologist’s. A guide to scientific writing for students and researchs. Nueva York: Cambridge University Press.
  • Sternberg, R.J. (1999). A propulsion model of types of creative contributions. Review of General Psychology, 3, 83-100.
  • Sternberg, R.J. (2001). Where was it published? Observer, 14, 3.
  • Sternberg, R.J. (2002). On civility in reviewing. Observer, 15, 3, 34.
  • Sternberg, R.J. (2003). There is no place for hostile review. Revista Internacional de Psicología Clínica y de la Salud. International Journal...
  • Sternberg, R. y Gordeeva, T. (1996). The anatomy of impact: What makes an article influential? Psychological Science, 8, 69-75.
  • Van Leeuwen, T. N.; Moed, H.F.; Tussen, R.J.W.; Visser, M.S. y Van Raan, A.F. J. (2001). Languaje biases in the coverage of the Science Citation...
  • Werner, R.; Pelicioni, M.C. y Chiattone, H. (2002). La Psicología de la Salud Latinoamericana: hacia la promoción de la salud. Revista Internacional...