Acceso usuarios
Gosling Samuel D., Ybarra Kate, Angulo Sarah K.
La amplia disponibilidad de IA generativa basada en Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) ha proporcionado a los estudiantes y otros los medios para hacer trampa fácilmente en traba-jos escritos – es decir, los estudiantes pueden usar IA para generar texto y luego presentar ese trabajo como propio. Se han desarrollado una variedad de soluciones técnicas para detectar este tipo de engaño. Sin embargo, existe preocupación sobre los peligros de identificar falsamente las respuestas de estudiantes reales como generadas por IA. Aquí evaluamos un detector de IA Generativa que viene como una opción con Turnitin, una plataforma de detección de plagio ampliamente utilizada por muchas universidades. Comparamos 160 respuestas escritas por estudiantes en una tarea de clase con 160 respuestas generadas por ChatGPT instruido para completar la misma tarea. Las respuestas de ChatGPT fueron generadas por 16 indicaciones diferentes diseñadas para imitar aquellas que podrían ser dadas por individuos que buscan hacer trampa en una tarea. Las puntuaciones para las respuestas generadas por IA fueron significativamente más altas que las puntuaciones para las respuestas generadas por humanos, que fueron todas cero. Claramente, está a punto de desarrollarse una carrera armamentística entre la tecnología que facilita el engaño y la tecnología que lo detecta. Sin embargo, los hallazgos actuales demuestran que al menos es posible implementar soluciones técnicas en este contexto. Mirando hacia el futuro, a medida que varios métodos de IA se conviertan en herramientas legítimas y se integren en casi todos los aspectos de la vida diaria, es poco probable que las soluciones puramente técnicas sean suficientes. En su lugar, las directrices que rodean la integridad académica tendrán que adaptarse a nuevas conceptualizaciones del dominio académico y la producción creativa.
The widespread availability of generative-AI using Large Language Models (LLMs) has provided the means for students and others to easily cheat on written assignments – that is, students can use AI to generate text and then submit that work as their own. A variety of technical solutions have been developed to detect such cheat-ing. However, concerns have been raised about the dangers of falsely identifying real students’ responses as having been generated by AI. Here we evaluate a Generative AI detector that comes as an option with Turnitin, a widely used plagiarism-detection platform already in use at many universities. We compare 160 responses written by students in a class assignment with 160 responses generated by ChatGPT instructed to complete the same assign-ment. The ChatGPT responses were generated by 16 different prompts crafted to mimic those that plausibly might be given by individuals seeking to cheat on an assignment. The AI scores for the AI generated responses were sig-nificantly higher than the AI scores for the human-generated responses, which were all zero. Clearly, an arms race is set to develop between technology that facilitates cheating and technology that detects it. However, the present findings demonstrate that it is at least possible to deploy technical solutions in this context. Looking ahead, as various AI-methods become legitimate tools and are more seamlessly integrated into almost every aspect of daily life, it is unlikely that purely technical solutions will suffice. Instead, guidelines surrounding academic integrity will have to adapt to new conceptualizations of academic mastery and creative output.
