Herramientas de detección de plagio fallan al identificar textos generados por IA, revela estudio
Un nuevo estudio muestra que las herramientas destinadas a detectar textos generados por IA pueden ser fácilmente engañadas. El estudio evaluó 14 herramientas de detección, incluyendo Turnitin, GPT Zero y Compilatio, para identificar palabras generadas por ChatGPT. Los resultados sugieren que los estudiantes podrían eludir estos detectores simplemente ajustando ligeramente sus ensayos y trabajos.
Los investigadores descubrieron que estas herramientas, que a menudo se promocionan como plataformas antiplagio para profesores, tienen serias dificultades para detectar textos que han sido ligeramente reorganizados por humanos y modificados utilizando parafraseo.
Mientras que las herramientas permiten detectar con precisión textos escritos por humanos en un promedio del 96% de las veces, la precisión de detección para el texto generado por ChatGPT fue solo del 74% y notablemente más baja (apenas del 42%) para el contenido que fue producido por ChatGPT y ligeramente modificado por el humano.
Según Debora Weber-Wulff, autora principal del estudio, las herramientas "no funcionan" y "no hacen lo que dicen que hacen".
El estudio se publicó en el servidor de preimpresión arXiv, por lo que aún no ha sido revisado por pares.