The false positives and false negatives of generative AI detection tools in education and academic research: The case of ChatGPT

AI and business management: Tracking future research agenda through bibliometric network analysis

“…Apart from the traditional utility, ChatGPT is an efficient tool for management research [ 34 ] and for supporting entrepreneurial ventures [ 35 ]. AI tools such as ChatGPT have been criticised for violating ethical conduct, especially in education and research, as they generate false text for academic purposes [ 36 ]. Apart from the fewer limitations, we believe that ChatGPT can be used to assist researchers in the respective studies across every domain.…”

Inteligencia artificial en la prensa: estudio comparativo y exploración de noticias con ChatGPT en un medio tradicional y otro nativo digital

“…Existen tecnologías para detectar textos sintéticos, como GLTR (Gehrmann et al, 2019), GPTZero (Tian, 2023), DetectGPT (Mitchell et al, 2023) o AI Text Classifier (OpenAI, 2023Kirchner et al, 2023), entre otras. Pero estas aplicaciones no serían 100 % fiables y pueden ser frágiles para detectar y diferenciar textos generados con IA y otros creados por humanos (Jawahar et al, 2020;Dalalah y Dalalah, 2023;He et al, 2023;Wang et al, 2023). De hecho, OpenAI decidió cerrar el proyecto AI Text Classifier medio año después de su lanzamiento debido a que no era muy preciso y podía generar falsos positivos (David, 2023); esto significa que en ocasiones etiquetaba texto escrito por humanos como generado por IA.…”

“…Por último, se calculó la precisión, la exhaustividad y la puntuación F1 como métricas de evaluación para IA (Dalalah y Dalalah, 2023;He et al, 2023), para medir la capacidad de ChatGPT 3.5 en la detección de textos sintéticos o humanos. Primero, se sometieron a una prueba de control los textos de Ana FutBot y Gabriele, y luego se analizaron los de El Mundo y eldiario.es, supuestamente creados por humanos.…”

Leveraging AI to enhance learning

“…One study (Khalil & Err, 2023) found that popular detection tools were largely ineffective in identifying plagiarism in a sample of 50 essays generated by ChatGPT. AI detection tools can also generate false positives, meaning they identify text written by a human as AI-generated (Dalalah & Dalalah, 2023). Detection software companies, such as Turnitin, are promising to improve their products to garner more effective results (e.g., a 97% success rate for ChatGPT-authored content, Turnitin, 2023).…”