Topeka, Kansas, le samedi 23 décembre 2023 - Le « publier ou périr » est devenu l’antienne des mandarins en devenir. Dans cette course à la publication, certains ont cru voir en ChatGPT leur meilleur allié. Malheureusement pour eux, il se développe des outils de détection des articles rédigés par l’IA qui pourrait bien remettre en cause ce fantasme.
Une équipe de chimistes de l'Université du Kansas a ainsi développé un outil d'intelligence artificielle (IA) capable de détecter avec une précision remarquable les articles de chimie rédigés à l'aide du chatbot ChatGPT. Le dispositif spécialisé a surpassé deux détecteurs d'IA existants : zeroGPT et ChatGPT detector.
L'outil a ainsi identifié les titres rédigés par ChatGPT-3.5 avec une précision de 100 %, et de 98% pour les abstracts.
Quand l’IA ne reconnaît pas ses petits
Comparativement, le détecteur d'IA, non spécialisé, ZeroGPT a affiché des performances bien inférieures, avec une précision de seulement 35 % pour les titres et de 65 % pour les Abstracts. Même l’outil créé par ChatGPT, ChatGPT detector n’en reconnaissait pas ses petits et a montré des résultats médiocres, avec une précision de 10 % pour les Abstracts et 55 % pour les titres.
Même si ces avancées technologiques offrent des moyens plus précis de dépister les écrits générés par l'IA, il est fondamental de ne pas considérer ces détecteurs d’IA comme une solution magique aux défis plus vastes auxquels sont confrontés les éditeurs et les chercheurs estime le professeur Weber-Wulff dans Nature qui souligne qu’ils ne résoudront pas les problèmes liés à la pression pour produire rapidement des articles et à la perception largement partagée que le processus de rédaction proprement dite est une activité subalterne et laborieuse.
F.H.
