La startup de détection d’IA GPTZero a analysé les 4 841 articles acceptés par la prestigieuse Conférence sur les systèmes de traitement de l’information neuronale (NeurIPS), qui a eu lieu le mois dernier à San Diego. La société a trouvé 100 citations hallucinées dans 51 articles qu’elle a confirmés comme étant faux, a déclaré la société à TechCrunch.
Faire accepter un article par NeurIPS est une réussite digne d’un résumé dans le monde de l’IA. Étant donné qu’il s’agit des principaux esprits de la recherche en IA, on pourrait supposer qu’ils utiliseraient les LLM pour la tâche catastrophiquement ennuyeuse de rédiger des citations.
Les mises en garde abondent donc concernant cette découverte : 100 citations hallucinées confirmées dans 51 articles ne sont pas statistiquement significatives. Chaque article comporte des dizaines de citations. Donc, sur des dizaines de milliers de citations, cela représente statistiquement zéro.
Il est également important de noter qu’une citation inexacte n’annule pas la recherche de l’article. Comme l’a déclaré NeurIPS à Fortune, qui a été le premier à rendre compte des recherches de GPTZero, « Même si 1,1 % des articles ont une ou plusieurs références incorrectes en raison de l’utilisation de LLM, le contenu des articles eux-mêmes (n’est) pas nécessairement invalidé. »
Mais cela dit, une fausse citation n’est pas non plus une rien. NeurIPS est fier de ses « publications scientifiques rigoureuses sur l’apprentissage automatique et l’intelligence artificielle », affirme-t-il. Et chaque article est évalué par plusieurs personnes chargées de signaler les hallucinations.
Les citations sont aussi une sorte de monnaie d’échange pour les chercheurs. Ils sont utilisés comme mesure de carrière pour montrer l’influence du travail d’un chercheur auprès de ses pairs. Lorsque l’IA les invente, cela atténue leur valeur.
Personne ne peut reprocher aux pairs évaluateurs de ne pas avoir détecté quelques citations fabriquées par l’IA étant donné le volume considérable impliqué. GPTZero s’empresse également de le souligner. L’objectif de l’exercice était de fournir des données spécifiques sur la manière dont les débris d’IA s’infiltrent via « un tsunami de soumissions » qui a « mis à rude épreuve les pipelines d’examen de ces conférences jusqu’au point de rupture », indique la startup dans son rapport. GPTZero souligne même un article de mai 2025 intitulé « The AI Conference Peer Review Crisis » qui discutait du problème lors de premières conférences, notamment NeurIPS.
Événement Techcrunch
San Francisco
|
13-15 octobre 2026
Pourtant, pourquoi les chercheurs eux-mêmes n’ont-ils pas pu vérifier l’exactitude des travaux du LLM ? Ils doivent sûrement connaître la liste réelle des papiers qu’ils ont utilisés pour leur travail.
Ce que tout cela souligne vraiment est une conclusion importante et ironique : si les plus grands experts mondiaux en IA, avec leur réputation en jeu, ne peuvent pas garantir que leur utilisation du LLM est exacte dans les détails, qu’est-ce que cela signifie pour le reste d’entre nous ?
