Évaluation scientifique par IA : 357 erreurs injectées révèlent des écarts entre modèles
Une équipe associant notamment Cambridge, au Royaume-Uni, le Flatiron Institute, aux États-Unis, et l’Université autonome de Barcelone a déposé le 12 novembre 2026 une étude sur les relecteurs scientifiques automatisés. Le manuscrit arXiv est indiqué comme accepté à NeurIPS 2026 par ses auteurs. L’expérience porte sur la détection d’erreurs précises, pas sur la capacité à juger toute la valeur d’un article.
Les chercheurs ont introduit 357 erreurs dans trente prépublications, quinze en astrophysique et quinze en apprentissage automatique. Douze systèmes ont été comparés sur des problèmes de mathématiques, de chiffres, de citations et de cohérence générale. À consigne identique, trois modèles présentent environ cinquante points de pourcentage d’écart de détection. Le système Skepthical, qui consulte les références et utilise des outils de calcul, se distingue pour les citations en astrophysique, mais cet avantage n’apparaît pas dans le corpus informatique.
La plupart des systèmes restent sous 10 % de faux positifs dans ce protocole. Cette mesure ne prouve toutefois pas leur fiabilité générale : le jugement des réponses repose largement sur d’autres IA, et la comparaison humaine ne concerne qu’un article. Les erreurs sont artificiellement introduites ; ni l’originalité scientifique ni la qualité globale d’une expertise ne sont évaluées.
Sources :
