METR mesure une accélération de la recherche en IA chez Anthropic, avec de fortes incertitudes
Le 5 novembre 2026, l’organisme américain METR a publié une évaluation de la recherche d’Anthropic menée du 12 août au 29 octobre. L’équipe a consulté des données internes et interrogé des salariés pour estimer comment l’IA contribue au développement de nouveaux modèles.
Sur l’indice interne AECI, le rythme de progression des scores aurait été multiplié par 1,9 depuis octobre 2025, avec un intervalle de confiance à 95 % allant de 1,5 à 2,8. Ce chiffre décrit une évolution sur des tests, et non des capacités devenues uniformément deux fois meilleures. L’analyse inclut des modèles non commercialisés.
METR juge probable qu’une majorité de l’accélération actuelle soit liée à l’assistance par IA. Cette attribution reste incertaine : il ne s’agit pas d’une expérience contrôlée et d’autres facteurs interviennent.
La transparence constitue une limite importante. Selon METR, Anthropic a retiré de la version publique une majorité des éléments considérés comme les plus informatifs, pour protéger des informations confidentielles. Les résultats portent surtout sur des tâches bien définies ; ils ne démontrent ni une recherche entièrement autonome ni une perte de contrôle des systèmes.
Sources :
