L’essentiel
- Claude Opus 5 atteint 30,2 % sur ARC-AGI-3, contre 7,8 % pour le précédent détenteur du record, GPT-5.6 Sol, et 1,5 % pour Opus 4.8.
- ARC Prize dit avoir observé pour la première fois un modèle traduire les tâches en notation algébrique et formuler seul des équations de réflexion.
- Sur Witness, un benchmark privé de jeux de logique, le même modèle marque 43,4 et se retrouve à égalité statistique avec Kimi K3 et Fable 5.
- Opus 5 a été développé après la publication du format d’ARC-AGI-3, ce qui rend un entraînement ciblé plausible, sans qu’aucune preuve n’existe.
Sur ARC-AGI-3, aucun modèle n’avait franchi la barre des 8 %. Claude Opus 5 vient d’y inscrire 30,2 %, et ses évaluateurs disent l’avoir vu poser ses propres équations pour comprendre un jeu qu’il découvrait. Un écart pareil se vérifie avant de se célébrer.
Un saut d’un facteur vingt, dix-neuf jeux toujours invaincus
Le tableau chiffré est brutal. Opus 4.8, le prédécesseur direct, obtenait 1,5 %. GPT-5.6 Sol en configuration « Max » détenait le record avec 7,8 %. Opus 5 les dépasse tous avec 30,2 %, soit près de quatre fois l’ancien record et vingt fois le score de son prédécesseur, selon ARC Prize, l’organisation qui administre le test.
Dans l’absolu, pourtant, le résultat n’a rien de flatteur. Opus 5 a résolu cinq environnements jusque-là invaincus, dont quatre à un niveau égal ou supérieur à celui d’un humain. Six environnements sur les vingt-cinq accessibles publiquement sont désormais résolus. Le leader du classement échoue donc encore sur dix-neuf jeux, que la plupart des adultes résolvent sans y penser.
Un benchmark qui se joue comme un jeu, sans notice
ARC-AGI-3 ne pose pas de questions. Il place le modèle dans un environnement interactif dont il ignore les règles : il doit les déduire de ses propres actions, planifier, puis exécuter coup par coup. L’objectif affiché est de mesurer la capacité à traiter des situations absentes de l’entraînement, plutôt qu’à restituer des connaissances stockées, avec l’intelligence artificielle générale en ligne de mire.
Une règle du test explique une bonne partie de l’écart avec ce que vous observerez en production. Le score officiel ne compte que la performance du modèle seul, sans harness, c’est-à-dire sans la couche logicielle qui lui donne mémoire, outils et boucle de rétroaction. Des systèmes complets font déjà mieux, mais ARC Prize refuse de les créditer : une machine réellement générale, à ses yeux, ne devrait pas avoir besoin de béquilles pour affronter du nouveau. Le même Opus 5, glissé dans Claude Code, décrocherait probablement un meilleur score.
L’algèbre improvisée, le signal qui intrigue les concepteurs
Le détail qui a marqué les évaluateurs n’est pas un score. Pendant les tests, Opus 5 a traduit des tâches en notation algébrique et formulé de lui-même des équations de réflexion, un comportement qu’ARC Prize dit n’avoir jamais vu chez un modèle. Son analyse attribue l’avance à un raisonnement logique plus solide, qui autorise « une exploration, une planification et une exécution plus autonomes » dans des environnements inconnus.
C’est le point le plus intéressant du dossier, et le plus difficile à quantifier. Les résultats, les rejeux de parties et le code d’évaluation sont publics, donc auditables par des tiers. Mais un comportement remarqué pendant une session ne se convertit pas en compétence mesurée : il faudra d’autres environnements, et d’autres équipes, pour savoir si cette algèbre improvisée est une méthode acquise ou une trouvaille de circonstance.
Sur un test privé, le bond s’évapore
Guanghan Ning maintient Witness, un benchmark privé de jeux de logique interactifs, jamais exposé à l’entraînement des modèles. Opus 5 y marque 43,4, à égalité statistique avec Kimi K3 et Fable 5, et son avance sur Opus 4.8 y est sans commune mesure avec celle affichée sur ARC-AGI-3.
Le détail des parties parle mieux que la moyenne. Sur un jeu bâti autour de mécaniques classiques, Opus 5 énonce les règles cachées avant même son premier coup. Sur un jeu qui combine ces mêmes règles d’une manière inhabituelle, il fait moins bien qu’Opus 4.8. Ning voit dans ce profil la marque d’un entraînement nourri de jeux du même genre, tout en précisant que son test ne permet pas d’identifier les données utilisées par Anthropic.
Un test publié avant que le modèle soit entraîné
Anthropic n’a pas expliqué d’où vient le saut. Une piste tient à la chronologie : contrairement aux modèles antérieurs, Opus 5 a été développé après la publication d’ARC-AGI-3 et de son format. Des annotateurs ont pu étiqueter des traces de raisonnement, des actions utiles, des échecs et des stratégies de récupération sur des casse-tête voisins ; un apprentissage par renforcement a pu récompenser l’exploration, la découverte de règles et l’auto-correction. Rien de tout cela n’équivaut à s’entraîner sur les tâches du test, et rien ne le démontre.
Greg Kamradt, qui préside ARC Prize, conteste l’hypothèse d’un entraînement taillé pour le test. Selon lui, le jeu classique de Witness ne mesure pas vraiment la nouveauté, puisqu’il repose sur des mécaniques familières, et la contre-performance sur un unique jeu inhabituel peut n’être qu’une régression isolée. Il rappelle aussi qu’Opus 4.8 battait Opus 5 sur certains jeux d’ARC-AGI-3, ce qui cadre mal avec l’idée d’une supériorité uniforme.
Le classement ne remplace pas votre propre jeu de tâches
Anthropic affiche par ailleurs 90,4 % sur ARC-AGI-2 et 97,5 % sur ARC-AGI-1, les meilleurs scores atteints à ce jour sur ces deux tests. Un benchmark saturé n’apprend plus rien à personne, et un benchmark devenu cible commerciale sature vite.
La conséquence pratique est directe. Un chiffre obtenu sur un modèle nu, dans des jeux conçus pour piéger la mémorisation, ne prédit pas le comportement d’un agent outillé sur votre code, vos données et vos règles métier. Si vous arbitrez entre modèles cette semaine, ARC-AGI-3 vaut comme signal de direction, pas comme critère de choix : le seul score qui vous engage reste celui de votre propre jeu de tâches, rejoué sur plusieurs versions successives. Ces 30,2 % prouvent surtout qu’Anthropic a appris à jouer à ce jeu-là ; ils ne disent pas encore ce que ce jeu mesure.
Mon avis
Un test cesse de mesurer le jour où il devient une cible, et ARC-AGI-3 vient de franchir cette ligne. Je m’attends à ce que la prochaine série d’environnements, tenue privée jusqu’au passage des modèles, ramène tout le monde sous les 10 % et remette les compteurs à zéro. Ce qui restera de cette semaine tient dans une image : un modèle qui écrit ses propres équations pour comprendre un jeu, sans que personne, chez Anthropic comme chez ARC Prize, sache expliquer d’où lui vient cette idée.
