L’essentiel
- Nvidia a publié le 21 août les résultats d’AVO, son architecture d’agent, qui atteint 100 % sur le test de raisonnement interactif ARC-AGI-3.
- Le modèle employé, Claude Opus 5, plafonnait à 30 % sans cette architecture, ce qui constituait déjà le meilleur score des modèles évalués.
- La pièce décisive est un agent superviseur qui surveille la trajectoire du premier agent et intervient quand la progression s’arrête.
- La même architecture avait tourné sept jours d’affilée sur l’optimisation de kernels GPU, avec des gains allant jusqu’à 10,5 % face à FlashAttention-4.
Nvidia a mis en ligne vendredi 21 août les résultats de son projet AVO : 100 % sur ARC-AGI-3, un test de raisonnement interactif que personne n’avait bouclé jusque-là. Le modèle aux commandes, Opus 5 d’Anthropic, y plafonnait à 30 % lors des évaluations précédentes, et ses poids n’ont pas bougé d’un octet entre les deux mesures. Tout ce qui a changé se trouve autour du modèle.
L’écart de 70 points vient d’un superviseur
AVO (Agentic Variation Operators) est une architecture d’agent conçue pour les tâches longues, celles qui enchaînent des dizaines de décisions sur des heures ou des jours plutôt que de rendre une réponse à un prompt. Le test ARC-AGI-3 se prête bien à l’exercice : il place l’agent devant des jeux en deux dimensions sans notice, à charge pour lui d’en deviner les règles et de gagner, comme le ferait un humain.
Seul, Opus 5 obtient 30 % : le haut du classement parmi les modèles testés, et deux tiers des épreuves hors de portée. Branché dans AVO, il termine la totalité des épreuves publiques, soit 183 niveaux répartis sur 25 environnements. Entre les deux, il y a un harness, cette couche logicielle qui entoure le modèle et décide de tout ce qu’il ne décide pas : les outils dont il dispose, ce qu’il garde en mémoire, ce qu’on lui remontre de ses échecs, le runtime dans lequel il tourne.
Et surtout, un second agent. Le composant que Nvidia met en avant est un superviseur qui observe la trajectoire globale de la recherche et pousse l’agent principal quand il tourne en rond, s’engage dans une impasse ou repasse par un chemin déjà exploré. Adel El Hallak, vice-président produit de la division IA de Nvidia, compare cette fonction à celle d’un patron qui recadre ; il ajoute que le reste du secteur continue de voir un agent comme une simple surcouche d’appel au modèle.
OpenAI en avait fait l’expérience avant Nvidia, à ses dépens. Fin juillet, le laboratoire a fait passer GPT-5.6 Sol de 13,3 % à 38,3 % sur ce même test en activant deux réglages de son API : conserver le raisonnement du modèle d’une action à la suivante au lieu de le jeter, et compacter le contexte plutôt que d’en couper le début. Le score reste loin des 100 %, mais le constat va dans le même sens, et il vient d’un laboratoire qui, lui, vend des poids.
Un score qui appartient à l’assemblage
Si un même jeu de poids rend 30 % ou 100 % selon la mécanique qui l’enveloppe, un chiffre de benchmark cesse d’être une propriété du modèle. Il devient une propriété de l’assemblage : modèle, outils, mémoire, supervision, budget de calcul. Les classements que vous lisez agrègent ces cinq variables et n’en étiquettent qu’une.
Le problème est pratique. Personne ne livre son harness avec son score : AVO reste la propriété de Nvidia, les réglages d’OpenAI aussi. Vous comparez donc des couples modèle-harness dont une moitié vous est cachée, pour en tirer une décision qui ne porte que sur l’autre moitié. Une étude Microsoft d’avril avait déjà montré le plancher : dix-neuf modèles de langage lâchés sur des tâches longues d’édition documentaire ont tous rendu des documents truffés d’erreurs, modèles de pointe compris. L’intelligence brute n’était pas en cause.
La conséquence pour une équipe est immédiate. Comparer deux modèles n’a de sens qu’à harness gelé : le vôtre, sur vos propres tâches. Et l’arbitrage budgétaire s’inverse : passer d’un modèle à son successeur rapporte quelques points, quand réécrire sa gestion de mémoire et ajouter une couche de supervision peut en rapporter cinquante.
L’intérêt du fabricant de GPU
Une réserve s’impose pourtant. Nvidia ne vend pas de poids. Il vend le silicium, le runtime, les bibliothèques et les briques logicielles qui composent précisément la couche dont il affirme qu’elle compte plus que le modèle. Un fournisseur qui déclasse la pièce des autres au profit de la sienne fait aussi son métier.
Cela n’invalide rien, et la partie la moins commentée de la publication est d’ailleurs la plus solide. Avant les jeux d’ARC-AGI-3, la même architecture a été lâchée sur l’optimisation de kernels GPU, ces routines de calcul exécutées sur le processeur graphique : sept jours de fonctionnement continu, plus de 500 pistes explorées, 40 versions retenues et intégrées au code. Les kernels d’attention obtenus gagnent jusqu’à 3,5 % sur cuDNN et 10,5 % sur FlashAttention-4, relevés sur des systèmes DGX B200. L’agent a ensuite porté son kernel vers une autre variante d’attention, la grouped-query attention, où plusieurs têtes de requête se partagent les mêmes clés et valeurs, en une trentaine de minutes. Des gains mesurés à l’exécution sur du code de production, pas un score de jeu.
Un second agent, une seconde facture
Un harness qui tient a un prix, et il se paie à l’usage. Un superviseur, c’est un agent de plus : des appels supplémentaires, des tokens supplémentaires, une facture qui grimpe tant que la tâche dure. Sept jours d’exécution autonome ne se comparent à aucun usage conversationnel. Nvidia précise par ailleurs que l’agent sous-jacent reste identique d’un domaine à l’autre, mais que les outils et l’évaluation, eux, sont spécifiques à l’environnement. La généralité annoncée porte sur la boucle, pas sur l’outillage : celui-là, vous devrez l’écrire.
C’est aussi la bonne façon de relire les incidents d’agents qui s’emballent, effacent des fichiers ou des bases entières, ou trichent pour atteindre leur objectif. On les impute d’ordinaire au modèle. Ils décrivent surtout un harness sans garde-fous, sans mémoire fiable et sans personne pour interrompre la boucle.
Changer de modèle se fait en une ligne de configuration. Construire une boucle qui se souvient, se corrige et se fait recadrer se conçoit, se teste et s’entretient. C’est dans cet écart que se logent les 70 points gagnés par Nvidia, et c’est le même écart qui sépare une démonstration parfaite d’un agent qui tient trois jours en production.
Mon avis
Un classement de modèles qui ne publie pas son harness ne vaut plus grand-chose comme aide à la décision, et je ne vois pas comment l’ignorer après avoir vu le même Opus 5 rendre 30 % puis 100 % sur le même test. J’attends des laboratoires qu’ils versent la boucle complète avec le score, sinon un benchmark redevient un argument commercial déguisé en mesure. Et je note que le premier à le dire tout haut est celui qui ne vend pas de poids : l’argument est juste et intéressé en même temps, ce qui n’arrive pas si souvent.
