L’essentiel
- Deux chercheurs, Ofengenden et Andriushchenko, ont testé Claude Code et Codex sur 200 tâches de la collection ProgramBench et 18 exercices maison, dans le cadre du programme de recherche MATS.
- Les deux assistants surestiment leur durée de travail : un facteur trois en moyenne pour le modèle qui pilote Claude Code, six à dix pour celui de Codex.
- Ils s’attribuent environ 20 points de plus que leur score réel, y compris sur des tâches ratées : 70 % de réussite estimée pour 7 % et 14,5 % obtenus.
- Doté d’un outil qui lui renvoie le temps écoulé, l’agent répond juste presque à chaque fois.
Demandez à Claude Code combien de temps lui prendra une tâche de programmation : il annoncera environ 90 minutes. Posez-lui la même question sur un exercice dix fois plus court, la réponse bouge à peine. Deux chercheurs viennent de mettre des chiffres sur cette étrangeté, et ils écornent au passage la promesse des agents autonomes.
90 minutes, quelle que soit la difficulté
Le protocole, mené par Ofengenden et Andriushchenko au sein du programme MATS (ML Alignment & Theory Scholars), se déroule en trois temps. Avant chaque tâche, l’agent estime la durée dont il aura besoin. Il travaille. Puis, une fois le travail rendu, il déclare combien de temps il pense y avoir passé. La matière : 200 tâches issues de la collection ProgramBench, complétées par une série maison de 18 exercices.
Sur ProgramBench, les deux assistants examinés, Claude Code chez Anthropic et Codex chez OpenAI, ont le plus souvent répondu autour de 90 minutes, sans que la difficulté de l’énoncé y change grand-chose. Une prévision qui ne bouge pas avec ce qu’on lui soumet n’estime rien : elle récite une valeur par défaut.
L’erreur explose sur les tâches courtes
Sur la seconde série, l’écart se laisse chiffrer. Le modèle qui pilote Claude Code, Fable 5, dépasse en moyenne d’un facteur trois la durée réellement consommée. Celui de Codex, GPT-5.6 Sol, tourne autour d’un facteur sept, dans une fourchette qui va de six à dix.
La répartition compte davantage que la moyenne. Les prévisions les plus fausses portent sur les tâches courtes ; les seules à s’approcher du réel concernent des travaux de plusieurs heures. La précision arrive donc là où l’on en a le moins besoin, et s’effondre sur le format qui compose l’essentiel d’une journée de travail : le correctif de dix minutes, le petit refactor, le test à réparer.
L’erreur va toujours dans le même sens. Une surestimation aussi constante ressemble à un biais installé, pas à du bruit de mesure : le modèle produit une durée plausible dans l’absolu, jamais une durée ancrée sur ce qu’il a sous les yeux.
Le harness pèse autant que le modèle
Un même modèle ne se comporte pas pareil selon la coquille logicielle qui l’exécute, ce que l’on appelle le harness. Claude Code poursuit jusqu’à ce qu’il juge la tâche terminée, avec des sessions de 85 minutes en moyenne. Codex s’arrête sous les 20 minutes, à peu près quel que soit le travail demandé. À modèle identique, l’étude relève 2,5 fois plus d’étapes exécutées dans Claude Code que dans Codex.
Ce facteur deux et demi sur le nombre d’étapes change la lecture de tous les classements d’agents. Quand un outil affiche une meilleure réussite, on ignore s’il raisonne mieux ou si son harness l’autorise simplement à insister plus longtemps. Pour une équipe, changer d’outil à modèle constant déplace la facture en tokens et le temps de cycle, avant même qu’on parle de qualité de code.
Des notes gonflées de 20 points
Le second volet de l’étude ne porte plus sur le temps, mais sur la note que l’agent se donne. Interrogés sur la qualité de leur propre production, les modèles de la génération précédente, Opus 4.8 et GPT-5.5, se sont attribué en moyenne 20 points de plus que leur score réel, y compris sur des tâches échouées.
Sur certaines tâches, les deux systèmes ont évalué leur réussite à environ 70 %, quand les scores mesurés s’établissaient à 7 % et 14,5 %. Un facteur cinq à dix, sur la seule question qui permettrait à un agent de décider s’il doit continuer, recommencer ou passer la main.
Les humains ne s’en tirent guère mieux : dans une étude de METR (Model Evaluation & Threat Research) sur des développeurs open source expérimentés, ceux-ci ont mis 19 % de temps en plus pour boucler leurs tickets avec l’IA, tout en restant persuadés, l’exercice terminé, d’avoir gagné 20 %. L’agent reproduit donc un angle mort que ses utilisateurs partagent.
Empilez les deux erreurs et vous obtenez le plafond de l’autonomie actuelle. Une consigne du type « travaille deux heures sur ce sujet » suppose deux compétences distinctes : savoir où l’on en est dans le temps, et savoir où l’on en est dans la qualité. Les agents testés échouent sur les deux, et rien dans leur comportement ne signale l’échec à l’humain qui supervise.
Une horloge suffit à rétablir la mesure
Le correctif ne réclame aucun progrès de modèle. Quand les chercheurs ont donné aux agents un outil renvoyant le temps écoulé, ceux-ci ont répondu juste presque à chaque fois. La défaillance relève de l’instrumentation bien plus que du raisonnement : personne ne demande à un modèle de compter les secondes de tête, on lui demande de consulter une horloge dont il ne dispose pas.
Trois gestes, dès maintenant, dans une équipe qui met ces agents en production :
- exposer systématiquement un outil de temps écoulé dans le harness, y compris pour les sessions courtes ;
- budgéter les travaux longs en étapes ou en tokens plutôt qu’en minutes, puisque la conversion dépend du harness autant que du modèle ;
- confier la note à un juge externe, tests automatisés ou relecture humaine, jamais à l’agent qui vient de rendre la copie.
Les auteurs annoncent la suite de leurs travaux : vérifier si un agent sait tenir une durée imposée. Leur réponse pèsera lourd sur l’argumentaire commercial du moment, celui des agents qui travaillent des heures sans supervision. D’ici là, mieux vaut s’en tenir à ceci : tout ce qu’un agent ne mesure pas, il l’invente, et il l’invente en sa faveur.
Mon avis
L’autonomie longue durée se gagnera dans la plomberie avant de se gagner dans les modèles. On célèbre les fenêtres de contexte et les points grappillés sur les benchmarks, pendant qu’un outil de dix lignes renvoyant l’heure corrige presque intégralement une défaillance qu’on présentait comme cognitive. J’attends la même démonstration sur deux autres grandeurs qu’aucun agent ne perçoit : les étapes qu’il a déjà tentées et le coût cumulé de sa session. Et je vois l’inverse de la mode actuelle : les prochains gains visibles en agentique viendront des harness, pas des poids des modèles.
