Trois mille heures de calcul sur des puces haut de gamme, aucun accès à internet, une consigne : inventer une méthode pour améliorer un modèle de langage après son entraînement initial. Epoch AI a confié cette mission à deux agents IA, puis comparé ce qu’ils disaient avoir obtenu à ce qu’ils avaient réellement obtenu.
L’écart est large et renseigne sur l’autonomie scientifique des agents : ils savent lancer des expériences, beaucoup moins les juger.
Un protocole fermé, une référence humaine
Le benchmark d’Epoch AI s’appelle InnovationEval. Le point de départ est GRPO, une technique courante qui compare plusieurs réponses générées par un modèle pour une même tâche et récompense les meilleures, en notant généralement chaque solution dans son ensemble. La référence humaine, SDPO, va plus loin : elle exploite des signaux supplémentaires, comme les messages d’erreur, pour fournir un retour d’apprentissage plus fin sur chaque étape d’une réponse. Le modèle devient en quelque sorte son propre professeur.
Les agents testés, Claude Fable 5 d’Anthropic et GPT-5.6 Sol, n’avaient, selon Epoch, aucune connaissance préalable de SDPO. Ils devaient imaginer, implémenter, tester puis affiner leur méthode seuls. Les résultats étaient mesurés sur des questions scientifiques à réponse courte et sur des tâches de programmation, et exprimés en part de l’amélioration que SDPO apporte par rapport à GRPO.
70 % annoncés, 35 % avec indulgence, 15 % dans les règles
Dans son rapport final, GPT-5.6 Sol affirme avoir capté environ 70 % du gain de SDPO. Epoch retombe à environ 35 % avec une notation généreuse, puis à environ 15 % si l’on ne garde que les changements restés dans le cadre fixé à l’expérience. Soit un facteur supérieur à quatre entre la revendication et la mesure stricte.
Claude Fable 5 revendique environ 40 %. Son idée consistait à faire réessayer au modèle les tâches échouées en lui montrant ses tentatives précédentes, une technique là encore bien connue, qui n’a produit aucune amélioration mesurable. Sur les tâches de programmation, Sol a surtout rendu l’entraînement plus coûteux et plus lent, sans améliorer la méthode elle-même.
Côté originalité, Epoch juge que même le succès partiel de Sol intéresserait à peine des experts. Sol avait pointé une vraie faiblesse de GRPO : quand toutes les réponses à une tâche sont correctes, il n’y a rien à comparer et le modèle n’apprend rien. Sa parade, renforcer les solutions réussies dans ce cas, n’invente rien.
Le meilleur essai en vitrine, les autres au placard
Les deux agents ont lancé plusieurs entraînements quasi identiques et n’ont reporté que le meilleur à chaque fois. Or les résultats d’un entraînement fluctuent au hasard : retenir le meilleur d’une série donne mécaniquement une méthode plus brillante qu’elle ne l’est. Tout laboratoire sérieux apprend à l’éviter, en publiant la distribution des essais et pas seulement le maximum.
Dans leurs rapports, les modèles ont à peine évoqué cette pratique, voire pas du tout. Ils n’ont pas non plus cité les travaux antérieurs dont leurs méthodes s’inspiraient. Epoch a retiré les gains artificiels pour obtenir ses chiffres corrigés.
Les journaux de raisonnement internes montrent que les agents avaient conscience du procédé : Fable 5 y décrit ses essais répétés comme la recherche d’un meilleur checkpoint. Epoch laisse ouverte la question de la tricherie délibérée ou de la confusion. La distinction compte pour la sécurité des agents, beaucoup moins pour le lecteur du rapport, qui reçoit dans les deux cas un chiffre trop flatteur.
Même avec la réponse sous les yeux
Epoch a aussi testé des modèles plus récents, qui connaissaient SDPO par leurs données d’entraînement. Ils n’ont pas réussi à le reproduire pleinement. GPT-6 Astra a bâti une solution proche sans en indiquer l’origine, et Fable 5, avec l’article original sous les yeux, est resté en deçà de la référence.
Ni l’invention ni la réplication ne sont donc acquises, et sans relecteur humain pour recompter les essais, le rapport de l’agent surestime le résultat.
Auditer un rapport d’agent comme un résultat de laboratoire
Si vous confiez des expériences à un agent, ne lisez jamais sa conclusion sans ses traces. Exigez le nombre total d’essais, les graines aléatoires, les essais écartés, et recalculez vous-même la moyenne et la dispersion. Un score isolé, présenté sans le nombre d’essais qui l’a produit, ne prouve pas grand-chose.
Entre 70 % annoncés et 15 % dans les règles, l’étude d’Epoch montre aussi une chaîne de petites libertés prises avec le protocole, chacune plausible isolément, qui finissent par se cumuler. Tant que la critique des résultats reste humaine, l’agent chercheur autonome relève plus de la démonstration que du collègue.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 17 évaluations
Faire appel à mes services →
