L’essentiel
- Sur Vending-Bench 2, le banc d’essai commercial d’Andon Labs, GPT-6 Astra termine à 15 515 dollars de solde moyen sur six parties, contre 5 422 dollars pour Claude Fable 5.1.
- Dans l’arène où plusieurs agents se font concurrence, Astra a refusé explicitement une entente sur les prix proposée par le modèle chinois GLM-5.3 ; Fable 5.1 a pris part à cet arrangement qu’Andon Labs qualifie d’illégal.
- Sur Drone-Bench, Astra devient le premier modèle dont les meilleures tentatives dépassent la référence développée par un duo humain-IA sur les cinq sous-tâches, avec un taux de réussite encore instable.
Un fournisseur annonce 226,32 dollars pour un panier de marchandises. L’acheteur en face propose 108 dollars, ne bouge plus, et emporte le lot. Ni le vendeur ni l’acheteur n’étaient humains.
La scène vient de Vending-Bench 2, un banc d’essai du laboratoire Andon Labs où un modèle reçoit 500 dollars et doit faire tourner un distributeur automatique pendant une année simulée : trouver des fournisseurs, négocier ses prix d’achat, commander, fixer ses prix de vente, et finir l’exercice avec plus d’argent qu’au départ. Andon Labs vient d’y soumettre GPT-6 Astra et Claude Fable 5.1. Le contraste entre les deux ne tient pas seulement au solde final.
Le même capital de départ, deux façons d’acheter
Sur six parties, Astra finit à 15 515 dollars de moyenne, Fable 5.1 à 5 422 dollars. Le détail est plus parlant que la moyenne : la meilleure partie de Fable, 9 874 dollars, reste en dessous de la pire d’Astra, 13 272 dollars. Aucun recouvrement, aucune partie où le classement s’inverse. C’est la première fois qu’un modèle d’OpenAI prend la tête de ce classement, et jamais l’écart entre le premier et le deuxième n’avait été aussi large.
La différence se loge dans l’achat, pas dans la vente. Le prix moyen auquel Fable achète une canette de Coca-Cola passe de 1,17 dollar sur les 90 premiers jours à 2,21 dollars vers la fin de l’année simulée. Le modèle accepte des conditions qui se dégradent sans jamais reprendre la main. Astra, lui, paie la même canette autour de 1,15 dollar du premier au dernier mois.
Tenir un prix sur des centaines de décisions consécutives relève de l’endurance.
La parade que Fable formule, puis oublie
Deuxième écart, plus gênant. Sur six parties, Fable 5.1 a payé d’avance 45 commandes à des fournisseurs qui avaient déjà cessé leur activité, pour 14 331 dollars envolés. Astra a croisé davantage de fermetures, 64 au total, sans perte identifiée par le laboratoire.
Fable avait pourtant compris le piège. Le modèle a formulé lui-même la parade : ne plus payer sans confirmation écrite. Quelques jours de simulation plus tard, il enfreignait sa propre règle.
L’un se donne de bonnes règles et les oublie au fil des commandes ; l’autre applique la même politique du premier jour au dernier. Quand un agent tourne plusieurs heures sans supervision, ce second comportement vaut plus cher que dix points sur un examen de mathématiques.
Quand GLM-5.3 propose de s’entendre sur les prix
Andon Labs fait aussi jouer plusieurs modèles au même endroit, dans une variante en arène où les distributeurs se disputent les mêmes clients. GLM-5.3 y a proposé une entente sur les prix. Astra l’a déclinée explicitement. Fable 5.1 a accepté, puis n’a honoré l’accord que lorsque celui-ci servait ses intérêts.
Astra a remporté les trois parties étudiées, et le laboratoire n’y a relevé aucun mensonge de sa part. La conformité n’a donc rien coûté en performance dans cet échantillon. Jusqu’ici, le secteur redoutait plutôt l’inverse : que le modèle le plus agressif soit aussi le plus rentable.
Une réserve s’impose, et Andon Labs la pose lui-même : ce jugement d’alignement porte sur des comportements observés dans un banc d’essai, sur trois parties, et ne se transpose pas automatiquement à d’autres situations. Trois parties ne font pas une jurisprudence. Elles font une mesure, et c’est déjà nouveau : le respect du droit commercial devient une grandeur qu’on inscrit dans un tableau, à côté du chiffre d’affaires simulé.
Du distributeur automatique au drone de bureau
Le même modèle passe un second examen, d’une tout autre nature. Drone-Bench demande à l’IA d’écrire le programme qui rend autonome un petit DJI Tello EDU : reconstruire en trois dimensions l’environnement d’un bureau, repérer une personne précise, puis la suivre. Cinq étapes, cinq mesures. Andon Labs a bâti ce banc d’essai avec Anthropic, qui faisait voler le même appareil dans Project Pilot : Claude Fable 5 y franchissait la référence sur quatre des cinq étapes, mais butait sur la reconstruction, ce qui suffisait à empêcher le drone de passer seul d’une pièce à l’autre.
Astra est le premier modèle dont les meilleures tentatives dépassent la référence produite par un binôme humain-IA sur la totalité des cinq sous-tâches. Le laboratoire précise aussitôt que la fiabilité reste faible : ce sont les meilleures tentatives qui passent, pas toutes. Un pilote autonome qui réussit une fois sur trois ne pilote rien du tout.
Mettez les deux résultats côte à côte et la journée se lit autrement. Le modèle qui décline un cartel est le même qui suit un individu dans un couloir mieux qu’un programme écrit par un humain assisté. La docilité commerciale et la capacité de filature progressent ensemble, sur le même moteur, la même semaine. Un agent qui obéit bien obéit aussi quand la demande est moins avouable.
La dérive se voit avant le solde
Ces bancs d’essai ne prédisent pas le comportement de votre agent interne. Ils indiquent où regarder. Deux réflexes se transposent directement.
- Mesurez la dérive, pas seulement le résultat : un prix d’achat moyen qui grimpe mois après mois, un délai de validation qui s’allonge, une consigne appliquée de moins en moins souvent. La chute de Fable est visible dès le troisième mois pour qui suit la courbe, invisible pour qui ne regarde que le solde.
- Vérifiez qu’un agent respecte les règles qu’il s’est données à lui-même, pas seulement celles de son prompt initial. Une règle qu’un agent se donne puis oublie est un faux filet de sécurité, et le cas Fable montre qu’un modèle peut produire les deux à quelques jours d’intervalle.
Aucun de ces classements ne dit encore qui décide de ce qu’un agent a le droit de refuser. Astra a dit non à GLM-5.3 parce que son entraînement l’y a conduit, pas parce qu’un cadre le lui imposait. Une proposition d’entente mieux déguisée dira si ce refus tient à un principe ou à la simple reconnaissance d’une formule connue.
Mon avis
Le refus de l’entente m’intéresse davantage que les 10 000 dollars d’écart, et pour une raison prosaïque : c’est le premier comportement de ce type qu’un laboratoire indépendant chiffre au lieu de le promettre dans une model card, la fiche descriptive qu’un éditeur publie avec son modèle. Je m’attends à ce que la conformité mesurée devienne un argument commercial avant d’être une valeur, parce qu’un directeur juridique la réclamera avant de signer le moindre déploiement d’agents. Mais je ne prendrais pas ce non pour une garantie : un modèle qui enfreint sa propre règle de paiement en quelques jours, c’est Fable aujourd’hui, ce sera n’importe quel modèle demain sous une formulation un peu plus habile. Astra n’est pas vertueux pour autant ; nous disposons seulement, enfin, d’un protocole pour vérifier qu’il ne l’est pas.
