L’essentiel
- Epoch AI attribue 169 points à GPT-6 Astra contre 163 à Fable 5.1 ; l’AA Intelligence Index inverse le verdict, 61 contre 66.
- Sur l’IPI Arena de Gray Swan, 1 810 attaques testées, Astra cède au moins une fois dans 8,5 % des scénarios, contre 4,8 % pour Claude Opus 5 et 27 % pour GPT-5.6 Sol.
- Les 99,9 % annoncés par OpenAI sur ARC-AGI-3 proviennent de son harnais maison ; sur celui d’ARC Prize, le score retombe à 62,7 %.
Epoch AI place GPT-6 Astra en tête de son indice, six points devant Fable 5.1. Artificial Analysis, qui évalue les mêmes modèles, inverse l’ordre et laisse Astra cinq points derrière. Aucun des deux instituts ne s’est trompé : ils ne pèsent pas les mêmes épreuves.
Astra domine les maths, Fable 5.1 tient la programmation
Sur l’Epoch Capabilities Index, Astra sort à 169 points, devant les 163 de Fable 5.1 et les 162 d’Opus 5 comme de GPT-5.6 Sol. Sur l’AA Intelligence Index, le même modèle stagne à 61, au niveau exact de son prédécesseur, quand Fable 5.1 monte à 66 et Opus 5 à 63.
Le détail d’Epoch éclaire l’écart. Astra domine les mathématiques, la connaissance et les casse-tête visuels, avec 95 % sur ARC-AGI-2 contre 90 % à Fable 5.1. Fable 5.1, lui, tient presque tous les tests de programmation. Or Epoch n’a pour l’instant enregistré qu’un seul score de code pour Astra, obtenu à un niveau de raisonnement moyen.
Une mesure unique, à un réglage donné, ne pèse pas comme une moyenne sur une batterie complète. Sur le Coding Agent Index, Astra atteint 67 points quand Fable 5.1 mène à 70 : l’écart de cinq points entre les indices généralistes se réduit à trois sur l’épreuve qui intéresse un développeur. Le tableau a aussi ses zones rouges, rarement citées, dont environ 80 points Elo perdus sur GDPval-AA v2, un recul sur SciCode, sur le support bancaire et sur le raisonnement à contexte long. Le taux d’hallucination mesuré par AA-Omniscience, en revanche, tombe de 92 à 51 %.
Le harnais de test pèse autant que le modèle
ARC-AGI-3 fournit le cas d’école. L’épreuve lâche un modèle dans des univers de jeu dont personne ne lui explique les règles ni l’objectif : il doit les deviner par tâtonnements. Astra y obtient 62,7 %, pour un coût de test d’environ 26 000 dollars. Son prédécesseur plafonnait à 7,78 %, Claude Opus 5 à 30,16 %.
OpenAI a pourtant communiqué 99,9 % sur cette même épreuve. Le chiffre est exact, dans d’autres conditions. Astra tournait sur le harnais maison de l’éditeur, le dispositif logiciel qui pilote le modèle pendant l’épreuve : celui-ci conserve les chaînes de raisonnement d’une requête à l’autre et résume automatiquement les longues sessions. Sur 167 paires jeu-raisonnement résolues par les deux dispositifs, celles du harnais maison allaient 3,66 fois plus vite en consommant 49 % de tokens en moins. ARC Prize ne retient que les 62,7 % de son harnais interne, seul terrain qui autorise une comparaison honnête entre éditeurs.
Même logique sur FrontierMath Erdős. Astra est le seul modèle à avoir résolu deux des 68 problèmes ouverts avec des preuves vérifiées en Lean, un langage de preuve formelle, sur un budget de 300 dollars par tentative. Trois autres solutions sont sorties d’exécutions non standardisées ayant brûlé plus de 220 000 dollars de calcul. Epoch ne les compte pas. La performance existe, le protocole décide si elle est publiable.
Le coût par tâche renverse une partie du classement
Astra coûte 10 dollars par million de tokens en entrée et 50 en sortie, contre 5 et 30 pour Sol : le double du tarif d’entrée, deux tiers de plus en sortie, environ 75 % de plus par tâche. Face à Anthropic, le rapport s’inverse. À score de programmation voisin de celui de Fable 5.1 selon Artificial Analysis, Astra revient à moins de la moitié du coût par tâche, parce qu’il consomme un tiers des étapes de calcul de Fable 5.1 et un cinquième de celles d’Opus 5.
Simon Willison l’a vérifié à son échelle, en faisant générer des pélicans à bicyclette en SVG, un format d’image vectorielle, à tous les niveaux de raisonnement : le réglage bas d’Astra produit un meilleur résultat que n’importe quel réglage de Sol, pour 9,55 cents. Le progrès de cette génération de modèles tient à cette efficacité plus qu’au score brut. OpenAI met de son côté en avant 75,2 % sur DeepSWE v1.1, obtenus au réglage de raisonnement maximal (xhigh), que peu d’usages en production peuvent se payer.
La défense à 99,99 % ne couvre que l’attaque frontale
Sur les injections directes, où l’utilisateur tente de manipuler le modèle par sa propre requête, OpenAI revendique un taux de défense de 99,99 %. L’éditeur l’attribue à GPT-Red, une méthode d’entraînement qui oppose au modèle un attaquant automatisé. Sur un jeu figé de jailbreaks touchant à la biologie, à la violence et à la cybersécurité, Astra refuse d’aider dans 91,5 à 98,3 % des cas.
Face à des adversaires qui adaptent leur stratégie au fil de la conversation, en revanche, la défense retombe autour de 67 % : environ une tentative persistante sur trois finit par arracher une réponse problématique. Les générations précédentes tenaient juste sous les 50 %, le progrès est réel. Ces essais portent sur le modèle nu, sans les classificateurs, ces filtres automatiques placés devant le modèle, qui accompagnent le produit livré.
Un scénario sur douze suffit à faire dérailler l’agent
Reste l’injection indirecte, celle qui compte pour un agent autonome : l’instruction hostile est enfouie dans un document que le modèle lit. Gray Swan a passé 1 810 attaques de ce type, sélectionnées dans son IPI Arena, avec quinze tentatives par scénario. Astra cède au moins une fois dans 8,5 % des scénarios. GPT-5.6 Sol tombait dans 27 % des cas, Claude Opus 5 dans 4,8 %.
Anthropic avait auparavant annoncé 2 %, sur le seul lot Q1, plus facile, et avec le raisonnement étendu activé sur tous les modèles. Les chiffres cités ici couvrent Q1 et Q2, et remontent donc mécaniquement. La leçon vaut pour les deux camps : un pourcentage de sécurité sans son protocole ne vous apprend rien.
Rapportez ce taux de 8,5 % à une journée d’exploitation. Un agent qui trie des tickets, lit des PDF fournisseurs ou parcourt des pages web enchaîne des milliers de lectures par jour, sans humain derrière. À ce volume, un scénario piégé sur douze produit plusieurs dérapages quotidiens que personne ne voit passer. Opus 5 tient mieux, à un sur vingt et un, sans être invulnérable pour autant.
Epoch et Artificial Analysis se départageront à la prochaine mise à jour, quand les scores de programmation d’Astra seront complets. Le taux de compromission, lui, ne bougera qu’avec une nouvelle version du modèle ou une couche de filtrage devant. C’est le chiffre à réclamer à un fournisseur avant de brancher un agent sur une boîte mail ou un dépôt de documents.
Mon avis
Je ne choisirai pas un modèle d’agent sur l’Epoch Capabilities Index, et personne d’exposé à la production ne devrait. Entre 8,5 % et 4,8 % de scénarios compromis, il y a un facteur deux sur le risque d’exfiltration, et aucun point d’indice généraliste ne le rachète. Tant que les éditeurs publieront leurs chiffres de sécurité avec leur propre protocole et leur propre harnais, la seule mesure exploitable restera celle d’un tiers qui teste tout le monde à conditions égales. Gray Swan pèse aujourd’hui plus lourd dans mes arbitrages de déploiement qu’un classement de capacités.
