Artificial Analysis n’a pas attendu la version 5 de son Intelligence Index, en chantier depuis huit mois, pour retoucher sa mesure. La société a publié une version 4.2 intermédiaire, en expliquant que le sommet du classement bougeait trop vite pour laisser le barème en l’état. Le modèle qui bouscule ce sommet s’appelle GPT-6 Astra.
Nous racontions il y a peu, dans « GPT-6 Astra domine l’indice Epoch, tombe une fois sur douze », le paradoxe d’un modèle porté au sommet par certaines épreuves et pris en défaut par d’autres. La suite ne concerne plus le modèle, mais l’instrument qui le note.
Epoch et Artificial Analysis ne mesuraient pas la même chose
Epoch AI plaçait Astra premier sur 267 modèles, avec 169 points cumulés sur plus de cinquante épreuves. ARC-AGI-3 mesurait une progression forte, d’ampleur variable selon le harness, l’enveloppe technique qui fait tourner l’épreuve. Les évaluations menées par OpenAI allaient dans le même sens.
L’index d’Artificial Analysis, lui, donnait Astra à égalité stricte avec Sol, son prédécesseur. Même modèle, même période, deux verdicts opposés : un saut de génération d’un côté, un statu quo de l’autre.
Les deux instruments ne sont pas construits de la même façon. L’index d’Epoch fait passer une cinquantaine d’épreuves dans un modèle statistique de difficulté, calibré pour rester comparable même quand une épreuve sature ; celui d’Artificial Analysis additionne un panier de tests choisis, qu’il faut donc réviser quand ces tests vieillissent.
Deux tests entrent, GPQA-Diamond sort
La refonte touche d’abord le contenu de l’épreuve. AA-Briefcase, qui simule des projets de travail de bureau documentés, et GDP.pdf, fourni par Surge AI et consacré à l’analyse de documents PDF, rejoignent la batterie de tests. GPQA-Diamond en sort : ce questionnaire scientifique de niveau doctorat ne sépare plus personne, les modèles de pointe le résolvent tous.
La mécanique de notation change aussi. Les données de test privées pèsent maintenant 40 % de la pondération, le double de la version 4.1, de quoi compliquer l’optimisation ciblée sur des jeux d’épreuves connus. Artificial Analysis indique enfin avoir corrigé des erreurs et des ambiguïtés dans ses corrigés, et réajusté ses échelles pour stabiliser les résultats. Des scores publiés étaient donc faux, et personne ne sait combien de comparatifs les ont repris entre-temps.
Le classement mis à jour donne à Astra quatre points d’avance sur Sol, là où les deux modèles d’OpenAI étaient à égalité. Claude Fable 5.1 conserve la première place, Astra prend la deuxième, un modèle de Meta la troisième.
Un barème figé vieillit, un barème mobile brouille les trajectoires
Un classement doit tenir deux promesses difficiles à concilier. La comparabilité d’abord : un score de mars doit vouloir dire la même chose qu’un score de septembre, sinon aucune trajectoire n’est lisible. La fidélité ensuite : le barème doit capter ce que les modèles savent faire aujourd’hui, pas ce qu’ils savaient faire au moment où on l’a écrit.
Artificial Analysis assume avoir gelé ses mises à jour pendant les grosses sorties, pour protéger la comparabilité, puis avoir rompu ce gel parce que le haut du tableau se déplaçait trop vite. Le choix se défend. Il déplace pourtant la nature de la note : elle enregistre les progrès des modèles et, dans le même mouvement, les arbitrages méthodologiques de celui qui la publie.
Une mesure qu’on réécrit quand elle contredit les autres mesures prend le statut d’une position éditoriale. Argumentée, transparente sur ses changements, mais éditoriale.
Quatre points de plus, et toujours derrière Claude Fable 5.1
Après refonte, Astra gagne quatre points et reste deuxième. La révision a corrigé un écart de mesure, elle n’a pas modifié l’ordre d’arrivée. La contestation portait sur l’ampleur du progrès d’un modèle, pas sur la place de celui qui le devance, et cette place n’a pas bougé.
Les écarts qui comptent sont ailleurs dans les données publiées. Astra consomme moins de tokens par tâche, ces unités de texte que les fournisseurs facturent, que presque tous les autres modèles de pointe : la facture d’un usage industrialisé s’en ressent directement. Sur le rapport coût/performance, Anthropic, OpenAI, Meta et Zhipu AI se partagent la tête, quatre acteurs à égalité dont un chinois, sur le critère qui décide d’un budget.
Citer un score de l’Intelligence Index demande donc trois précautions :
- dater et versionner le chiffre : une note issue de la version 4.2 ne se compare pas à une note antérieure ;
- regarder le coût par tâche accomplie plutôt que la position au classement, l’écart de tokens consommés fait plus de différence qu’un point d’index ;
- rejouer deux ou trois tâches réelles de votre métier sur les modèles de tête, puisque les épreuves publiques ne les contiennent pas.
La version 5 se déploiera par étapes, avec le même risque de rupture de continuité. Quand elle arrivera, le déplacement du sommet mêlera deux mouvements : ce que les modèles ont gagné, et ce que le barème a changé. Séparer les deux sera l’essentiel du travail de lecture.
