L’essentiel
- Claude Opus 5 prend la tête de l’index Intelligence d’Artificial Analysis avec 61 points, devant Claude Fable 5 (60) et GPT-5.6 Sol (59).
- La tâche moyenne de cet index revient à 2,03 dollars avec Opus 5 contre 2,75 avec Fable 5, dont les tarifs au token sont le double (10 et 50 dollars le million contre 5 et 25).
- Sur Vibe Code Bench, mesuré par Vals.ai, le palier d’effort « high » atteint 89,8 % et devance « xhigh » (88,3 %) et « max » (88,4 %), pourtant bien plus chers.
- Le taux d’hallucination mesuré par AA-Omniscience grimpe de 14 points, à 50 %.
Artificial Analysis a fini de mesurer Claude Opus 5 : 61 points sur son index Intelligence, contre 60 pour Claude Fable 5 et 59 pour GPT-5.6 Sol. L’écart tient dans l’épaisseur du trait. Celui des factures est bien plus net : 2,03 dollars la tâche contre 2,75.
Il y a quelques jours, nous racontions ici comment Anthropic avait durci Claude Opus 5 contre l’injection de prompt. Le blindage était l’argument de lancement. Depuis, trois évaluateurs indépendants ont rendu leurs mesures, et la discussion s’est déplacée sur un terrain nettement plus prosaïque : combien coûte un point d’intelligence, et à quel palier d’effort on l’achète.
Comment se fabrique le 61 de l’index
L’index Intelligence d’Artificial Analysis agrège neuf épreuves couvrant le travail de connaissance, la programmation, le raisonnement scientifique et l’exactitude factuelle. Le score final est une moyenne, avec ce que cela suppose de compensations internes : on peut prendre la tête en excellant sur trois tests et en se rattrapant ailleurs.
Derrière Opus 5 et Fable 5, les écarts se comptent en unités : GPT-5.6 Sol à 59, Kimi K3 à 57, Opus 4.8 à 56. Cinq points séparent le premier du cinquième. Une précision compte ici : Artificial Analysis a travaillé avec Anthropic pour évaluer le modèle avant sa sortie publique. Cet accès anticipé n’invalide pas la mesure, il mérite d’être gardé en tête.
Changez de juge, changez de podium. Epoch AI attribue à Opus 5 un score global de 159, sous les 161 de Fable 5, et place GPT-5.6 Sol en tête de ses deux classements. Sur le seul volet ingénierie logicielle, en revanche, Opus 5 et Fable 5 se retrouvent à égalité, à 161. Le vainqueur dépend donc du panier d’épreuves retenu, et cinq points d’écart en haut de tableau laissent peu de marge à ce genre de choix.
Un coût par tâche à 2,03 dollars, verbosité comprise
Les tarifs affichés sont limpides : 5 dollars le million de tokens en entrée, ces unités de texte que le modèle facture à la pièce, 25 en sortie, soit exactement la moitié de Fable 5 (10 et 50). Les lectures de cache tombent à 0,50 dollar contre 1. La fenêtre de contexte reste à un million de tokens, au même prix qu’Opus 4.8.
Le tarif affiché ne suffit pourtant pas à faire la facture. Le cas Opus 4.7 l’avait déjà montré : à tarif identique, il revenait 30 à 40 % plus cher par tâche qu’Opus 4.6, simplement parce qu’il consommait davantage de tokens pour arriver au même endroit. D’où l’intérêt du coût moyen par tâche : il intègre la verbosité du modèle, là où le prix au million la masque complètement.
Replacé dans la gamme Anthropic, ce coût de 2,03 dollars perd d’ailleurs de sa superbe. Opus 4.8 tourne à 1,80 dollar, Sonnet 5 à 1,53 : sur la moyenne tous paliers confondus, Opus 5 reste le plus cher des trois modèles. Son avantage apparaît aux paliers « high » et « xhigh », où il fait mieux que les deux autres pour moins cher. Ajoutez le Fast Mode, qui multiplie la vitesse par 2,5 et double la facture : à ce réglage, l’économie annoncée face à Fable 5 s’évapore.
Quand payer plus fait baisser le score
Vals.ai a testé les cinq paliers d’effort d’Opus 5 sur Vibe Code Bench, une épreuve de programmation. La courbe monte de 76,7 % en « low » à 82 % en « medium », culmine à 89,8 % en « high », puis redescend : 88,3 % en « xhigh », 88,4 % en « max », pour un coût nettement supérieur.
L’explication avancée par Vals.ai est plus intéressante que le chiffre. Aux paliers hauts, le modèle produit des solutions plus complexes, qui contiennent plus souvent des erreurs. En « high », il écrit plus simple et remplit le cahier des charges plus régulièrement. Terminal-Bench 2.1 dessine le même profil, avec « high » devant « max ».
Anthropic ne dit pas autre chose. Ses propres graphiques placent « max » en léger retrait de « xhigh » sur Frontier-Bench v0.1 comme sur l’index Coding Agent d’Artificial Analysis, et son guide de prompting invite à recourir largement à « low » et « medium », en réservant « xhigh » aux tâches de programmation et d’agents. Le curseur de raisonnement se règle, il ne se pousse pas à fond par confort.
L’exactitude progresse, les hallucinations aussi
Sur AA-Omniscience, qui mesure la justesse des affirmations d’un modèle, Opus 5 gagne 7 points sur Opus 4.8 mais reste derrière Fable 5. Surtout, il répond plus souvent quand il est incertain : son taux d’hallucination grimpe de 14 points, à 50 %.
Ce chiffre-là ne pèse presque rien dans une moyenne à neuf composantes. Il pèse lourd dans un agent qui enchaîne quarante appels : une affirmation fausse au troisième pas contamine les trente-sept suivants, et le coût des reprises n’apparaît sur aucune grille tarifaire. Même prudence côté sciences, où Opus 5 égale Fable 5 sur Humanity’s Last Exam (53 %) mais reste derrière trois modèles d’OpenAI sur CritPt, l’épreuve de physique montée par des chercheurs d’Argonne National Laboratory et de l’université de l’Illinois.
Régler le palier avant de changer de modèle
Pour une équipe technique, le premier levier de coût se règle désormais à l’intérieur du modèle, palier par palier, avant tout arbitrage entre modèles. Le réglage n’a d’ailleurs rien de propre à Anthropic : OpenAI expose la même échelle de « low » à « max » sur GPT-5.6, où l’effort demandé sert de plafond et non de plancher, et Google a troqué le budget de réflexion en tokens de Gemini 2.5 contre un simple niveau à choisir sur Gemini 3. Entre « low » et « max », la facture change d’ordre de grandeur, et le meilleur score n’est pas au sommet.
Mesurez donc vos propres tâches palier par palier plutôt que de recopier les recommandations générales : les épreuves publiques évaluent du code court et autonome, rarement votre code existant. Verrouillez ensuite le palier retenu dans la configuration de vos agents, et suivez le nombre de reprises avec autant d’attention que le coût par appel.
Une question demeure, du côté des évaluateurs cette fois. Si la compétition se joue au coût par point, un classement à une colonne ne suffit plus : il faudra des courbes coût/qualité par palier, publiées systématiquement. Artificial Analysis s’y met, Anthropic aussi dans ses propres graphiques. Le lecteur pressé, lui, retiendra encore le 61.
Mon avis
Le 61 de l’index ne changera aucune décision technique dans les six mois qui viennent ; la courbe de Vals.ai, elle, en change une immédiatement. Un modèle dont le palier le plus cher travaille moins bien que le palier médian nous dit que la profondeur de raisonnement s’accorde à la tâche au lieu de se maximiser, et personne n’outille sérieusement cet arbitrage aujourd’hui. Je vois là le chantier des prochains mois : un routeur qui envoie chaque appel vers le palier juste suffisant, mesuré sur les tâches réelles de l’entreprise. Celui qui livrera cette brique captera plus de valeur que celui qui gagnera un point d’index.
