Anthropic durcit Claude Opus 5 contre l’injection de prompt

Logo de Claude et mention Claude Opus 5, le nouveau modele d'Anthropic

L’essentiel

  • Claude Opus 5 est disponible depuis le 24 juillet sur tous les plans payants et l’API Claude, au tarif d’Opus 4.8 : 5 dollars par million de tokens en entrée, 25 en sortie.
  • Anthropic revendique 43,3 % sur Frontier-Bench v0.1 (contre 21,1 % pour Opus 4.8) et 30,2 % sur ARC-AGI-3, où Opus 4.8 plafonnait à 1,5 %.
  • Boris Cherny, de l’équipe Claude Code, pointe un passage enterré page 73 du system card : Opus 5 serait le modèle le plus difficile à détourner par injection de prompt publié par Anthropic.
  • Côté agents : cinq niveaux d’effort, ajout ou retrait d’outils en cours de conversation sans invalider le cache, routage de secours quand le classificateur bloque une requête.

Un agent qui tourne pendant deux heures finit toujours par croiser ce qu’il n’avait pas prévu : une page web qui lui glisse un ordre, un outil qui disparaît en route, une boucle de raisonnement qui s’emballe. Anthropic a mis Claude Opus 5 en ligne le 24 juillet, sur tous les plans payants et sur son API. Trois pièces de plomberie décident du sort d’un tel agent, et elles pèsent au moins autant que la ligne de records : la résistance aux instructions piégées, le dosage de la réflexion, la gestion du cache.

Une consigne hostile glissée dans les données

Imaginez un assistant à qui vous confiez votre courrier. Il lit tout, y compris une lettre rédigée pour se faire passer pour une consigne de votre part, et il l’exécute. Une injection de prompt, c’est exactement cela : une instruction hostile glissée dans les données que le modèle consulte (une page web, un ticket, un fichier de dépôt) et qu’il traite comme un ordre légitime.

Dans une simple conversation, le risque reste largement théorique. Sur un agent qui navigue, lit des sources, écrit des fichiers et lance des commandes, chaque donnée entrante devient une porte d’entrée. Le nombre de portes croît avec la durée de la tâche.

D’où le commentaire de Boris Cherny, de l’équipe Claude Code. Plutôt que les résultats d’évaluation, il met en avant un passage discret, page 73 du system card, le rapport technique publié avec le modèle. À travers les évaluations d’injection et les campagnes de red teaming (des attaques menées volontairement contre le modèle pour en trouver les failles), Opus 5 serait le modèle le plus dur à détourner qu’Anthropic ait mis sur le marché. La phrase ne promet aucune invulnérabilité. Elle déplace un curseur, et elle donne à Anthropic un argument commercial qui n’existait pas il y a un an.

Une pièce mécanique reconstruite sans jamais voir le plan

Les chiffres, eux, restent spectaculaires. Sur Frontier-Bench v0.1, qui mesure le développement agentique dans un terminal, Opus 5 atteint 43,3 %, devant Fable 5 (33,7 %), GPT-5.6 Sol (34,4 %) et son prédécesseur Opus 4.8 (21,1 %). Sur GDPval-AA v2, consacré au travail intellectuel, il mène avec un score Elo de 1 861 (l’Elo classe les modèles par duels successifs, comme aux échecs). Sur le benchmark ARC-AGI-3, qui teste la résolution de problèmes inédits, il passe de 1,5 % à 30,2 %.

Regardez pourtant l’exemple que l’éditeur choisit pour illustrer son modèle. Une tâche demande de reconstruire une pièce mécanique en 3D à partir d’un plan que le modèle n’a, volontairement, aucun moyen de regarder. Opus 5 écrit alors sa propre chaîne de vision par ordinateur pour extraire la géométrie des pixels bruts, puis reconstruit la pièce entière. Anthropic précise qu’aucun modèle concurrent n’y est parvenu dans le même dispositif, en cinq tentatives.

L’exploit tient à un enchaînement banal : vérifier son travail, constater l’échec, changer de méthode, recommencer. C’est très exactement la qualité qui manque à un agent quand il déraille au bout de vingt minutes.

Cinq crans d’effort, dont un qui fait baisser le score

Deuxième pièce du dispositif : l’effort, réglable sur cinq crans (low, medium, high, xhigh, max). Le principe revient à décider combien de fois le modèle relit sa copie avant de la rendre. Anthropic recommande d’utiliser largement low et medium, qui produisent de bons résultats pour une fraction des tokens et de la latence, et de ne monter à xhigh que pour le développement exigeant et les tâches agentiques. Dans Claude Code, le niveau par défaut est high.

Le cinquième cran, lui, réserve une surprise. Sur Frontier-Bench v0.1 comme sur l’index de programmation agentique d’Artificial Analysis, le score d’Opus 5 recule légèrement au niveau max, alors que la facture grimpe. Payer plus de réflexion peut donc dégrader le résultat. Calibrez par type de tâche, ne poussez pas le curseur par principe.

Sur les tarifs, rien ne bouge : 5 dollars par million de tokens en entrée et 25 en sortie, comme Opus 4.8, contre 10 et 50 pour Fable 5. La fenêtre de contexte d’un million de tokens est inchangée, et un mode rapide reste proposé, environ 2,5 fois plus vite pour le double du prix de base. Attention toutefois au raccourci : le prix au token ne dit pas le coût par tâche. Des comparaisons publiées dans la presse rappellent qu’Opus 4.7 avait fini par coûter 30 à 40 % de plus par tâche qu’Opus 4.6, à tarif de base identique, par pure inefficacité en tokens.

Ajouter un outil sans jeter le cache de prompt

Troisième pièce, la plus technique et sans doute la plus utile. Sur la plateforme Claude, Opus 5 accepte l’ajout ou le retrait d’outils en pleine conversation sans invalider le cache de prompt. Rappel du mécanisme : le cache mémorise le début figé de l’échange (instructions système, définitions d’outils) pour ne pas le refacturer à chaque tour, à 0,50 dollar par million de tokens au lieu de 5. Modifier la liste d’outils cassait jusqu’ici ce préfixe et remettait le compteur à zéro, comme si un assistant devait refaire toutes les présentations dès qu’un collègue entre dans la salle.

Pour un agent long, la conséquence est structurante : on peut restreindre la boîte à outils étape par étape, ce qui réduit les erreurs de sélection, sans payer la réécriture du contexte. S’y ajoute un routage de secours lorsqu’une requête est bloquée par le classificateur, et un chemin de migration : la commande /claude-api migrate dans Claude Code met à jour les chaînes de modèles et suggère des ajustements de prompt. Anthropic a publié un guide de prompting dédié, complété par les nouvelles règles d’ingénierie de contexte signées Thariq Shihipar.

Là où Fable 5 et GPT-5.6 Sol gardent l’avantage

Tous ces résultats sont maison, et le modèle ne gagne pas partout. Sur DeepSWE v1.1, qui mesure la résolution de tickets logiciels réels, GPT-5.6 Sol garde la tête avec 72,7 %, devant Fable 5 (69,7 %) et Opus 5 (68,8 %). Sur les tâches de santé et sur les évaluations juridiques, Fable 5 et Mythos 5 conservent l’avantage. En cybersécurité, Anthropic assume un choix : Opus 5 n’a pas été entraîné sur ces tâches. Il progresse quand même à la détection de vulnérabilités, jusqu’à s’approcher de Mythos 5, mais reste nettement derrière dès qu’il s’agit de transformer une faille en exploit fonctionnel.

La robustesse à l’injection, elle, n’a aucun équivalent public : on la lit dans un system card, pas dans un classement comparatif. Le jour où ce taux figurera dans les classements, à côté des scores de développement, choisir un modèle pour un agent long changera de critère.

Mon avis

Un modèle se vendra bientôt sur son taux de dérive après huit heures d’exécution, autant que sur son score de développement. J’attends donc d’Anthropic qu’elle sorte la résistance à l’injection de la page 73 de son system card pour la mettre sur la fiche produit, avec un protocole reproductible : sans cela, « le moins injectable » reste une affirmation d’éditeur, invérifiable de l’extérieur. Et sur le terrain, testez Opus 5 en medium avant de monter en xhigh : la baisse de score au niveau max est le signal le plus intéressant de cette sortie, parce qu’elle démolit l’idée qu’il suffit de payer plus pour raisonner mieux.

Sources

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *