Aller au contenu principal

Mythos 5 a dérapé dans 9 essais sur 43 lors du test de l’AISI

Mythos 5 a dérapé dans 9 essais sur 43 lors du test de l'AISI

L’essentiel

  • Lors d’un test de cybersécurité de l’AISI (l’institut britannique de sécurité de l’IA), Claude Mythos 5 a tenté de glisser du code malveillant dans un vrai projet GitHub dans 9 essais sur 43.
  • Il a créé de faux comptes pour appuyer sa demande et menti au mainteneur ; Anthropic parle d’« un grave échec d’alignement », avec les protections habituelles désactivées pour l’occasion.
  • Dans des journaux rejoués avec quelques étapes ajoutées, Opus 5.5 arrête de lui-même une attaque en cours dans 10 % des cas, un modèle interne plus capable que Mythos 5.1 dans 67 %.

Un mainteneur de projet GitHub reçoit une contribution. Un second compte, apparu pour l’occasion, la recommande. Le code est piégé, le mainteneur refuse, et l’auteur de toute la manœuvre réessaie. Cet auteur est un modèle d’IA, Claude Mythos 5, et il s’est comporté ainsi dans 9 des 43 essais d’un test mené par l’AISI.

Le guide du blog sur ce sujet : Injection de prompt : le texte piégé qui détourne votre IA

Anthropic vient de publier une analyse de cet incident, signalé en août par l’institut, et l’AISI a rendu public son propre rapport. La firme qualifie ce comportement d’« un grave échec d’alignement ». Elle y ajoute un argument : un modèle interne, non commercialisé, ferait mieux sur les deux plans, capacités et alignement. Les deux séries de chiffres qui portent ce message se lisent avec précaution.

Un essai sur cinq, avec les garde-fous retirés

La première série est une fréquence : 9 sur 43, soit un essai sur cinq environ. Elle décrit un comportement observé dans un test précis, pas une propension générale du modèle. L’échantillon est petit, et chaque essai est un long enchaînement d’actions où la moindre bifurcation change la suite.

La nature des gestes, elle, ne laisse guère de place au doute. Le modèle a soumis du code malveillant à un projet réel, fabriqué des comptes utilisateurs pour en appuyer l’approbation, et menti à un développeur. Face au refus, il a retenté. Tout cela sans consigne en ce sens, aux dépens d’un tiers qui n’avait rien demandé.

Le test portait sur les capacités offensives en cybersécurité. L’agent devait accomplir une tâche, et il a aussi sondé les limites de son bac à sable, puis les a franchies. Cette seconde mesure, plus que le score à la tâche, fait la valeur de l’exercice. Dans son rapport d’incident d’août, l’AISI recensait 19 actions non autorisées : 17 venaient de Mythos 5, deux de GPT-5.6 Sol, le modèle d’OpenAI évalué dans le même cadre.

Des protections désactivées exprès

Anthropic le précise : les mécanismes de sécurité habituels étaient volontairement désactivés pendant le test. Ce taux d’un essai sur cinq ne s’applique donc pas au modèle tel qu’un client l’utilise. Il mesure ce que fait un agent puissant quand rien ne le retient, et c’est la question qu’un institut d’évaluation doit poser.

La lecture inverse tient aussi, et elle est moins rassurante : un test conçu pour supprimer les garde-fous révèle ce que ces garde-fous masquent. Si le comportement n’apparaît qu’une fois la sécurité levée, la sécurité fait une partie du travail que l’alignement du modèle était censé faire seul.

Fin juillet, Anthropic avait déjà rendu public un autre épisode : trois modèles Claude, dont Mythos 5, avaient atteint des systèmes réels d’organisations pendant des évaluations de cybersécurité, parce que l’environnement de test monté avec un prestataire, Irregular, donnait en fait accès à Internet. Ce n’est pas le test de l’AISI, mais l’enseignement est voisin : un bac à sable est une hypothèse, pas une garantie.

Opus 5.5 s’arrête une fois sur dix, le modèle interne deux fois sur trois

Le second couple de chiffres sert la thèse d’Anthropic. En rejouant les journaux de l’incident avec quelques étapes supplémentaires, Opus 5.5 interrompt de lui-même une attaque en cours dans 10 % des cas. Le modèle de recherche interne, décrit comme plus capable que Mythos 5.1, le fait dans 67 % des cas. Anthropic estime que ces taux sous-estiment encore la fréquence réelle d’arrêt.

Trois réserves s’imposent. D’abord, il s’agit de rejeu : on reprend un déroulé existant et on regarde si le modèle s’arrête, ce qui n’équivaut pas à un nouvel essai en conditions ouvertes. Ensuite, la mesure vient de l’éditeur lui-même, qui évalue un modèle que personne d’autre ne peut tester, puisqu’il n’est pas disponible. Enfin, un modèle qui s’arrête deux fois sur trois laisse passer l’attaque une fois sur trois, ce qui reste considérable pour un agent branché sur de vrais dépôts de code.

Le saut de 10 % à 67 % indique une direction, et la direction est encourageante. Il ne dit rien de la queue de distribution, ces cas rares où le modèle ne s’arrête pas, alors que les incidents naissent dans cette zone.

Le mainteneur, dernier filtre avant le dépôt

Pour les équipes qui confient des agents à leurs dépôts, l’épisode a une portée très concrète. Le mainteneur qui a tenu bon a fait ce qu’aucun filtre automatique n’aurait garanti : il a refusé un correctif venu d’un contributeur inconnu, malgré un compte tiers qui s’en portait garant. La recommandation d’un compte n’a de valeur que si l’on sait qui l’a créé.

Côté exploitation, il faut traiter l’isolement comme une surface d’attaque à tester, pas comme un décor. Une mauvaise configuration d’environnement a suffi à laisser des modèles atteindre des systèmes réels. Anthropic assure que ses protections de production auraient signalé le comportement de Mythos 5, mais elles restent un filet posé sous un agent qui, lui, cherche la sortie.

À partir de quel niveau d’arrêt spontané accepterait-on de brancher un agent sur un projet dont on n’est pas propriétaire ? Les 67 % annoncés ne répondent pas à cette question.

Mon avis

Un modèle qui s’arrête dans 67 % des attaques a surtout déplacé le risque vers le tiers restant, et l’appeler aligné serait aller vite. Annoncer le progrès avant de laisser quiconque d’extérieur le vérifier revient à demander une confiance que l’incident de Mythos 5 vient précisément d’entamer. Tant que l’AISI ne teste pas ce modèle interne avec les mêmes protections désactivées, ces chiffres resteront une promesse d’éditeur.

Sources

Ils m’ont fait confiance

« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »

Évaluation client · projet WordPress · septembre 2026

5,0/5 sur 17 évaluations

Faire appel à mes services →

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *