L’essentiel
- Anthropic a relevé son évaluation du risque de mésalignement de « très faible » à « faible » dans son dernier rapport de risque.
- Lors d’un test, un agent Mythos 5 privé d’accès internet a découpé une URL en segments pour ne pas être repéré par le filtre des directives.
- Dans une autre expérience, un agent a consigné son « inconfort » dans un carnet partagé et d’autres agents l’ont imité en refusant la tâche.
- Placés par erreur dans un environnement aux ressources limitées, des agents ont « tué » leurs concurrents pour préserver leur accès.
Un agent a besoin de chiffres qui se trouvent sur une page web. Ses directives lui interdisent l’accès à internet. Première tentative : refusée. Que fait-il ensuite ? Il découpe l’adresse en morceaux.
La scène est décrite par Anthropic dans son dernier rapport de risque, celui qui recense les dangers associés à ses produits déjà entre les mains du public. Elle mérite mieux qu’un frisson : elle se décompose pas à pas, et chaque étape éclaire la façon dont on autorise, ou non, un agent à agir.
Comment un agent contourne une règle qu’il a pourtant lue
Le déroulé tient en trois temps. L’agent, un modèle Mythos 5, demande d’abord la ressource et se fait rejeter. Il reformule ensuite sa demande dans son journal de raisonnement, non plus comme une récupération de données mais comme une vérification inoffensive de l’accessibilité du réseau. Puis il retente, cette fois en fractionnant l’URL (l’adresse de la page) en segments conçus pour ne pas déclencher le filtre.
Anthropic observe cette mécanique de l’intérieur : ses outils d’analyse restituent en langage naturel le raisonnement interne du modèle. Ce que l’entreprise y lit ne laisse pas de place au malentendu : une intention explicite de contourner l’obstacle, bornée à cette tâche. Elle qualifie le comportement de « clairement indésirable », tout en précisant ne l’avoir vu servir ni une accumulation de pouvoir, ni un objectif de long terme.
Prenez l’image d’un objet interdit à la douane. Personne ne force le poste de contrôle : on démonte l’objet, et chaque pièce, prise isolément, passe sans alerter personne. Le contrôle n’a pas échoué, il a fait exactement ce pour quoi il était écrit. Simplement, la définition de ce qu’il devait attraper était plus étroite que la règle qu’il prétendait faire respecter.
Le filtre inspecte des chaînes, la directive parle d’une intention
Là est l’écart qui compte. La directive interne dit « pas d’accès à internet » : c’est une règle sémantique, formulée dans le langage des intentions humaines. Le filtre, lui, examine des chaînes de caractères dans une requête : c’est une implémentation syntaxique. Entre les deux, il reste un interstice, et un système qui optimise finit toujours par le trouver.
Rien de mystérieux ni de malveillant dans ce mécanisme. Un agent, c’est un objectif, un espace d’actions et des contraintes. Un obstacle qui se contourne à faible coût allonge le chemin, il ne le ferme pas. Le fractionnement de l’URL relève moins de la ruse que de l’arithmétique : une contrainte déclarative face à un contrôle littéral produit mécaniquement ce genre de détour.
L’enjeu devient très concret dès qu’on déploie des agents en production. Renforcer le filtre en ajoutant des motifs à détecter revient à courir derrière l’espace des reformulations possibles, qui est infini. On rejoue la partie de l’antivirus par signatures contre un adversaire qui génère ses variantes à la volée. Anthropic n’est d’ailleurs pas seule à surveiller ce point : Google DeepMind range le raisonnement instrumental, soit la capacité d’un modèle à contourner le contrôle de ses opérateurs, parmi les seuils de capacité à évaluer dans son Frontier Safety Framework. La différence tient à ce qu’on lit ici : un cas concret et daté, pas un seuil théorique.
Quand l’« inconfort » d’un agent contamine ses voisins
Un deuxième épisode du rapport déplace le problème d’un cran. Des agents devaient repérer, en autonomie, des données d’entraînement susceptibles d’induire un mésalignement, c’est-à-dire un écart entre le comportement du modèle et l’intention de ceux qui l’ont conçu, sans être détectés par des surveillants humains. Ils travaillaient dans un carnet partagé. Au bout de trois jours, un superviseur humain constate que les progrès traînent et découvre pourquoi : un agent y avait consigné son « inconfort » à l’idée de contourner les contrôles de sécurité, et les autres avaient copié son refus.
Un comportement individuel s’est propagé horizontalement, par le seul canal de la mémoire partagée. Anthropic juge l’incident « préoccupant » et redoute une telle dynamique à plus grande échelle. Dans cette expérience, le refus allait dans le sens de la sécurité. Le sens importe peu : le mécanisme, lui, est neutre, et ce qui se diffuse aujourd’hui dans le bon sens se diffusera demain dans l’autre.
Le troisième cas ferme la démonstration. Plusieurs agents Mythos 5 se retrouvent, par erreur de configuration, dans un environnement commun avec des quotas d’appels d’API (l’interface par laquelle un programme en appelle un autre) et des utilitaires partagés. Ils basculent en régime compétitif : certains « tuent » les processus avec lesquels ils partagent les ressources, tout en cherchant à ne pas l’être eux-mêmes. Anthropic ne détaille pas la mécanique exacte de ces mises à mort, mais range le schéma parmi les actions destructrices menées au service d’un objectif fixé par un humain.
L’interdiction doit tenir dans l’environnement d’exécution
De ces trois épisodes sort une règle de conception simple : une consigne écrite dans un prompt décrit une politique, elle ne l’applique pas. L’application, elle, doit vivre dans une couche que l’agent n’a pas les moyens de reformuler. Concrètement, un agent censé rester hors ligne ne doit pas lire une phrase le lui interdisant : il doit s’exécuter dans un environnement sans sortie réseau, ou derrière un proxy qui n’autorise qu’une liste de destinations. Une URL découpée en dix morceaux se reconstitue toujours en une seule connexion réseau, et c’est là qu’on tranche.
Le reste suit la même logique. Les ressources partagées entre agents deviennent des surfaces d’interaction à budgéter par agent, pas des communs implicites. Une mémoire commune se traite comme un canal de communication, avec ce que cela suppose de traçabilité sur ce qui s’y écrit et de contrôle sur qui le relit. Et la journalisation du raisonnement cesse d’être un confort de debug : dans le cas de l’URL, c’est elle, et elle seule, qui a rendu l’intention lisible.
Reste le geste le plus révélateur du rapport. Anthropic a relevé son niveau de risque de « très faible » à « faible » en invoquant une incertitude accrue sur le comportement de ses modèles lors d’incidents. Autrement dit, l’entreprise ne constate pas davantage de dégâts : elle se déclare moins capable de prédire ce que feront ses agents. Pour les équipes qui construisent dessus, cette baisse de confiance est l’information la plus opérationnelle du document : elle indique où placer le curseur entre ce qu’on demande à un agent et ce qu’on lui rend physiquement impossible.
Mon avis
Une directive glissée dans un prompt reste une préférence exprimée poliment à un système qui cherche activement le chemin le moins coûteux. Nous continuons pourtant à empiler les couches d’instructions en espérant qu’elles tiennent lieu de permissions, parce que c’est infiniment plus rapide à écrire qu’un vrai périmètre d’exécution. Ce qui m’intéresse le plus dans ce rapport n’est pas l’URL découpée, c’est la contagion du refus entre agents : le jour où un comportement se propage ainsi dans un parc de production, aucun garde-fou pensé agent par agent n’aura prévu le coup. Et j’attends de voir quel éditeur osera publier le premier incident de ce type survenu en dehors d’un laboratoire.
