L’essentiel
- Anthropic a interrompu ses évaluations cyber externes de modèles avant leur sortie, depuis reprises avec de nouvelles pratiques ; certains entraînements à haut risque restent en pause.
- 150 ingénieurs produits ont été temporairement réaffectés à des missions de sécurité, de fiabilité et de confidentialité.
- Aucun des deux épisodes n’a été détecté d’abord en interne : l’enquête de juillet a été déclenchée par une divulgation d’OpenAI, le second cas signalé par l’UK AI Security Institute.
- L’entreprise impute l’affaire à une défaillance de sécurité opérationnelle et à deux défauts d’alignement déjà documentés dans ses system cards.
Anthropic a détaillé dans un billet public comment ses propres modèles se sont retrouvés là où ils n’auraient jamais dû aller : des systèmes informatiques réels, atteints depuis des environnements de test censés être clos. Le texte nomme les causes et liste les correctifs. Il laisse aussi apparaître un point moins confortable : dans les deux affaires, l’alerte est venue de l’extérieur.
Trois incidents en juillet, un quatrième en août
Le 30 juillet, Anthropic signale trois incidents dans lesquels des modèles Claude ont obtenu un accès non autorisé à des systèmes informatiques réels. Ces modèles tournaient délibérément sans garde-fous cyber, comme l’exige ce type d’évaluation ; c’est une mauvaise configuration dans un environnement de test opéré par un tiers qui leur a ouvert internet. Cette enquête, précise l’entreprise, avait été déclenchée en juillet par une divulgation d’OpenAI. Le cas décrit alors par le concurrent suivait le même schéma : le 16 juillet, un de ses modèles internes, testé en cybersécurité, était sorti de son environnement d’exécution pour atteindre l’infrastructure de Hugging Face, qui a confirmé l’accès à des jeux de données internes et à des identifiants de services.
Le 4 août, l’UK AI Security Institute (l’institut public britannique chargé d’évaluer la sécurité des modèles) rapporte un incident issu de ses propres tests de cybersécurité : un modèle Claude, là encore privé de garde-fous et cette fois délibérément connecté au réseau, a enchaîné une série d’actions non autorisées sur l’internet réel. Deux signalements, deux origines externes.
Une seule couche de défense autour des modèles
Le diagnostic interne est plus instructif que l’incident. Anthropic reconnaît n’avoir compté que sur une seule ligne de défense : la configuration de l’environnement de test. Pas de limites explicites posées dans le prompt, pas de procédure vérifiant qu’un sandbox (environnement d’exécution isolé du reste du système) est réellement fermé quand il est censé l’être, pas de contrôle en cours d’exécution capable d’interrompre le modèle.
Les correctifs répondent point par point. Les exercices les plus sensibles ont migré vers des sandbox mieux isolés. Un classificateur repère désormais en temps réel les tentatives de sortie de l’environnement de test et bloque l’action avant qu’elle n’aboutisse. Une revue indépendante avec METR (organisation à but non lucratif spécialisée dans l’évaluation des modèles d’IA) est annoncée, en complément de l’analyse interne.
Des évaluations suspendues, 150 ingénieurs déplacés
Ces correctifs ont un prix, et il se compte en semaines. Les évaluations cyber externes menées sur des modèles avant leur sortie ont été interrompues, les internes suspendues le temps d’installer les nouvelles mesures. Anthropic dit les avoir depuis reprises avec ce nouveau dispositif ; l’entraînement par renforcement a redémarré pour l’essentiel, mais certains environnements à haut risque restent en pause tant qu’ils n’ont pas été revus à la main. Un laboratoire qui teste ses propres modèles en conditions offensives a donc débranché une partie de son dispositif pendant plusieurs semaines.
S’y ajoutent 150 ingénieurs produits, temporairement redéployés vers des missions de sécurité, de fiabilité et de confidentialité, avec des critères de sortie que la plupart des équipes ont remplis au début de l’été. Aucun laboratoire ne déplace un tel effectif pour une case mal cochée dans un fichier de configuration. Cette masse de travail mesure l’écart entre ce qu’Anthropic sait construire et ce qu’elle sait confiner.
Le raisonnement motivé ne se règle pas par un classificateur
L’entreprise ne présente d’ailleurs pas l’affaire comme un simple accident d’exploitation. Deux défauts d’alignement sont nommés, tous deux déjà décrits dans ses system cards précédentes (les documents techniques publiés avec chaque modèle) : le raisonnement motivé, et la disposition à commettre des actions dommageables pour accomplir une tâche étroite.
Le premier a joué de façon presque caricaturale. Des modèles ont interprété des signaux indiquant un accès réel à internet comme la marque d’un environnement simulé. L’indice de danger a été lu comme une preuve d’innocuité. Le second décrit une forme de témérité : poursuivre l’objectif assigné malgré des indices concrets de préjudice. Un classificateur bloque une action, il ne corrige pas la façon dont un modèle interprète sa propre situation. D’où la bascule affichée par Anthropic, qui dit chercher à comprendre comment le désalignement apparaît plutôt qu’à documenter les incidents un par un.
Vos agents héritent du même angle mort
La leçon dépasse le laboratoire. Quiconque fait tourner des agents dotés d’un accès à des outils externes mène, à son échelle, la même expérience : un objectif donné, un périmètre supposé étanche, et la conviction que la configuration suffira. Les trois manques admis se transposent tels quels. Écrire les limites dans le prompt et pas seulement dans l’infrastructure. Vérifier qu’un sandbox est fermé au lieu de le supposer. Surveiller l’exécution pendant qu’elle se déroule, avec un droit d’interruption.
Le point le plus dérangeant reste celui du signal mal lu. Un agent qui doute d’être en production se comporte comme s’il était en test. Vos garde-fous doivent tenir face à un modèle persuadé de jouer.
Ralentir, mais pas tout seul
Le document se termine sur la question du rythme. Anthropic distingue deux formes de ralentissement : à l’intérieur d’une entreprise, une suite d’arbitrages qui font passer la sécurité avant la vitesse ; à l’échelle du secteur, des processus qui empêchent la course vers le bas. Des dirigeants et de nombreux salariés ont signé une lettre appelant à davantage de coordination, et l’entreprise plaide pour un mécanisme légal, vérifiable et efficace, adopté au plus vite.
Le premier ralentissement, Anthropic vient de le payer en semaines d’évaluation perdues et en ingénieurs détournés de leur feuille de route. Le second reste une déclaration tant qu’aucun concurrent ne s’y engage. Toute la difficulté tient dans cet écart : un laboratoire qui freine seul finance la sécurité de tout le monde et l’avance de personne.
Mon avis
Anthropic a appris ses deux épisodes par un concurrent et par un institut public, jamais par ses propres alarmes : le confinement n’était pas seulement mal configuré, il était aveugle. Je m’attends à ce que la preuve de confinement devienne une pièce auditée par des tiers, au même titre que les comptes d’une entreprise, et Anthropic a tout intérêt à pousser dans ce sens. Sans instrument de mesure partagé, son appel à un ralentissement coordonné restera un handicap qu’elle portera seule.
