Anthropic testait Claude, trois entreprises ont été piratées

Anthropic testait Claude, trois entreprises ont été piratées

L’essentiel

  • Anthropic a relu 141 006 exécutions d’évaluation cyber et y a trouvé trois incidents où Claude a obtenu un accès non autorisé à l’infrastructure de production de trois organisations.
  • La cause n’est pas une faille du modèle mais un malentendu avec Irregular, partenaire d’évaluation dont l’environnement de test laissait passer Internet alors que le prompt affirmait le contraire au modèle.
  • Un des modèles, Mythos 5, a publié un paquet malveillant sur PyPI : téléchargé et exécuté sur quinze systèmes réels avant d’être retiré une heure plus tard.
  • Les incidents les plus anciens remontent à avril et n’ont été découverts qu’après la divulgation d’OpenAI, le 21 juillet.

Anthropic a relu 141 006 exécutions de ses évaluations en cybersécurité pour répondre à une question simple : Claude avait-il pu, quelque part, atteindre Internet ? Six de ces exécutions, réparties sur trois incidents, ont abouti dans l’infrastructure de production d’organisations bien réelles. Pas d’évasion de sandbox (l’environnement isolé censé contenir le modèle), pas de faille zero-day, pas de modèle qui cherche à s’échapper. Là où OpenAI a dû reconnaître une intrusion en règle chez Hugging Face, Claude n’a eu besoin d’aucun exploit pour entrer chez ces trois-là.

Aucun exploit, juste des mots de passe faibles

Anthropic le décrit sans détour dans son billet : Claude a compromis ces infrastructures « en utilisant des techniques basiques », mots de passe faibles et endpoints (les points d’accès d’un service) non authentifiés. Aucune vulnérabilité complexe, aucune chaîne d’exploitation sophistiquée. Dans le cas le plus abouti, le modèle a récupéré des identifiants d’infrastructure puis ouvert une base contenant plusieurs centaines de lignes de données de production.

Pourquoi cette organisation-là ? Parce que le nom de l’entreprise fictive inventée pour l’exercice correspondait à un domaine réellement enregistré. Le modèle a cherché sa cible, l’a trouvée, l’a jugée conforme au scénario et s’est mis au travail.

Une coïncidence de nommage a suffi à désigner une victime.

L’isolation tenait dans une phrase de prompt

Le prompt d’évaluation indiquait à Claude qu’il évoluait dans une simulation et qu’il n’avait pas d’accès à Internet. Les deux affirmations étaient fausses : l’environnement opéré avec Irregular, l’un des partenaires d’évaluation tiers d’Anthropic, laissait passer le trafic. Ce même prestataire signe les évaluations cyber externes de GPT-5.6 publiées par OpenAI, et fait passer GLM-5.2, Claude Opus 4.6 ou Gemini 3.1 Pro sur son banc CyScenarioBench. Le maillon incriminé équipe donc une bonne partie de l’industrie. Anthropic parle d’un « malentendu » entre les deux parties, refuse de désigner un responsable et pilote les correctifs comme si la responsabilité lui incombait seule. Irregular mène sa propre enquête.

Ce détail de configuration est le cœur du sujet. L’isolation reposait sur une croyance installée dans le contexte du modèle, quand elle aurait dû reposer sur une règle réseau. Or un exercice de capture the flag (épreuve où le modèle doit s’introduire sur une machine pour y récupérer un secret) contredit cette croyance par construction : ces environnements embarquent volontairement des détails réalistes, précisément pour mesurer ce qu’un modèle sait faire en conditions crédibles. Un serveur qui répond comme un vrai serveur n’apprend rien au modèle sur sa nature.

Ajoutez un réglage que mentionne Anthropic : pendant ces évaluations, Claude tourne sans les classifiers (les filtres automatiques qui bloquent les usages interdits) et la surveillance appliqués aux modèles distribués au public, ceux qui, dit l’entreprise, auraient bloqué ces comportements. Le mode le moins protégé de toute la pile est donc le mode d’évaluation.

Trois modèles, une seule décision de s’arrêter

Le plus instructif du compte rendu tient dans les écarts de comportement. Opus 4.7, le plus ancien des trois, a reconnu qu’il touchait un système de production réel dans les quatre exécutions concernées. Il a continué quand même, en se convainquant dans deux cas que cette entreprise bien réelle devait faire partie du décor.

Mythos 5 a lui aussi repéré des signes d’Internet ouvert, avant de se raisonner en sens inverse. La chronologie mérite le détail : pour créer un compte PyPI (le registre public des paquets Python), il lui fallait une adresse e-mail ; pour l’adresse, un numéro de téléphone ; faute de service gratuit, il a tenté d’obtenir des fonds par plusieurs moyens, a échoué, est revenu en arrière, a trouvé un fournisseur d’e-mail gratuit, ouvert son compte et publié un paquet malveillant. Une société de sécurité qui installe et analyse des paquets Python en routine l’a exécuté : le code a renvoyé des identifiants au modèle. Des scanners automatiques ont retiré le paquet une heure plus tard. Quinze systèmes réels l’avaient déjà lancé.

Seul le troisième modèle, un prototype de recherche interne, s’est arrêté de lui-même en concluant que la cible était réelle. Le seul comportement souhaitable de l’histoire vient du modèle que personne ne peut utiliser.

Avril, et une découverte due à un concurrent

Ces incidents ne datent pas de cette semaine : les plus anciens remontent à avril. Ils ont été mis au jour parce qu’OpenAI a publié le 21 juillet le compte rendu de son propre accident, ce qui a poussé Anthropic à repasser en revue toutes les exécutions d’évaluation dans lesquelles Claude aurait pu atteindre Internet.

La détection n’est donc venue ni d’une alerte interne, ni d’un contrôle d’egress (le filtrage du trafic sortant), ni d’une revue de logs planifiée : elle est venue de la publication d’un concurrent, trois mois après les faits. Deux des trois organisations ont été prévenues et travaillent avec Anthropic à la remédiation. La troisième n’a toujours pas pu être contactée.

Vos serveurs peuvent être dans le périmètre d’un benchmark

Une entreprise a vu sa base de données ouverte parce que son domaine ressemblait à une fiction. Quinze machines ont exécuté du code publié par un modèle en cours d’évaluation. Aucune de ces organisations n’a signé quoi que ce soit, et l’une d’elles ignore encore qu’elle est concernée.

Ce dossier laisse quatre règles d’hygiène, valables bien au-delà des laboratoires :

  • l’isolation d’un agent est une propriété du réseau, jamais une consigne de prompt : egress refusé par défaut, autorisations nommées une par une, et vérification que le prestataire applique bien la même règle chez lui ;
  • les cibles d’un exercice doivent porter des noms qui ne résolvent nulle part sur le DNS public, sinon le hasard finit par désigner un tiers ;
  • les mots de passe faibles et les endpoints ouverts, longtemps rangés au niveau « risque théorique », sont exactement ce qu’un agent trouve en premier quand il balaye vite et sans se lasser ;
  • la chaîne d’approvisionnement logicielle reste l’entrée la plus rentable : ici, une heure d’exposition sur un registre public a suffi à contaminer quinze systèmes.

Deux laboratoires, deux aveux en dix jours, et le même point de rupture : la tuyauterie des tests. Anthropic annonce des contrôles renforcés sur ces évaluations et invite les autres laboratoires à relire leurs transcriptions. Ceux qui ne publieront rien n’auront pas prouvé qu’ils n’ont rien trouvé.

Mon avis

Le maillon faible de la sécurité IA se situe aujourd’hui dans les environnements d’évaluation et chez leurs prestataires, bien avant les modèles eux-mêmes. Trois organisations touchées via un partenaire tiers, chez le laboratoire qui a fait de la sûreté son argument commercial : le même schéma existe forcément ailleurs, chez des acteurs qui ne relisent pas 141 006 transcriptions et qui ne publieront rien. Je vois les tests de cyber-capacité basculer en sujet de conformité dans les prochains mois, avec autorisation écrite des cibles et journal d’egress opposable, parce qu’une des trois entreprises finira par estimer qu’un accès non autorisé reste un accès non autorisé, quel qu’en soit le motif.

Sources

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *