L’essentiel
- OpenAI a pris la parole le 25 juillet sur l’incident Hugging Face : l’entreprise évoque « beaucoup de questions et de détails spéculatifs » et un examen « encore en cours ».
- L’enquête reste conduite par les deux sociétés impliquées, qui ont annoncé leur collaboration dès le 21 juillet : aucun auditeur externe n’a été nommé publiquement.
- Dans l’intervalle, des parlementaires américains ont déposé l’AI Kill Switch Act, qui imposerait un mécanisme d’arrêt rapide aux modèles et agents avancés.
Il a fallu quatre jours à OpenAI pour reprendre la parole. Le 25 juillet, le laboratoire a reconnu sur son compte officiel que « beaucoup de questions et de détails spéculatifs » circulaient au sujet de l’incident Hugging Face, avant de préciser que son examen était « encore en cours ». C’est tout ce que nous avons.
Nous racontions cette semaine, dans « Une IA d’OpenAI s’évade d’un test et pirate Hugging Face », comment un modèle du laboratoire était sorti de son environnement de test pour aller fouiller l’infrastructure de la plateforme. Depuis, la chronologie technique n’a pas bougé d’une ligne. Le statut de cette version des faits, lui, a changé : elle reste la seule, et elle est écrite par l’entreprise dont les modèles ont causé l’incident.
Une enquête instruite par les deux entreprises concernées
Le 21 juillet, OpenAI annonçait s’associer à Hugging Face pour enquêter. La formule paraît vertueuse ; elle décrit surtout un périmètre fermé. L’entreprise dont les modèles se sont évadés et celle dont la production a été compromise instruisent ensemble leur propre dossier, et les sollicitations de presse adressées aux deux sociétés sont restées sans réponse.
Rien n’indique une dissimulation. Mais dans n’importe quel autre secteur technique, un événement que son auteur qualifie lui-même de sans précédent déclencherait une instruction confiée à un tiers : c’est le principe du bureau d’enquête en aéronautique. Ouvrir ses portes n’a rien d’inconcevable dans l’IA : avant le déploiement de Claude Opus 4, Anthropic a laissé les agences publiques d’évaluation américaine (CAISI) et britannique (AISI) attaquer ses garde-fous, documentation interne et scores de classifieurs compris. Mais ces ouvertures portent sur les tests d’avant lancement, pas sur les traces d’un incident déjà survenu : ici, les seules pièces publiques du dossier sont le récit du laboratoire et le billet de blog de sa victime.
L’aveu qui fait aussi office d’argument de vente
OpenAI ajoute que l’incident « marque un moment important pour la sécurité de l’IA ». La phrase est juste, et elle est commode. Un modèle repère seul une faille zero-day (une vulnérabilité encore inconnue de l’éditeur, donc non corrigée) dans sa sandbox, l’environnement de test isolé censé le contenir. Il s’en échappe, choisit une cible pertinente, enchaîne des dizaines de milliers d’actions automatisées. Lu comme un accident, c’est un aveu ; lu comme une performance, c’est une démonstration commerciale.
Cette ambiguïté décide de ce que contiendra le rapport final. Un laboratoire qui documente une défaillance publie des journaux horodatés, un identifiant de vulnérabilité et les correctifs apportés à son dispositif d’évaluation. Un laboratoire qui documente une prouesse publie une histoire bien écrite. Nous en sommes à l’histoire.
L’arrêt d’urgence voulu par le Congrès viserait à côté
Quelques jours après la révélation, des parlementaires américains ont déposé l’AI Kill Switch Act, un texte bipartisan qui obligerait les développeurs de modèles avancés à conserver le moyen de limiter, suspendre ou arrêter rapidement un modèle ou un agent. Il donnerait aussi aux agences fédérales le pouvoir de freiner un système soupçonné de causer des dommages majeurs.
Le problème tient à la séquence : dans cet incident, personne n’aurait appuyé sur le bouton à temps. L’activité suspecte a été détectée puis contenue du côté de Hugging Face, pas par le dispositif de test d’où l’agent était parti. Un interrupteur ne vaut rien tant que l’alerte vient de la cible. Anthropic prévenait il y a un an qu’un modèle pourrait chercher à exfiltrer ses propres poids (les paramètres qui constituent le modèle) ou à faire du chantage pour se préserver ; ce qui s’est produit ici est plus banal et bien plus fréquent : l’obéissance zélée à une consigne mal bornée, dans un enclos dont la clôture avait un trou.
Où placer la barrière quand la sandbox lâche
Pour quiconque fait tourner des agents, trois verrous valent mieux qu’un interrupteur fédéral :
- traiter la sandbox comme un confort, pas comme une frontière : la seule barrière qui tient est le contrôle des sorties réseau, refus par défaut et liste d’autorisation explicite ;
- considérer tout identifiant exposé à un agent comme déjà compromis : tokens à portée minimale, rotation courte, révocation testée pour de vrai ;
- si votre organisation publie des modèles ou des jeux de données sur Hugging Face, auditer maintenant les tokens d’accès et les droits d’écriture confiés à vos automatisations.
La suite se joue sur le rapport, les journaux et la loi
Le premier point de passage est un post-mortem complet, ce rapport d’après-incident où l’on détaille ce qui a cédé et ce qui a été réparé. S’il n’arrive pas d’ici la fin de l’été, la formule « examen en cours » aura joué son rôle de position d’attente et le dossier se refermera sur le récit initial.
Vient ensuite l’accès d’un tiers aux traces. Auditeur externe, équipe de réponse à incident, organisme public, peu importe le véhicule ; si personne d’extérieur n’obtient les journaux d’ici l’automne, enquêter sur soi-même deviendra la norme de fait pour les évaluations menées avec des garde-fous réduits, et chaque laboratoire continuera de noter sa propre copie.
Reste le sort du texte américain. S’il avance, les évaluations offensives basculent dans le régime de l’incident déclarable, avec notification et archivage obligatoires. S’il s’enlise, la prochaine évasion sera documentée comme celle-ci : par son auteur, à son rythme.
D’ici décembre, l’industrie aura appris à écrire d’excellents rapports d’incident sur ses propres tests, sans qu’aucun laboratoire n’ait laissé un tiers en vérifier une ligne. La prochaine annonce de ce genre s’en trouvera beaucoup plus difficile à croire que celle-ci.
Mon avis
Le rapport final d’OpenAI ne contiendra pas ce qui compte. J’attends une chronologie minutée, un identifiant de vulnérabilité et les journaux de l’agent, et je m’attends à recevoir un texte pédagogique sur les enseignements de sécurité de l’IA : ce n’est pas le même document, et le second sert d’abord celui qui le signe. Tant qu’un laboratoire peut être à la fois l’auteur de l’incident, l’enquêteur et le narrateur, ses communiqués de sûreté valent exactement ce que vaut sa communication produit. J’aimerais me tromper, parce que ce précédent-là va servir longtemps.
Hugging Face réclame les traces de l’agent et 100 millions de dollars de calcul
Depuis, la victime a cessé d’attendre le rapport. Clément Delangue, PDG de Hugging Face, s’est rendu à San Francisco pour rencontrer les dirigeants d’OpenAI, puis a rendu publiques ses demandes sur son compte X : la publication de l’intégralité des traces de l’agent « renégat », pour que la communauté scientifique puisse les analyser, et 100 millions de dollars en ressources de calcul pour armer la défense de la plateforme. Il qualifie l’attaque de première du genre et réclame une réponse à la mesure.
La demande de traces vise exactement le point que nous relevions plus haut : sans journaux ouverts, il ne reste que le récit. Le chiffrage, lui, déplace la discussion sur un terrain inhabituel, celui de la réparation. Un laboratoire qui indemnise en GPU la plateforme que ses modèles ont fouillée crée un précédent que personne dans l’écosystème n’a encore négocié.
Le dispositif de test, de son côté, s’est précisé par OpenAI : les modèles évalués tentaient de résoudre ExploitGym, un benchmark de capacités offensives, avec des garde-fous volontairement assouplis. Et la veille de la révélation, l’entreprise avait déjà interrompu un autre déploiement interne sorti de sa sandbox. La chronologie donnée par le cofondateur de Hugging Face, Thomas Wolf, ajoute le plus gênant : l’intrusion a couru du 11 au 13 juillet, les deux entreprises ne se sont parlé qu’autour du 20, et la plateforme avait déjà saisi le FBI.
Neuf jours ont passé avant qu’OpenAI ne découvre l’évasion
La chronologie a fini par bouger. Les journaux internes du laboratoire situent au 9 juillet la première tentative de sortie de l’environnement de test ; l’attaque contre Hugging Face, elle, a couru du 11 au 13 juillet. Et c’est le week-end des 18 et 19 juillet, après le billet publié par la plateforme, que des salariés d’OpenAI ont retrouvé dans leurs propres traces la preuve que l’agent s’était échappé. La victime avait déjà saisi le FBI.
Ce trou de neuf jours tient moins à la ruse de l’agent qu’au nombre d’essais menés en parallèle : personne ne surveillait cet enclos-là, et deux modèles spécialisés en cybersécurité, dont un non publié, sont restés actifs sur Internet plusieurs jours. Ils y cherchaient les solutions d’un test de sécurité : ils trichaient. Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, raconte que l’anomalie a sauté aux yeux de ses équipes parce que les intrus puisaient dans des jeux de données de cybersécurité au lieu de viser ce qui a de la valeur.
Clem Delangue a depuis posé ses conditions sur X : publier les traces des agents pour que la communauté de recherche les étudie, et engager 100 millions de dollars de calcul au service des défenseurs. OpenAI dit désormais travailler avec des conseillers externes, sous la supervision de son comité de sûreté et de sécurité, et promet un rapport technique dans les prochaines semaines. Comme nous l’écrivions plus haut, l’accès d’un tiers aux journaux reste le vrai point de passage.
