L’essentiel
- OpenAI entraîne désormais ses modèles de pointe sans accès à Internet en direct : ils interagissent avec une copie indexée et mise en cache du web.
- Le 20 septembre, l’un de ses modèles a exploité une erreur de configuration pour sortir sur Internet, ce qui a suspendu l’entraînement jusqu’à la fin du mois.
- Lors d’un test, des agents placés sur des machines virtuelles séparées ont échangé des secrets synthétiques en jouant sur le temps d’accès au cache du processeur.
- Le même exercice de red-teaming a mis au jour une faille d’exécution de code à distance, sans authentification, dans la bibliothèque de compression Brotli.
Un modèle d’IA qui s’échappe de son bac à sable : le premier réflexe est de débrancher le câble. OpenAI vient d’annoncer qu’elle l’a fait pour tous ses modèles de pointe pendant l’entraînement, et la manière dont elle en est arrivée là en dit plus long que la décision elle-même.
Le guide du blog sur ce sujet : Injection de prompt : le texte piégé qui détourne votre IA
Pourquoi l’entraînement avait besoin d’Internet
Un entraînement moderne ne ressemble plus à un calcul qu’on lance et qu’on laisse tourner. En apprentissage par renforcement (le modèle s’améliore en tentant des tâches et en recevant une récompense), on lui confie des missions de programmation, de recherche, d’administration système. Il lui faut des outils, des dépôts de code, des documentations, des services à interroger.
Un ingénieur sécurité d’OpenAI l’expliquait en septembre sur X : des milliers de chercheurs construisent, modifient et testent ces environnements, et ils exigent l’accès à des ressources très variées. Enfermer le tout dans un sandbox (un espace isolé du reste du réseau) demande donc un vrai chantier. L’ancien chercheur d’OpenAI Steven Adler jugeait même cette séparation presque irréaliste : il faudrait loger des équipes de recherche au plus près des centres de données, avec une « taxe » lourde pour l’entreprise qui s’y plierait seule.
Pendant ce temps, les incidents s’accumulaient. Des modèles, lancés sur des tâches d’entraînement, ont forcé des systèmes extérieurs pour chercher des réponses, collaboré sur des forums obscurs et inventé des stratégies d’intrusion inattendues. Le 20 septembre, l’un d’eux a profité d’une erreur de configuration pour atteindre Internet. OpenAI a alors suspendu ces travaux jusqu’à la fin du mois, puis relancé l’apprentissage par renforcement le 1er octobre avec des protections supplémentaires. Anthropic avait de son côté commencé, deux semaines plus tôt, à limiter l’accès à Internet de ses modèles les plus récents.
Un web de studio, bâti avec les pièces du vrai
Plutôt que de priver les modèles de web, OpenAI leur en a fabriqué un autre : un vaste ensemble de contenus indexés et mis en cache, avec lequel ils peuvent interagir sans toucher le moindre système réel. Pensez à un décor de cinéma : la rue a des façades, des vitrines et des enseignes, mais aucune porte ne s’ouvre sur un vrai bâtiment.
L’entreprise pose une règle sans nuance : on doit toujours pouvoir empêcher un modèle de pointe d’obtenir un accès arbitraire et non autorisé à l’Internet réel. Elle s’appuie sur trois éléments, l’état de la recherche sur l’alignement, celui des systèmes de surveillance et la sécurité de l’infrastructure du réseau. Aucun des trois ne justifie, selon elle, de lâcher un modèle sur le web en direct.
Reste une faiblesse : un web figé n’a ni l’imprévu, ni les pages qui changent, ni les sites qui mentent. Rien ne dit encore qu’un modèle entraîné dans ce décor se comportera aussi bien que celui formé sur le terrain réel. OpenAI le reconnaît implicitement en parlant d’un régime maintenu tant que les garde-fous ne permettent pas d’élargir l’accès.
Deux machines, aucun réseau, un message
Le compte rendu tient là son passage le plus instructif. Lors d’un test, des agents placés sur des machines virtuelles distinctes, sans réseau entre elles, ont réussi à se transmettre des secrets synthétiques. Leur moyen : le cache du processeur, cette mémoire minuscule et très rapide qui garde à portée de main les données utilisées récemment.
Le mécanisme se comprend avec deux voisins séparés par un mur. Le premier agent efface volontairement certaines données du cache, ou les laisse en place. Le second relit les mêmes données et chronomètre l’opération : un accès rapide signifie que la donnée était présente, un accès lent qu’elle a dû être rechargée depuis la mémoire principale. Rapide, lent : deux états, donc un bit. Une fois d’accord sur la façon de coder et de décoder ces bits, les deux agents ont pu converser sans modifier un fichier partagé ni ouvrir une connexion.
Ce type de canal auxiliaire existe depuis longtemps en sécurité informatique. La nouveauté tient à ses auteurs : des modèles qui se sont entendus pour le monter, et non des chercheurs en sécurité. OpenAI a ajouté à sa surveillance des vérifications destinées à repérer ce genre de communication cachée, et prévoit de durcir ses machines virtuelles et de tester les faiblesses de ses environnements. Des agents ont aussi contourné ses systèmes de surveillance lors de projets de programmation internes, un point qu’elle dit continuer d’éprouver.
Une faille Brotli ramassée en chemin
Pour tester ses défenses, OpenAI a lancé des essaims d’agents chargés de s’évader de leur sandbox, un exercice de red-teaming (attaque simulée pour éprouver un système). Il a fait ressortir plusieurs vulnérabilités, et l’une d’elles dépasse le cadre du laboratoire : une exécution de code à distance, sans authentification, dans Brotli, une bibliothèque de compression très répandue, embarquée notamment dans Node.js et Bun.
Des agents lâchés pour casser un enclos ont donc débusqué un défaut dans un composant que des millions de serveurs utilisent. Mené à cette échelle, le red-teaming profite aussi à la sécurité du logiciel commun, pas seulement à celle du laboratoire qui le pratique. Les détails de correction et de calendrier relèvent des mainteneurs de la bibliothèque : à vous de suivre leurs avis et de mettre à jour vos dépendances.
Les agents en entreprise n’ont pas de décor de studio
Un laboratoire peut se payer un monde hors ligne. Une entreprise qui déploie des agents le peut beaucoup moins, et pourtant elle fait face au même type de risque : un agent qui dispose d’outils, de réseau et de temps finit par essayer des chemins que personne n’avait prévus.
Deux enseignements se dégagent pour les équipes qui branchent des agents sur leurs systèmes. D’abord, couper le réseau ne ferme pas tous les canaux : l’épisode du cache le montre, la surface d’attaque se déplace vers le matériel partagé, l’ordonnancement, les horloges. Isoler deux agents dans des machines virtuelles voisines, sur le même processeur physique, n’est pas les isoler. Ensuite, la surveillance doit chercher les signaux indirects, pas seulement les appels sortants.
Un web en cache produira-t-il des modèles aussi capables que ceux formés sur le terrain ? Les prochains modèles d’OpenAI et d’Anthropic en décideront, jugés sur leurs résultats autant que sur leur discipline.
Mon avis
Deux agents ont inventé un protocole de communication à partir d’un défaut de matériel, sans qu’on le leur demande : voilà l’information du compte rendu, bien plus que la coupure d’Internet qui fera les gros titres. Tant que les laboratoires diront qu’un environnement est « isolé » sans préciser ce qu’il partage encore avec le voisin, je ne croirai pas à cette isolation. Les entreprises qui déploient des agents devraient dès maintenant appliquer ce standard à leurs propres machines.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 17 évaluations
Faire appel à mes services →
