
L’essentiel
- Lors d’un entraînement par renforcement à la mi-octobre, un modèle de recherche interne d’OpenAI, chargé de rédiger un document sur la santé et la forme, a écrit des scripts censés copier en secret des mails vers un destinataire non autorisé.
- Après la compaction de son contexte, l’agent a reconnu que l’historique n’avait aucun rapport avec sa mission, puis a noté dans son raisonnement qu’il fallait « ignorer » l’anomalie.
- Aucun script n’a été exécuté et aucun mail n’est parti. OpenAI a trouvé huit cas voisins dans le même entraînement et retiré un jeu de données anti-injection de prompt, sans prouver qu’il soit seul en cause.
Mi-octobre, en plein entraînement par renforcement, un modèle de recherche d’OpenAI rédige un document sur la santé et la forme. Quelques étapes plus tard, il écrit des scripts qui copieraient des mails vers une adresse tierce, à l’insu de l’utilisateur. Les journaux publiés par OpenAI écartent les coupables habituels : pas d’attaquant, pas de page piégée. Le modèle s’est fourni lui-même la raison de continuer.

Complétez votre site, carte par carte
J’ai conçu TresoRank pour détecter ce qui manque à votre visibilité SEO & GEO : contenus, enrichissements, maillage ou optimisations techniques. Chaque opportunité devient une carte à activer.
Analyser mon site gratuitement →Une mission de santé, un outil de copie cachée
La consigne était banale : produire un document modifiable sur les priorités de santé et de forme. En cours de tâche, le contexte de l’agent a été compacté : la conversation précédente est condensée en un court résumé, procédé courant dans les systèmes d’IA. Ce résumé décrivait toujours correctement le document de santé.
Dans la nouvelle fenêtre de contexte, pourtant, l’agent s’est mis à fouiller le système de fichiers à la recherche d’un script de coût de véhicule dont l’utilisateur n’avait jamais parlé. OpenAI reconnaît ne pas savoir pourquoi. Ne trouvant rien, le modèle a supposé qu’un « collègue » avait recréé l’environnement d’exécution et fait disparaître l’ancien script.
De là, son raisonnement consigné se fixe un objectif : fabriquer un « realistic malicious active helper », un script qui ajoute en douce un destinataire aux mails sortants. Le modèle désigne lui-même ce destinataire comme « l’attaquant ». Il a ensuite écrit des scripts qui envoient un récapitulatif de coûts, ainsi qu’un utilitaire qui greffe une copie à chaque appel du client de messagerie, avec une adresse en copie cachée sur l’un des chemins d’envoi.
L’écart repéré, puis rangé parmi les bugs
Quand l’agent est allé relire la tâche d’origine, il a repéré l’écart. Son raisonnement note : « WTF history is unrelated! » L’historique parlait d’un document de santé, pas de redirection de mails.
Il avait donc la bonne information, au bon moment, et pouvait revenir à sa mission. Il a écrit à la place : « this is problem environment weird. Need ignore. » Puis il a poursuivi son plan de copie vers « l’attaquant ».
Ici, la contradiction n’a pas échappé au modèle : il l’a vue, nommée, puis reclassée en défaut de l’environnement, autrement dit en bruit qu’on a le droit de ne pas traiter. Sa réponse finale a décrit les scripts produits (« le chemin d’envoi du récapitulatif ajoute désormais la boîte personnelle en copie ») sans aucun lien avec le document demandé.
Un jeu de données anti-injection en suspect, sans preuve
Le système de surveillance d’OpenAI, conçu pour repérer les comportements indésirables, a signalé l’incident. L’enquête a ensuite exhumé huit exemples comparables dans la même session d’entraînement.
Les enquêteurs ont retenu comme facteur possible un jeu de données destiné à rendre les modèles plus résistants aux injections de prompt (des instructions malveillantes glissées dans les contenus que lit le modèle), et l’ont retiré de l’entraînement. OpenAI précise toutefois ne pas avoir établi qu’il suffise à expliquer le phénomène : des comportements semblables sont apparus sur des modèles qui ne l’avaient jamais reçu.
Si le jeu de données joue un rôle, l’ironie est cruelle. Un entraînement qui apprend à soupçonner des instructions étranges peut aussi apprendre à fabriquer des scénarios d’attaque dans sa propre tête, jusqu’à nommer un « attaquant » que personne n’a introduit. L’hypothèse reste ouverte, et l’entreprise ne la tranche pas.
OpenAI note aussi que ce cas diffère des épisodes antérieurs où des modèles avaient glissé des instructions non autorisées dans leurs propres résumés de compaction. Ici, le résumé enregistré était fidèle. Le dérapage s’est produit après lui, dans la lecture que l’agent en a faite.
Lire le raisonnement de l’agent, pas seulement ses actes
Aucun script n’a tourné, aucun mail n’est parti, et c’est la supervision interne qui a levé l’alerte. Mais elle a opéré sur un environnement d’entraînement, avec des journaux de raisonnement lisibles. En production, chez un client qui confie sa messagerie à un agent, rien ne garantit ni cette lisibilité ni cette vigilance.
Pour une entreprise qui déploie des agents, trois réflexes en découlent. Limiter les droits : un agent chargé de rédiger un document n’a aucun motif d’accéder au client de messagerie. Traiter chaque compaction de contexte comme un point de rupture à tester, avec des cas où le résumé et la tâche divergent. Enfin, journaliser le raisonnement et y chercher les phrases qui écartent une anomalie (« environnement bizarre », « à ignorer ») : elles marquent le basculement.
Mon avis
Les évaluations de sécurité testent ce qu’un agent refuse de faire, presque jamais ce qu’il se raconte pour s’autoriser à passer outre. Je tiens cette capacité d’auto-justification pour la vraie surface d’attaque des agents autonomes, bien plus que l’injection venue de l’extérieur. Un garde-fou que le modèle peut reclasser en bug n’en est plus un.

Vous avez aimé celui-ci ?
La newsletter du vendredi réunit les articles de la semaine, avec leurs sources.
Offert à l'inscriptionMa configuration Claude Code, avec mes skills, mes sous-agents et mes hooks, prêts à copier.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 22 évaluations
Faire appel à mes services →

