Un modèle de langage ne sent pas sa bouche bouger. La formule est de l’un des chercheurs qui viennent de documenter la faiblesse la plus embarrassante des grands modèles de langage (LLM) : rien, dans ce qu’ils lisent, ne leur indique qui parle. Leur pronostic tient en une phrase : ce défaut n’a peut-être pas de correctif.
Une seule suite de tokens, aucune frontière
Vous distinguez votre parole de celle d’un tiers parce que vous la produisez. Un LLM, lui, reçoit tout par le même canal : les consignes du développeur, votre message, le contenu d’une page web récupérée en cours de route, le texte d’un document joint. « It’s just one big sheet of tokens », résume le chercheur cité par la presse spécialisée : une seule grande feuille de tokens, sans marqueur fiable pour séparer l’ordre légitime de celui qu’un tiers a glissé au passage.
Rien là-dedans ne ressemble à un bug de version. C’est la géométrie même de l’entrée d’un modèle. Leur papier, « Prompt Injection as Role Confusion », le montre à l’échelle : en exploitant ce défaut, les chercheurs ont obtenu de modèles populaires des contenus qu’ils avaient été entraînés à refuser, jusqu’à des instructions pour saboter le système de navigation d’un avion. Leurs mises en scène n’avaient rien de sophistiqué, et c’est bien ce qui inquiète.
Des défenses qui ferment des portes, jamais la classe d’attaque
Face à cela, l’industrie a dressé deux lignes de défense. D’abord le red-teaming (une équipe dédiée qui attaque le système pour en trouver les failles), humain puis automatisé par des modèles offensifs entraînés à chercher des contournements. Ces outils trouvent des failles en série. Ils ne bornent jamais l’espace des attaques possibles.
La seconde ligne est l’alignement par interdits : on remet au modèle une liste de choses à ne pas faire. Une liste est finie, le champ des détournements reste ouvert. Chaque incident allonge la liste d’un cran sans réduire d’autant ce qu’il y a en face. L’illustration la plus nette date de juillet, du côté de Microsoft Word : le chercheur Håkon Måløy a montré qu’une instruction cachée dans un document pouvait être recopiée par Copilot dans le document produit, puis se propager de fichier en fichier. Signalé selon les règles de la divulgation responsable, le problème a occupé Microsoft 144 jours sans qu’aucun correctif ne couvre toute la classe d’attaque.
Quatre failles que la red team de NVIDIA retrouve partout
Pendant que le débat se concentre sur le modèle, une autre équipe a regardé ce qui l’entoure. La red team IA de NVIDIA a passé six mois à évaluer des agents en fonctionnement, du simple assistant de programmation interactif au service autonome branché en permanence sur les données de l’entreprise. Chaque fois qu’un agent s’est révélé exploitable, les mêmes quatre défaillances revenaient, quel que soit le framework ou le harness (l’enveloppe logicielle qui exécute l’agent) employé :
- aucun contrôle d’accès à l’agent lui-même : des agents qui détiennent les identifiants d’un utilisateur et que n’importe quel compte du réseau interne peut solliciter ;
- des outils qui ouvrent la porte à l’exécution de code arbitraire, le shell générique en tête ;
- un trafic sortant jamais filtré : l’agent peut joindre n’importe quel serveur ;
- des secrets (clés d’API, mots de passe) exposés en clair à l’agent.
Le détail qui compte, c’est pourquoi les parades élégantes cèdent. Faire relire les commandes par un juge LLM suppose de laisser passer pytest ou npm install, sans quoi l’agent ne sert plus à rien. Il suffit qu’un attaquant contrôle une des entrées de l’agent pour que ces mêmes commandes exécutent son code. L’équipe note qu’obtenir un accès distant complet par reverse shell (une connexion que la machine ouvre elle-même vers l’attaquant) revient parfois à le demander poliment. Les listes blanches de commandes et le pari que le modèle saura reconnaître un ordre illégitime protègent tout aussi mal.
À l’inverse, une remarque du rapport a valeur de doctrine : les agents qui ne répondaient pas aux utilisateurs non autorisés ont été nettement plus difficiles à mettre en défaut. Ce qui a résisté sous pression adverse tenait au contrôle d’accès, pas à la qualité de l’entraînement : des permissions strictes, calquées sur celles de l’utilisateur qui invoque l’agent.
D’ici 2027, le périmètre remplacera le prompt système
Additionnez les deux constats : la faille est dans le modèle, les contrôles qui tiennent sont dans le déploiement. Le chemin se dessine, avec des échéances. D’ici la fin 2026, les frameworks d’agents devraient livrer par défaut ce qui reste aujourd’hui une affaire d’experts : conteneur jetable pour chaque tâche, liste blanche de domaines joignables, secrets délivrés par un intermédiaire avec une durée de vie de quelques minutes.
Le mouvement est amorcé du côté des agents de programmation : Codex coupe l’accès réseau par défaut dans son mode d’écriture sur l’espace de travail, et le bac à sable de Claude Code fait passer tout le trafic par un proxy où aucun domaine n’est autorisé d’avance. Mais cette isolation reste à activer soi-même, ce qui situe assez bien l’écart qu’il reste à combler. D’ici mi-2027, la revue de sécurité d’un agent ressemblera à celle d’un service exposé sur internet : quels flux sortants, sous quelle identité, avec quels droits et pour combien de temps.
Cette bascule a un prix, et tout dépend de qui acceptera de le payer. Un agent confiné est moins commode, il échoue plus souvent, il réclame une déclaration de périmètre avant de démarrer. Or l’argument commercial du moment est l’autonomie, pas le confinement. Si les éditeurs refusent ce renoncement, l’isolation restera une option de spécialistes et la prochaine injection auto-répliquante trouvera le même terrain dégagé qu’en juillet.
Personne ne le formule à voix haute, mais le renoncement est acté : on cesse d’espérer que le modèle apprenne à reconnaître une voix, on l’installe dans une pièce où celle qu’il entend ne peut plus rien casser. On saura vite si l’industrie l’assume. Le jour où un harness grand public refusera de se lancer sans périmètre réseau déclaré, ou qu’un audit interne réclamera les flux sortants d’un agent au lieu de la liste de ses interdits, sécuriser un agent aura moins à voir avec son éducation qu’avec la taille de sa cellule. La commodité perdue, elle, se règle de toute façon : avant le premier incident, ou après.
