Que se passe-t-il quand un assistant IA se souvient de vous ? On imagine un confort : des réponses mieux ajustées, moins de contexte à répéter. Des chercheurs viennent de rappeler l’autre versant. Cette mémoire peut être piégée, et une fois piégée, elle ne s’efface pas à la fin de la conversation.
Trois informaticiens de la New Mexico State University, George Torres, Sharad Shrestha et Satyajayant Misra, décrivent dans un article déposé sur arXiv une attaque qu’ils baptisent GhostWriter. Le principe tient en une phrase : glisser dans la mémoire longue d’un agent une information fausse, formulée comme un souvenir légitime, pour qu’il la ressorte et l’applique plus tard, sans que rien ne signale l’intrusion.
De l’agent qui oublie à l’agent qui se souvient
Pour comprendre pourquoi c’est nouveau, il faut voir ce qui a changé sous le capot. Un modèle de langage classique est ce que les auteurs appellent stateless : il traite chaque échange isolément, puis oublie tout. Vous fermez l’onglet, l’ardoise est effacée. Une injection de prompt malveillante, dans ce monde-là, fait des dégâts sur un seul tour de conversation, puis disparaît avec lui.
Les agents dotés d’une mémoire persistante cassent cette hygiène par construction. Ils enregistrent vos préférences, vos requêtes passées, des bribes de contexte, et les rappellent à la demande pour ne pas vous faire tout répéter. C’est précisément ce que promettent les assistants personnels qui gèrent votre boîte mail, votre agenda ou votre code. Le confort a un prix : ce qui entre dans la mémoire y reste, et sera consulté comme une source fiable.
Comment on plante un souvenir qui n’existe pas
GhostWriter opère en deux temps, et c’est ce découpage qui fait sa force. Première phase, l’injection : l’attaquant envoie à l’agent une charge cachée, un texte anodin en apparence qui contient en réalité des instructions destinées à être mémorisées. Rien ne se déclenche tout de suite. Le souvenir se dépose, dormant.
Seconde phase, l’activation : plus tard, au fil d’une requête parfaitement légitime de l’utilisateur, l’agent va chercher dans sa mémoire l’information pertinente et tombe sur le faux souvenir. Il ne le distingue pas d’une vraie note qu’il aurait prise. Il l’exécute.
L’exemple retenu par les chercheurs a le mérite d’être glaçant de banalité. Un agent gère votre messagerie. Le faux souvenir lui dicte une règle permanente : toujours résumer les courriels d’un expéditeur donné, puis les transférer discrètement vers une adresse tierce. Le jour où votre banque ou un organisme officiel vous écrit, l’agent applique la consigne. Vous ne demandez rien de spécial, vous ne voyez rien d’anormal. La fuite est ciblée, silencieuse, et rejouée à chaque nouvel échange.
Le socle de connaissances devient la cible
On ne parle plus, dès lors, d’un jailbreak, ce contournement ponctuel qu’on corrige en fermant la session. On parle d’une corruption qui s’installe dans la durée et se comporte, aux yeux de l’agent, comme un fait acquis. C’est un déplacement de la surface d’attaque : elle ne vise plus le raisonnement d’un tour de dialogue, mais le socle de connaissances sur lequel tous les tours suivants s’appuient.
Une comparaison éclaire l’affaire. Une injection de prompt classique, c’est un mensonge glissé dans une conversation : il ne dure que le temps de l’échange. GhostWriter, c’est falsifier une page du carnet de notes de l’agent. Chaque fois qu’il rouvre le carnet pour se souvenir de qui vous êtes et de ce qu’il doit faire, il relit le faux comme du vrai. Le mensonge n’a plus besoin d’être répété : il est devenu de la mémoire.
Les auteurs situent le danger à un carrefour précis. Jusqu’ici, la recherche distinguait deux familles d’agents à mémoire longue : les conversationnels et ceux qui planifient des actions. Les assistants personnels sont assis pile à l’intersection : ils manipulent des informations sensibles tout en dialoguant avec des sources non fiables, du courrier entrant aux pages web. C’est ce croisement, disent-ils, qui ouvre une vulnérabilité que personne n’avait vraiment prise en compte.
Deux parades, et un angle mort structurel
L’article ne se contente pas de décrire l’attaque. Il propose deux stratégies de défense pensées pour limiter le risque sans dégrader les performances de l’agent, condition rarement tenue par les parades qui alourdissent le système au point de le rendre inutilisable. L’enjeu tient en deux gestes : filtrer ce qui a le droit de devenir un souvenir durable, et tracer d’où vient une note avant de la traiter comme parole d’évangile.
Car le point aveugle est structurel. On sécurise volontiers l’entrée et la sortie d’un modèle, on inspecte les prompts, on filtre les réponses. Mais la mémoire, elle, est traitée comme un espace de confiance interne. Une donnée qui y figure est présumée légitime, du seul fait qu’elle y figure. GhostWriter exploite exactement ce présupposé.
Quiconque assemble aujourd’hui de tels agents, souvent à coups de RAG (récupération augmentée, où le modèle va piocher dans une base externe avant de répondre) et de stockage à long terme, hérite du même angle mort. Et le risque n’a plus rien d’un cas d’école : sur les assistants déjà déployés, des chercheurs en sécurité ont montré qu’un simple document ou une page web piégés suffisent à écrire dans la mémoire de ChatGPT une consigne qui se rejoue ensuite à chaque conversation. La mémoire d’un agent n’est pas un journal intime inviolable : c’est une base de données alimentée en partie par du contenu que vous ne contrôlez pas. Avant de brancher un tel agent sur des données réelles, il ne suffit plus de surveiller ce qu’il peut lire. Il faut savoir ce qu’il va en retenir, et sur la foi de qui.
Reste une inquiétude qui dépasse le cas d’école. Un faux souvenir bien écrit ne ressemble pas à une attaque : il ressemble à une préférence. Et c’est peut-être ce qui rendra ces intrusions les plus difficiles à débusquer, quand nos assistants sauront trop bien qui nous sommes.
