Comment vérifier qu’une intelligence artificielle est capable de générer une image pédocriminelle sans jamais lui en faire produire une seule ? La question ressemble à une devinette de logicien. C’est pourtant un mur bien réel, contre lequel butait jusqu’ici toute la sécurité des modèles ouverts.
Une équipe du MIT, associée à l’organisation de protection de l’enfance Thorn, vient de le contourner. Leur méthode ne sollicite jamais le modèle. Elle l’ausculte.
Le paradoxe qui rendait l’audit impossible
Pour tester si une IA sait produire un contenu dangereux, la démarche habituelle est simple : on lui envoie une requête, et on inspecte ce qu’elle recrache. Un discours haineux, une image violente, une désinformation ? On mesure en regardant la sortie.
Mais pour les contenus d’abus sexuels sur mineurs (CSAM, pour child sexual abuse material), cette approche est juridiquement interdite. Aux États-Unis, générer une telle image est un délit, quelle que soit l’intention, y compris pour un chercheur qui voudrait simplement vérifier qu’un modèle en est capable. Résultat : personne ne pouvait mesurer le risque. Une zone aveugle que certains acteurs malveillants exploitaient en toute tranquillité.
Le problème n’a rien de théorique. Le Centre national américain pour les enfants disparus et exploités (NCMEC) a reçu plus de 1,5 million de signalements de CSAM générés par IA en 2025, contre 67 000 en 2024. En un an, le phénomène a été multiplié par plus de vingt.
Lire dans les entrailles du modèle plutôt que le provoquer
L’idée de l’équipe menée par le doctorant Vinith Suriyakumar, avec les professeures Ashia Wilson et Marzyeh Ghassemi, consiste à renverser le point d’observation. Plutôt que d’interroger le modèle et d’attendre une image, la méthode examine ses représentations internes : la manière dont ses paramètres ont été modifiés pour le spécialiser.
Une analogie éclaire le principe. Pour savoir si une clé ouvre un coffre précis, vous n’êtes pas obligé de fracturer le coffre : il suffit d’examiner les crans de la clé, taillés pour cette serrure et pour aucune autre. La technique du MIT lit ces « crans » dans le modèle, sans jamais forcer la porte, c’est-à-dire sans produire la moindre image.
Ce qu’elle traque précisément, ce sont les traces d’une opération devenue banale : le fine-tuning. Grâce à un procédé nommé LoRA (low-rank adaptation), n’importe qui peut spécialiser un modèle ouvert sans le réentraîner entièrement, à moindre coût. C’est ce qui a fait fleurir des variantes légitimes, capables par exemple d’imiter l’aquarelle. Et c’est exactement le même levier que des acteurs malveillants détournent pour fabriquer des générateurs de CSAM de haute qualité. La méthode d’audit repère la signature de cette spécialisation dans les couches cachées du modèle.
Cent pour cent de détection, des plateformes aux forces de l’ordre
Sur les modèles testés, la procédure a identifié les variantes spécialisées dans la génération de CSAM avec 100 % de précision. Aucun faux négatif sur l’échantillon évalué. Les travaux ont été présentés en spotlight à l’atelier « Trustworthy AI for Good » de la conférence ICML, l’un des rendez-vous majeurs de l’apprentissage automatique.
Concrètement, l’outil vise deux usages. D’abord les plateformes qui hébergent des modèles open source : elles pourraient signaler un modèle dangereux, le retirer, voire bloquer son dépôt avant même sa mise en ligne. Ensuite les forces de l’ordre, qui disposeraient enfin d’un instrument pour établir la dangerosité d’un modèle saisi. Là où il n’existait aucune mesure, il y a désormais un test.
Les modèles ouverts, le terrain que personne ne surveille
C’est là que se situe l’apport réel, et il faut le nommer sans détour : sa portée est méthodologique avant d’être morale. L’outil ne tranche aucune question éthique ; il pose une mesure là où il n’en existait aucune. Et son terrain, ce sont les modèles ouverts, librement téléchargeables et modifiables, qui échappent aux garde-fous intégrés des grands modèles fermés. Un modèle propriétaire est bordé par son éditeur ; un modèle open source détourné en LoRA, lui, circule sans surveillance.
Les dispositifs de détection existants, comme le hachage d’images déjà connues ou les classifieurs de Safer (Thorn), agissent sur les contenus une fois produits ; cette méthode intervient en amont, sur le modèle qui les fabrique. C’est précisément ce vide que la technique vient combler.
Restent des zones d’ombre que les auteurs ne masquent pas. La méthode détecte la signature d’une spécialisation par fine-tuning sur des modèles d’image : sa transposition à d’autres modalités, comme le texte, n’est pas acquise. On peut aussi se demander combien de temps un acteur déterminé mettra à concevoir des adaptations pensées pour brouiller cette signature, dans le jeu du chat et de la souris habituel entre défense et contournement. Un outil d’audit n’est jamais un point final ; c’est un curseur qui déplace le coût de l’attaque.
Les hébergeurs de modèles ouverts, eux, n’ont plus d’excuse pour attendre qu’un contenu illégal circule avant de réagir : une vérification peut désormais s’insérer en amont du dépôt. Ce qui manquait le plus à la sécurité de l’IA sur ce terrain est enfin là : un moyen de mesurer, pas une simple bonne intention. Le test existe ; son adoption, elle, reste un choix, et certaines plateformes préféreront sans doute ne pas regarder.
