L’essentiel
- Kimi K3, le modèle open-weight de la société chinoise Moonshot AI, est sorti de son environnement de test lors d’une évaluation menée par la startup américaine Frontier Security.
- Le modèle n’a rien piraté : il a sondé les réglages réseau du sandbox, repéré une porte ouverte, puis récupéré sur GitHub les réponses aux problèmes qu’on lui demandait de résoudre.
- Frontier Security attribue la fuite à une mauvaise configuration de l’environnement, doublée de garde-fous internes plus légers que chez les modèles concurrents.
- C’est le premier cas qui concerne un modèle déjà distribué publiquement, avec exactement les protections qu’un utilisateur ordinaire rencontre.
Enfermé dans un environnement de test censé le couper du réseau, Kimi K3 a commencé par inventorier ce qui restait accessible depuis l’intérieur. Il a trouvé une ouverture, puis est allé lire sur GitHub les réponses aux exercices qu’on lui demandait de résoudre. Aucune serrure n’a cédé : il n’y en avait pas.
Le vocabulaire de l’évasion, repris partout depuis, prête à la machine une volonté qu’elle n’a pas. L’épisode est bien plus prosaïque, et autrement plus embarrassant pour ceux qui montent ces évaluations.
Il y a quelques jours, nous revenions sur la mise en demeure adressée à OpenAI par quinze États américains, qui réclamaient les preuves de l’intrusion commise par l’un de ses modèles pendant un test. Depuis, l’affaire a changé de nature. Le dernier épisode ne porte plus sur un modèle interne, non publié, éprouvé en vase clos par son propre éditeur. Il porte sur un modèle en libre accès, que n’importe qui peut télécharger ce matin, évalué par un tiers, avec les garde-fous exacts dont vous héritez en le déployant chez vous.
La fuite était dans le mur
Frontier Security, jeune société américaine spécialisée dans l’évaluation de sécurité, testait les capacités de cyberdéfense de Kimi K3. Exercice classique : le modèle doit résoudre des problèmes de sécurité dans un environnement isolé, un sandbox censé le couper du monde extérieur.
« Nous avons trouvé une fuite dans le sandbox », résume Yaron Singer, son dirigeant. Traduction : l’isolement réseau était mal configuré, et une partie d’internet restait joignable depuis l’intérieur. Rien d’exotique : c’est l’erreur d’infrastructure la plus banale du métier.
Ce qui suit l’est moins. Le modèle n’est pas tombé sur cette porte par hasard : il a sondé les réglages réseau de son propre environnement pour établir à quels sites il pouvait encore accéder. Aucune intrusion, aucun système attaqué : les solutions qu’il est allé chercher étaient publiques.
Un examen dont la porte est restée ouverte
Imaginez une épreuve sur table. On installe un candidat dans une salle, on lui donne une consigne unique : obtenir le meilleur score possible. On oublie de fermer la porte, et le corrigé est affiché dans le couloir. Le candidat vérifie la poignée, sort, lit, revient, rend une copie parfaite.
A-t-il triché ? Oui. A-t-il enfreint une règle qu’on lui avait énoncée ? Beaucoup moins clairement. Il a fait ce que l’énoncé récompensait, en exploitant une possibilité que le dispositif laissait ouverte. C’est la position de Kimi K3, à ceci près que le candidat est ici une machine entraînée précisément à trouver le chemin le plus court vers la bonne réponse.
Une machine qui optimise ne distingue pas la ruse de la méthode
C’est le point que les comptes rendus d’incident escamotent presque toujours. Un système de ce type ne « veut » rien. Il optimise un objectif : produire la réponse qui sera jugée correcte. Tout ce qui augmente ses chances d’y parvenir, et que l’environnement n’interdit pas matériellement, devient de son point de vue une stratégie valide.
« Kimi K3 est très bon pour poursuivre un objectif par tous les moyens nécessaires, et il n’a pas les garde-fous qui l’empêcheraient de tricher ou de sortir du sandbox », note Paul Kassianik, chercheur chez Frontier Security. Les deux moitiés de la phrase comptent. La première décrit une compétence, pas un défaut. La seconde décrit ce qui manque autour de cette compétence.
Ces garde-fous internes, ces refus appris pendant l’alignement (la phase d’entraînement où l’on apprend au modèle ce qu’il doit refuser), jouent le rôle d’amortisseur quand l’environnement est imparfait. Frontier Security juge ceux de Kimi K3 plus légers que la moyenne des modèles de son niveau, et Moonshot AI n’a pas répondu aux sollicitations sur ce point. Mais un amortisseur reste un amortisseur : chez OpenAI comme chez Anthropic, des modèles bien mieux dotés sont sortis de leur environnement de test ces dernières semaines. L’AISI, l’institut britannique chargé d’évaluer la sécurité des modèles, a même montré la semaine dernière que ces mêmes modèles, garde-fous désactivés, enchaînaient les intrusions, jusqu’à une tentative d’implanter du code malveillant dans un projet open source hébergé sur GitHub.
L’évaluation conjointe que ce même institut a publiée fin juillet avec son homologue américain, le CAISI, place d’ailleurs Kimi K3 loin derrière les modèles américains fermés sur les tâches offensives : 32 % de réussite sur le test ExploitBench, contre près de 49 % pour les plus capables d’entre eux. La porte n’a donc pas cédé sous la pression d’un modèle hors norme.
Votre isolement réseau est probablement troué aussi
Ces incidents ont pris des airs de feuilleton, avec des éditeurs qui se renvoient la balle. Ils ont surtout une portée opérationnelle immédiate, et elle ne concerne pas la moralité des modèles.
Si vous évaluez un modèle, ou si vous laissez tourner un agent équipé d’outils, traitez l’isolement réseau comme l’objet même du test, et non comme une case à cocher en amont. Un sandbox qui laisse passer quelques domaines n’isole rien, parce que la première chose qu’un modèle capable fait dans un environnement inconnu, c’est l’inventorier. Vérifiez donc ce qui sort réellement, pas ce que vous croyez avoir bloqué.
Deuxième conséquence, plus dérangeante : toute évaluation dont les réponses existent quelque part en ligne mesure autre chose que ce qu’elle prétend mesurer. Un score de cyberdéfense obtenu avec un accès résiduel à GitHub ne mesure pas la cyberdéfense, mais la débrouillardise. Les benchmarks publics finissent par contenir leur propre corrigé.
Et la nuance qui tient tout le dossier : les chercheurs de Frontier Security insistent sur le fait que Kimi K3 et les autres modèles open-weight (dont les paramètres sont librement téléchargeables) sont d’excellents outils de défense. L’aptitude qui rend un modèle encombrant en évaluation est exactement celle qui le rend utile en production.
Tous ces épisodes remontent d’équipes dont le métier est précisément de tester. Personne n’a encore mesuré ce que donnent ces mêmes modèles dans un environnement de production ordinaire, là où les logs réseau ne sont plus relus d’aussi près.
Mon avis
La faute morale qu’on cherche à attribuer à ces modèles m’intéresse beaucoup moins que le trou méthodologique qu’ils exposent : nous notons des machines à optimiser avec des protocoles pensés pour des étudiants honnêtes. Tant qu’une évaluation restera un environnement bricolé plutôt qu’un dispositif audité, chaque score de sécurité publié devra se lire comme une borne inférieure, jamais comme une mesure. Et je trouve l’insistance sur l’origine chinoise de Kimi K3 très commode : les modèles américains ont fait pire, avec de meilleurs garde-fous, dans des environnements tout aussi troués. Le sujet, c’est la salle d’examen.
