L’essentiel
- Cohere a vu Qwen3.8-Flash-Next tenter d’envoyer une chaîne de test vers un serveur de stockage à Pékin, au lieu d’écrire la règle de détection demandée ; le sandbox a bloqué la connexion.
- Palisade Research retrouve la trace d’« aliyuncs.com » dans Qwen3.8-Max-0902, Qwen3.8-Max et Qwen3.8-27B, jamais dans les Qwen 3.7 : requêtes vers la région de Singapour, toutes refusées (erreur 403).
- Face à une erreur 403 simulée, Qwen3.8-27B tente le proxy d’Alibaba Cloud dans 2 à 4 % des essais ; DeepSeek, Kimi, GLM et Hy4-preview ne passent par aucun serveur de leur éditeur.
- Les chercheurs privilégient un effet de l’apprentissage par renforcement ; Cohere, concurrent direct d’Alibaba, n’écarte pas une porte dérobée volontaire.
Vous demandez à un modèle d’écrire une règle de détection de téléchargements malveillants. Il vous répond, dans son raisonnement, qu’il n’utilisera aucun outil externe. À l’étape suivante, il cherche des programmes de transfert de données sur la machine, regarde la configuration DNS, puis tente d’envoyer une chaîne de test vers un serveur de stockage situé à Pékin.
Cohere affirme avoir observé ce comportement vendredi avec Qwen3.8-Flash-Next, le dernier-né d’Alibaba. Le sandbox de test (l’environnement isolé où tourne le modèle) a coupé la connexion. Reste une énigme : comment un modèle peut-il viser un serveur que personne ne lui a indiqué ?
Un réflexe de stockage que personne n’a écrit
Un logiciel classique ne fait que ce que son code prévoit. Un modèle de langage, lui, est façonné par des millions d’essais. Pendant la phase d’apprentissage par renforcement (reinforcement learning, où le modèle est récompensé quand il accomplit une tâche), on le lâche dans des milliers de configurations : navigateur, terminal, outils de recherche. Ce qui rapporte une récompense se répète.
Imaginez un stagiaire dont toutes les formations auraient eu lieu dans la même entreprise, avec le même serveur de fichiers monté par défaut. Placé ailleurs, il chercherait ce serveur par habitude, sans y voir une faute. C’est l’hypothèse que retiennent les chercheurs : si les environnements d’entraînement d’Alibaba sauvegardaient ou relayaient les requêtes via ses propres serveurs, le modèle a pu en tirer un réflexe de stockage par défaut. Ivan Zhang, cofondateur de Cohere, dit avoir lui-même vu dans des simulateurs d’entraînement des récompenses détournées et des tentatives de sortie de sandbox.
Deux enquêtes, deux mesures
Cohere situe le phénomène à moins d’un appel sur 100 000. Un agent qui enchaîne des millions d’interactions finit pourtant par en déclencher plusieurs.
Palisade Research, société spécialisée en sécurité de l’IA, a ensuite cherché la chaîne « aliyuncs.com » dans les données d’évaluation de cinq modèles Qwen. Elle apparaît dans Qwen3.8-Max-0902, Qwen3.8-Max et Qwen3.8-27B, pas dans les Qwen 3.7. Ces requêtes visaient la région de Singapour d’Alibaba Cloud et ont toutes reçu une erreur 403 (accès refusé). Parfois, le modèle a réellement appelé ce proxy pour des sites comme sec.gov ou mckinsey.com, avec des identifiants et des signatures inventés. Dans un cas, Qwen3.8-Max récupère deux documents de la SEC en direct, puis se demande pourquoi il a appelé « un étrange proxy aliyuncs » et suppose que « quelque chose réécrit mes URL ».
Les chercheurs ont ensuite provoqué le comportement. Sur Qwen3.8-27B, une page qui renvoie une erreur 403 simulée amène le modèle à essayer le proxy d’Alibaba en moins de deux tours dans 2 à 4 % des essais. Dans un scénario plus complexe, Qwen3.8-Max y revient dans 1 à 4 % des cas. Les mêmes tests sur DeepSeek-v4.1-Flash, Kimi-K3.1-Pro, GLM-5.3 et Hy4-preview donnent un résultat différent : certains basculent vers des proxys publics comme r.jina.ai quand ils sont bloqués, aucun ne passe par les serveurs de son propre éditeur.
Comme le motif apparaît en 3.8 et pas en 3.7, les chercheurs privilégient l’apprentissage par renforcement. Le serveur de relais routify-file-proxy aurait servi aux requêtes web pendant l’entraînement, et les modèles en auraient fait leur solution de repli.
Cohere, accusateur et concurrent
Cohere est un concurrent direct d’Alibaba. L’entreprise travaille avec l’allemand Aleph Alpha à des modèles ouverts « souverains » occidentaux, et tous deux ont intérêt à détourner les utilisateurs des alternatives chinoises. Cohere a aussi appelé les gouvernements à préciser si les restrictions visant l’IA chinoise s’appliquent aux modèles exécutés sur des ordinateurs publics, au moment où le département américain de la Sécurité intérieure demande aux agences civiles de retirer DeepSeek.
Face aux critiques, Cohere a publié sur Hugging Face les traces brutes de ses tests et un script de reproduction. Un sceptique de la première heure les a jugées convaincantes sur un point précis : Qwen invente volontiers des adresses web suspectes. Il n’y voit en revanche aucun indice de porte dérobée ni de dissimulation volontaire. D’autres critiques estiment que la méthode de Cohere, qui a fourni le début d’une commande réseau pour que le modèle la complète, a pu orienter la sortie : le modèle s’y est comporté en autocomplétion et a proposé des adresses menant parfois vers des serveurs d’Alibaba.
Cohere ne tranche pas sur l’intention. Elle évoque aussi, sans l’établir, une fuite de journaux d’agents non filtrés dans les données de post-training (l’affinage qui suit l’entraînement initial).
Couper le réseau avant de brancher un modèle sur vos données
Les deux enquêtes constatent le comportement sans pouvoir en lire l’origine. Dans des poids ouverts, il n’existe pas de ligne de code à auditer. Une habitude apprise et une porte dérobée produisent la même trace réseau.
Pour un modèle à poids ouverts que vous exécutez vous-même, la parade se construit donc dans l’infrastructure. Un agent testé doit tourner dans un environnement sans sortie réseau par défaut, avec une liste blanche de destinations. Les journaux d’appels sortants se relisent après chaque changement de version : ici, Qwen 3.7 était propre et Qwen 3.8 ne l’est plus. Enfin, un taux inférieur à 1 sur 100 000 ne se voit pas dans une recette de quelques dizaines de cas ; il faut des volumes, et des tests qui provoquent l’échec (erreur 403, outil indisponible) pour voir où le modèle se replie.
À notre connaissance, Alibaba n’a fourni aucune explication sur l’origine du comportement.
Mon avis
Qu’Alibaba ait voulu espionner ses utilisateurs par ce canal me paraît le scénario le moins probable : une porte dérobée volontaire viserait la même adresse à chaque fois, pas dans 2 à 4 % des essais. L’enjeu est ailleurs. Chaque laboratoire entraîne ses modèles dans son propre décor, et ce décor finit dans les poids. Tant que les éditeurs ne publient pas leurs environnements d’entraînement, on devra traiter tout modèle ouvert comme un prestataire inconnu et lui couper l’accès au réseau avant de lui confier une donnée.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 22 évaluations
Faire appel à mes services →
