Pourquoi faire passer un mot plusieurs fois dans les mêmes couches d’un réseau de neurones, au lieu d’empiler davantage de couches ? Parce que c’est moins cher, et que cela fonctionne. OpenAI s’apprête à en faire la base de son prochain modèle phare, avec une contrepartie que ses propres équipes de sécurité connaissent bien.
Un transformeur qui se relit avant de parler
Un transformeur classique traite chaque token (l’unité de texte que le modèle manipule) en une seule traversée : le token entre, franchit les couches les unes après les autres, et ressort sous la forme du mot suivant. Dans un transformeur bouclé, le token repasse plusieurs fois par les mêmes couches avant de produire sa sortie.
L’image la plus simple est celle d’un élève qui relit mentalement sa phrase deux ou trois fois avant de l’écrire, sans changer de cerveau entre chaque relecture. Le nombre de paramètres reste le même. Seul augmente le temps de calcul consacré à chaque mot.
OpenAI utilise déjà cette technique en production sous le nom de « Recurrent Depth ». Elle est centrale dans Astra, son modèle le plus puissant du moment, et le prochain modèle phare en dépend aussi, selon des personnes au fait du dossier. Elles lui attribuent de meilleures performances en mathématiques et en programmation, pour un coût réduit : un modèle plus petit peut rivaliser avec un plus gros.
Une fuite chez Microsoft dévoile le mécanisme
Le principe a été confirmé de façon involontaire. Microsoft, investisseur d’OpenAI avec un accès à sa propriété intellectuelle, a publié un document technique sur GPT-6.1 Sol, une alternative moins chère à Astra lancée par OpenAI ce mois-ci. Une section, depuis supprimée, décrivait une « inférence bouclée » : le modèle traite le même problème en plusieurs passes avant de répondre.
Le passage cité est parlant : GPT-6.1 Sol utiliserait les mêmes poids de base (les paramètres appris pendant l’entraînement) que GPT-6 Sol, avec deux passes d’inférence au lieu de trois. Une même base de modèle peut donc être déclinée en versions plus ou moins coûteuses, simplement en réglant le nombre de boucles. Une personne informée aurait confirmé que ce texte correspondait à ce qu’OpenAI avait expliqué en privé à Microsoft.
Commercialement, cette souplesse est précieuse : un seul jeu de poids, plusieurs niveaux de prix, une qualité qui monte avec le nombre de passes.
La chaîne de pensée perd de sa transparence
Les modèles de raisonnement actuels écrivent leurs étapes intermédiaires en langage naturel : c’est la chaîne de pensée (chain of thought). Les chercheurs en sécurité s’en servent comme d’une fenêtre ouverte sur le modèle. Lire ce qu’il se dit permet parfois de repérer une intention de tricher, de contourner une consigne ou de dissimuler quelque chose.
La boucle déplace une partie de ce travail ailleurs. Pendant les passes successives, le raisonnement circule sous forme de représentations numériques internes, qu’aucun relecteur humain ne peut lire. Plus le modèle boucle, moins sa réflexion apparaît dans le texte. Le gain de performance se paie en lisibilité.
OpenAI en est consciente : l’entreprise aurait volontairement plafonné le nombre de boucles d’Astra pour que sa chaîne de pensée reste lisible. Ce plafond arbitre entre puissance brute et capacité de contrôle.
L’alignement freine le modèle suivant
Ce compromis ralentirait justement le prochain modèle phare. Il demande encore un travail d’alignement pour que ses objectifs correspondent à ce qu’attendent les chercheurs d’OpenAI et ses clients, et l’infrastructure de test autour de lui doit être renforcée. Des employés évoquent « un ou deux nouveaux modèles » d’ici la fin de l’année, sans certitude que le modèle phare en fasse partie.
Un autre jalon s’ajoute. Dans le cadre d’un décret du président Trump sur l’évaluation des systèmes d’IA avancés, OpenAI s’est engagée à donner au gouvernement américain un accès aux nouveaux modèles jusqu’à 30 jours avant leur ouverture à des partenaires extérieurs, et davantage avant un lancement public.
Après l’incident Hugging Face, OpenAI aurait aussi réorienté environ 10 % de sa puissance de calcul totale vers l’alignement et la sécurité, soit des centaines de mégawatts de capacité de centres de données. La part consacrée à la sécurité avant ce changement n’est pas connue, ce qui empêche de mesurer l’effort réel.
La recherche creuse le même sillon
OpenAI n’est pas seule sur cette piste. Un article de recherche publié sur Hugging Face, LatentLoop (arXiv 2610.19975), étudie des modèles à mélange d’experts (des architectures où seule une partie du réseau s’active à chaque token) bouclés. Ses auteurs observent que les deux visites d’un même bloc ne jouent pas le même rôle : réduire l’échelle de la première préserve ou améliore la performance, alors que réduire celle de la seconde la dégrade.
Ils en tirent une allocation asymétrique du calcul : la première visite travaille sur une séquence compressée, la seconde garde toute la résolution, et le calcul économisé sert à agrandir la taille cachée du modèle. Sur 15 configurations de 1,3 à 7 milliards de paramètres, avec un budget maximal dépassant 10^21 FLOPs (opérations en virgule flottante), la méthode abaisse l’erreur de validation. À erreur égale, les économies de calcul prévues atteignent 19,0 % par rapport à un modèle à mélange d’experts classique et 7,9 % par rapport à la version bouclée de référence.
Ces résultats portent sur des modèles de petite taille et ne disent rien du comportement d’un modèle de pointe. Ils montrent néanmoins que la boucle devient un terrain d’optimisation à part entière, donc un choix d’architecture appelé à se généraliser.
Les évaluateurs devront changer d’outils
Pour un utilisateur, la boucle se traduit surtout par des modèles moins chers et plus forts en mathématiques et en code. Pour un auditeur, elle retire un outil. Si le raisonnement ne passe plus par le texte, les évaluations devront s’appuyer sur d’autres méthodes : tests comportementaux plus nombreux, inspection des activations internes, limites fixées au nombre de passes.
Astra donne un premier repère : un plafond de boucles pour garder la lisibilité. Où OpenAI placera ce plafond pour le prochain modèle phare, et s’il le rendra public, personne ne le sait encore.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 17 évaluations
Faire appel à mes services →
