L’essentiel
- Google DeepMind a converti son modèle Gemma-4-26B-A4B en modèle de diffusion texte, DiffusionGemma, en consommant moins de 10 % du budget de tokens de l’entraînement d’origine.
- Le modèle obtenu génère environ 1 500 tokens par seconde et résout près de 85 % des grilles de sudoku, une tâche à laquelle le modèle de départ échoue entièrement.
- La qualité reste en dessous du Gemma 4 autorégressif, et l’avantage de vitesse s’efface au-delà d’environ 32 requêtes simultanées.
Un modèle de langage écrit comme on tape au clavier : un token (l’unité de texte qu’il manipule, mot ou fragment de mot) après l’autre, sans jamais revenir en arrière. Google DeepMind vient de montrer qu’on peut lui apprendre l’inverse sans repartir de zéro. La recette tient en deux étapes et moins de 10 % du budget d’entraînement initial.
Écrire un texte comme on développe une photo
Pourquoi vouloir qu’un modèle cesse d’écrire de gauche à droite ? Parce qu’un transformer autorégressif (l’architecture standard, qui prédit chaque mot à partir des précédents) s’engage sur le premier mot de sa réponse avant d’avoir fini de raisonner. Le rapport technique de Google en donne un cas d’école en mathématiques : Gemma 4 commence sa réponse par « -1 », comprend en cours de démonstration que la bonne valeur est « -25 », et rajoute la correction après coup.
Un modèle de diffusion procède autrement. Il part d’un bloc de texte entièrement bruité et le débruite par passes successives, comme une photographie argentique qui se révèle dans le bain : les masses d’abord, les détails ensuite. Tous les mots de la réponse existent dès la première passe, à l’état flou, et chaque itération les précise. DiffusionGemma élabore donc la réponse et le raisonnement en parallèle, ce qui lui permet de réparer une erreur avant que la sortie ne soit figée.
Deux étapes pour convertir un transformer
La conversion se joue en deux temps. Le modèle apprend d’abord à reconstruire des blocs de texte bruités à partir de données d’exemple. Vient ensuite une seconde phase, qui fusionne apprentissage par renforcement et distillation d’échantillonneur en un seul processus : le renforcement pousse la qualité des réponses, la distillation apprend au modèle à se contenter de moins de pas de calcul.
Cette combinaison fait gagner dix points en moyenne sur les benchmarks de raisonnement, tout en multipliant par près de quatre le nombre de tokens produits à chaque pas de calcul. Effet de bord notable : les réponses de DiffusionGemma sont environ 50 % plus courtes, ce qui accélère encore le débit. Au compteur : environ 1 500 tokens par seconde sur un seul GPU H100 (le processeur graphique de référence pour l’entraînement), plusieurs fois le débit des Gemma 4 classiques.
Le sudoku, une grille que l’ordre d’écriture rend insoluble
La bascule se mesure mieux sur une grille de sudoku que sur un exercice de dissertation. Chaque case y dépend de cases qui viennent après elle : un modèle qui écrit strictement de gauche à droite doit deviner avant de savoir. Après un fine-tuning minimal (un court réentraînement sur des exemples dédiés), DiffusionGemma en résout près de 85 % correctement, quand le modèle de base échoue complètement sur l’exercice.
La même logique vaut pour les sorties structurées. Un JSON (format texte d’échange de données) à produire ou un correctif de code s’achèvent en deux ou trois étapes de raffinement seulement, parce que l’entrée détermine déjà la majorité des tokens attendus. Ce sont précisément les tâches qui encombrent les chaînes d’agents : appels d’outils, formats contraints, patchs à appliquer. Et le Gemma 4 autorégressif reste disponible à côté : on choisit le modèle selon la tâche, sans en imposer un partout.
Des boucles de répétition et une qualité en retrait
Le prix de la conversion se lit dans les résultats bruts, inférieurs à ceux du modèle autorégressif dont il sort. Google en donne les raisons : DiffusionGemma n’a pas été entraîné comme un modèle de diffusion dès l’origine mais transformé après coup, la phase d’entraînement supplémentaire a été courte, et le réglage final a privilégié la vitesse sur la qualité maximale. L’architecture, les données et les paramètres viennent de Gemma 4, sans avoir été pensés pour la diffusion.
Cela se voit à l’usage. Le modèle se coince parfois dans des boucles de répétition, produisant le même mot plusieurs fois d’affilée, conséquence assumée d’un nombre de pas de calcul rogné trop fort. Sur les tâches multimodales, il lui arrive d’oublier de refermer proprement sa section de raisonnement, ce qui plombe artificiellement ses scores.
La limite la plus concrète concerne le service en production : le gain de vitesse vaut surtout pour un utilisateur seul. Passé une trentaine de requêtes simultanées, les modèles autorégressifs classiques rattrapent leur retard. Le bénéfice se joue donc sur le régime de charge : franc sur la latence d’un poste de travail ou d’un agent dédié, quasi nul sur le débit d’une API chargée. Et ce qu’on économise en génération, on le repaie en aval : détection de boucles, validation des sorties, garde-fous sur les réponses tronquées.
Qui peut désormais tenter la bascule sur ses propres poids
Jusqu’ici, disposer d’une architecture de diffusion texte supposait un pré-entraînement complet, un ticket d’entrée réservé à une poignée de laboratoires capables de mobiliser les GPU nécessaires. Une conversion à ce prix déplace le curseur : quiconque possède déjà un transformer entraîné, ou un modèle ouvert solide, peut tenter l’opération sur ses propres poids. Le terrain n’est pourtant pas vierge : Inception Labs commercialise déjà Mercury 2, un modèle de diffusion accessible par API, et Google exploite son propre Gemini Diffusion, resté en démonstration expérimentale. Ces deux-là ont été conçus pour la diffusion dès le pré-entraînement, précisément le préalable que la conversion fait sauter.
C’est là que se situe l’apport de Google DeepMind, méthodologique avant d’être commercial. L’architecture cesse d’être un privilège d’entraînement pour devenir une option de fin de chaîne, avec un compromis chiffré à arbitrer. L’écart de qualité, lui, ne se refermera pas par la conversion seule : il y faudra des modèles pensés pour la diffusion dès le premier token. En attendant, la recette est publiée, et elle tient dans le budget d’une équipe ordinaire.
Mon avis
La qualité manquante ne se rattrapera pas avec un entraînement plus long : elle est inscrite dans le fait d’avoir hérité d’une architecture et d’un corpus pensés pour l’autorégressif. Ce qui me paraît décisif dans DiffusionGemma, c’est qu’il transforme une frontière technique en simple ligne budgétaire, accessible à qui a déjà un modèle entraîné sous la main. Les conversions les plus intéressantes des prochains mois ne viendront donc pas de Google, mais d’équipes qui appliqueront cette recette à leurs modèles ouverts pour gagner en latence sur des tâches d’agent, et qui découvriront la facture dans leur couche de validation.
