L’essentiel
- Alibaba a publié les poids ouverts de Qwen3.8-2.4T-A95B, son plus gros modèle : 2 400 milliards de paramètres au total, 95 milliards activés par token, jusqu’à 1 million de tokens de contexte.
- Servir le modèle tel quel suppose une infrastructure de datacenter : NVIDIA annonce plus de 4 000 tokens par seconde et par GPU, et plus de 350 tokens par seconde et par utilisateur, sur un rack GB300 NVL72 en précision FP8 dès le premier jour.
- Unsloth annonce avoir ramené les 4,9 To de poids à 397 Go, soit 91 % de moins, par quantification sélective en 1 bit, une version qui demande au moins 450 Go de mémoire pour tourner en local.
Alibaba a mis en accès libre les poids de Qwen3.8-2.4T-A95B, le modèle qui sert de socle à son service Qwen3.8-Max, et le plus grand qu’il ait jamais ouvert. Le téléchargement fait 4,9 To, davantage que ce que stocke une machine de bureau bien équipée. Alibaba n’est pas seul à jouer à cette échelle : Moonshot avait ouvert peu avant Kimi K3 et ses 2 800 milliards de paramètres, quand DeepSeek V4 Pro en aligne 1 600 milliards pour 49 milliards activés par token.
Le droit d’utiliser ces poids ne dit rien du matériel qu’il faut pour les exécuter. L’architecture du modèle, elle, en dit beaucoup.
2 400 milliards de paramètres stockés, 95 réveillés par token
Un réflexe à corriger d’emblée : un modèle de 2 400 milliards de paramètres ne fait pas travailler ses 2 400 milliards de paramètres à chaque mot produit. Qwen3.8 repose sur une architecture MoE (mixture of experts) dite « à grain fin » : au lieu d’une poignée de gros blocs spécialisés, la capacité est répartie entre un grand nombre de sous-réseaux plus petits, les experts.
Un routeur, entraîné en même temps que le reste, décide pour chaque token quels experts réveiller. La fiche technique donne le résultat : 95 milliards de paramètres actifs par token, sur les 2 400 milliards stockés.
L’image la plus juste est celle d’un hôpital plutôt que d’un cabinet de généraliste. Vous n’avez pas besoin que tous les services vous examinent : l’accueil vous oriente vers deux ou trois spécialités, et c’est l’établissement entier qui doit exister pour que cette orientation soit possible. Le coût de calcul suit les paramètres activés ; le coût de stockage, lui, suit le total. Calcul et stockage cessent donc d’aller de pair, et tout le reste découle de cet écart.
L’attention, ce poste qui enfle quand la conversation s’allonge
Le second goulot n’a rien à voir avec la taille du modèle : il vient de la longueur du contexte. Dans une couche d’attention classique, chaque token regarde tous les précédents, et le KV cache (la mémoire des états intermédiaires) grossit à mesure que l’échange s’étire. Sur une question courte, c’est indolore. Sur un workflow agentique qui empile instructions système, sorties d’outils, documents récupérés, code et traces de raisonnement, c’est ce cache qui finit par saturer la machine.
Qwen3.8 alterne donc deux types de couches. Les couches d’attention complète conservent la vision globale ; les couches d’attention linéaire remplacent le cache croissant par un état récurrent borné, de taille fixe. Le modèle garde ainsi calcul et mémoire sous contrôle jusqu’à 1 million de tokens de contexte, pour des sorties allant jusqu’à 128 000 tokens.
S’ajoute un réglage que les développeurs vont apprécier : trois niveaux de profondeur de raisonnement (low, high, xhigh), configurables requête par requête. Vous montez d’un cran pour un raisonnement multi-étapes difficile, vous descendez pour traiter des documents en masse. Le compromis entre calcul et qualité devient un paramètre, et non plus une fatalité.
Pour servir le modèle brut, il faut 72 GPU dans une seule armoire
Toute cette ingénierie rend les 2 400 milliards de paramètres servables ; elle ne les rend pas légers pour autant. NVIDIA a publié sa recette de déploiement : un rack GB300 NVL72, soit 72 GPU Blackwell Ultra réunis dans un même domaine NVLink (le réseau interne qui relie les GPU entre eux) à 130 To/s de bande passante. Cette interconnexion n’est pas un détail de fiche produit : dans un MoE à grain fin, les tokens circulent en permanence entre des experts répartis sur les GPU, et un réseau standard s’effondrerait sur ce trafic.
Les chiffres avancés dès le premier jour, sans réglage supplémentaire : plus de 4 000 tokens par seconde et par GPU, plus de 350 tokens par seconde pour un utilisateur donné, en précision FP8, un format sur 8 bits qui divise par deux la mémoire occupée par rapport au BF16 courant. Le fabricant annonce des gains supplémentaires avec le format NVFP4, plus compact encore. L’ouverture des poids s’accompagne donc d’un ticket d’entrée matériel qui se compte en armoires de datacenter.
Unsloth comprime les mêmes poids dans 397 Go
Un projet open source s’attaque précisément à ce ticket d’entrée. L’équipe d’Unsloth annonce avoir compressé le modèle de 4,9 To à 397 Go, soit 91 % de moins, par une quantification dynamique en 1 bit appliquée sélectivement : toutes les couches ne subissent pas le même traitement, celles qui portent la qualité du raisonnement gardent une précision supérieure, les autres encaissent la compression brutale.
Pour exécuter cette version, il faut compter au moins 450 Go de mémoire cumulée, RAM et VRAM confondues. On ne parle toujours pas d’un ordinateur portable : plutôt d’un serveur bien doté ou d’une station de travail sérieusement équipée. Mais entre un rack de 72 GPU et une machine unique à 512 Go de RAM, l’écart de coût se compte en ordres de grandeur.
Deux réserves, cependant. La perte de qualité induite par une compression aussi agressive ne se lit dans aucune mesure publique à ce stade, et la comparaison avec les modèles fermés de dernière génération, relayée dans l’annonce, relève de la communication de l’éditeur tant qu’aucun tiers ne l’a reproduite. Avant de bâtir quoi que ce soit dessus, faites tourner vos propres évaluations sur vos propres tâches.
Le déplacement de fond est ailleurs. Obtenir un modèle de pointe relevait jusqu’ici d’une négociation de licence : droit de l’utiliser, de le modifier, de le déployer chez soi. Sur Qwen3.8, ce droit est acquis, et ce qui bloque tient désormais dans une salle machine : 450 Go de mémoire au minimum, un rack NVLink au maximum. Une licence se négocie en quelques semaines, un budget matériel s’amortit sur trois ans, et les deux ne mettent pas les mêmes gens autour de la table.
Mon avis
Une publication de poids à 4,9 To sans technique de compression derrière, c’est un communiqué de presse, pas un outil. Je regarde donc surtout, pour les prochains mois, le travail sur la quantification : passer de 4,9 To à 397 Go crée plus de valeur d’usage que 200 milliards de paramètres supplémentaires. Je constate aussi que chaque publication de poids ouverts à cette échelle renforce mécaniquement le fournisseur de matériel, et que l’écosystème ouvert n’a aucune réponse à cela pour l’instant. Et tant qu’aucune évaluation indépendante ne chiffrera la dégradation réelle de la version 1 bit, je considérerai ces 397 Go comme une prouesse d’ingénierie à vérifier, pas comme un modèle de production.
