L’essentiel
- Tencent a mis en ligne Hy4 Preview, un modèle de langage en poids ouverts de 770 milliards de paramètres, dont 49 milliards actifs par token, avec une fenêtre de contexte d’un million de tokens.
- Le dépôt pèse 1,56 téraoctet sur Hugging Face, contre 598 gigaoctets pour Hy3, publié en juillet.
- Le modèle ne prend que du texte en entrée, sans vision, et son gabarit de conversation n’expose que deux niveaux de raisonnement : « high » par défaut, et « no_think ».
Télécharger le nouveau modèle de Tencent demande 1,56 téraoctet d’espace disque. Le faire tourner en réclame bien plus. Hy4 Preview est arrivé cette semaine sur Hugging Face avec l’étiquette « poids ouverts », et une addition matérielle que sa licence ne chiffre nulle part.
1,56 téraoctet, converti en cartes graphiques
Le calcul est immédiat. Sur des accélérateurs de 80 gigaoctets, la référence actuelle en centre de données, 1 560 gigaoctets occupent une vingtaine de cartes rien que pour loger les poids. À cela s’ajoute la mémoire réservée au cache des clés et des valeurs, le cache KV, qui grimpe avec la longueur des échanges : sur une fenêtre annoncée à un million de tokens, ce poste devient à lui seul un budget.
Un mois et demi plus tôt, Hy3 pesait 598 gigaoctets pour 295 milliards de paramètres et un contexte de 256 000 tokens. En passant à 770 milliards, Tencent a multiplié par 2,6 la taille du téléchargement et par quatre la fenêtre de contexte. Moonshot avait déjà franchi les mille milliards de paramètres en avril avec Kimi K2.6. Le catalogue des modèles ouverts grossit plus vite que le matériel du lecteur ne se renouvelle.
49 milliards de paramètres actifs n’allègent pas la mémoire
Dans cette fiche technique, le chiffre censé rassurer, ce sont les 49 milliards de paramètres actifs par token, soit 6,4 % du total. L’architecture retenue, dite mixture of experts (MoE), n’active qu’une fraction des poids pour chaque token produit. Le coût de calcul reste proche de celui d’un modèle dense de taille moyenne, et la latence tient la route.
La mémoire, elle, doit accueillir l’intégralité des 770 milliards : le routeur peut solliciter n’importe quel expert au token suivant, aucun poids ne peut donc rester hors des cartes. L’économie porte sur ce qu’on calcule, jamais sur ce qu’on immobilise. Qui espérait faire tenir Hy4 sur deux accélérateurs n’y trouvera aucun secours : ces 49 milliards achètent de la vitesse, pas des cartes en moins.
Deux vitesses de raisonnement, et rien entre les deux
Le gabarit de conversation publié avec le modèle, le fichier chat_template.jinja, réserve une autre surprise. Le paramètre reasoning_effort n’accepte que deux valeurs : « high », appliquée par défaut, et « no_think », qui coupe la réflexion. Toute autre valeur lève une exception. Chez OpenAI, le même réglage compte six positions sur GPT-5.6, de « none » à « max ».
En pratique, vous payez la trace de raisonnement complète, ou vous vous en passez. Aucun arbitrage intermédiaire entre facture et qualité de réponse, alors que le mode appliqué par défaut est le plus coûteux des deux. Pour une équipe qui dimensionne un budget d’inférence, cette absence de position intermédiaire pèse plus lourd que la fenêtre à un million de tokens.
Des poids libres, une exécution facturée
Les poids sont téléchargeables, inspectables, transportables d’un hébergeur à l’autre, et personne ne peut vous couper l’accès du jour au lendemain. Ces garanties comptent, et elles restent entières. Mais la barrière d’entrée s’est déplacée du droit vers l’infrastructure : le téléchargement est gratuit, l’exécution non.
La quasi-totalité des utilisateurs passera donc par une plateforme d’inférence tierce, facturée au token, avec le même schéma de dépendance qu’un modèle fermé. Subsiste la possibilité de changer de fournisseur, un levier de négociation réel, qui ne rend pas pour autant le modèle exécutable chez vous.
Le travail qui décidera de la diffusion réelle viendra d’ailleurs : les quantifications communautaires, ces versions compressées en 4 ou 8 bits qui divisent l’empreinte mémoire au prix d’une perte de précision. Elles arriveront dans les jours qui suivent, comme pour chaque sortie de ce calibre, et elles trancheront entre un modèle utilisé et un modèle commenté.
La taille du dépôt devient la première ligne de la fiche technique
Pour comparer deux modèles ouverts, le nombre de paramètres a perdu son pouvoir informatif : il mesure l’ambition du laboratoire, pas votre capacité à l’utiliser. Quatre autres lignes de la fiche technique décident à sa place.
- La taille du dépôt, donc le nombre de cartes nécessaires pour héberger les poids.
- L’existence de quantifications exploitables sur du matériel courant.
- La disponibilité chez plusieurs fournisseurs d’inférence, faute de quoi la portabilité reste théorique.
- La granularité des réglages exposés, ici limitée à deux positions.
Hy4 Preview est un objet technique sérieux, et un contexte d’un million de tokens ouvre des usages que 256 000 interdisaient encore en juillet. La distance entre le téléchargement et la mise en production, elle, se compte désormais en dizaines de milliers d’euros de matériel. Les prochaines annonces venues de Chine se liront à cette aune.
Mon avis
Publier des poids de cette taille relève de la démonstration de force adressée aux acheteurs d’infrastructure, bien plus que du service rendu aux équipes qui expérimentent. Je surveille les quantifications des prochaines semaines : elles diront si Hy4 devient un outil ou reste une ligne de communication. Et j’attends d’ici la fin de l’année qu’on cesse de ranger sous une même étiquette les modèles ouverts qu’on peut exécuter et ceux qu’on peut seulement admirer, parce que l’écart entre les deux est devenu indéfendable.
