Quand on imagine un grand modèle de langage en train de répondre, on voit un datacenter : des rangées de GPU, une facture cloud qui monte, une API lointaine à laquelle on confie tout. Deux projets publiés à quelques heures d’écart s’en prennent à cette image. Ils partagent la même cible, mais empruntent deux chemins qui se tournent le dos.
Descendre ou agréger : deux gestes inverses
Le premier, VKUE (moteur d’exécution ubiquitaire signé VIDRAFT), prend un seul modèle et rétrécit le matériel dont il a besoin. Les mêmes poids, le même fichier, tournent d’un B200 de datacenter jusqu’à un ordinateur portable équipé d’une carte de 8 Go, puis sur un serveur sans le moindre GPU. Le débit s’effondre au passage : 18 057 tokens par seconde au total sur le B200, environ 17 sur le CPU seul. Mais le modèle, lui, ne change pas d’un octet.
Le second, Mesh LLM, publié sur le blog d’iroh, fait l’exact opposé. Plutôt que de faire tenir un modèle sur une machine modeste, il met en commun les GPU et la mémoire déjà installés sur plusieurs machines, puis expose l’ensemble derrière une unique API compatible OpenAI. Son catalogue va d’un petit modèle de 500 millions de paramètres, qui tient sur un portable, jusqu’à un géant Mixture-of-Experts de 235 milliards de paramètres : un écart de 470 fois, servi par la même couche.
D’un côté on comprime vers le bas, de l’autre on étale sur les côtés. Deux façons de rendre le datacenter facultatif.
La sparsité d’un côté, le maillage de l’autre
VKUE ne tient pas par un noyau de calcul miraculeux, mais par la structure du modèle. Ourbox-35B-JGOS, de la famille Qwen3-Next, compte 34,7 milliards de paramètres au total, dont seulement 3 milliards environ s’activent à chaque token (une architecture MoE, pour Mixture-of-Experts, où un routeur ne réveille qu’une poignée d’« experts » sur les 256 disponibles). Or le décodage n’est pas limité par la puissance de calcul, mais par la bande passante mémoire : ce qui compte, c’est le nombre d’octets déplacés par token.
Un modèle dense de 34 milliards fait circuler près de 16,7 Go à chaque token et étouffe une carte de 8 Go. La version sparse en déplace environ 1,45 Go, soit onze fois moins. On garde les experts en mémoire vive, on ne laisse sur le GPU que l’attention et le routeur, et un raisonneur de cette taille tourne à vitesse utilisable là où il n’aurait jamais dû démarrer. Un test à l’aveugle le confirme : sur le même portable, avec la même quantification, le modèle sparse tient 20 tokens par seconde contre 5,4 pour un dense équivalent, soit 3,7 fois plus grâce à la seule sparsité.
Mesh LLM ne rétrécit rien. Il découpe la charge. Pour chaque requête, le maillage décide si le modèle tourne en local, part vers une machine voisine, ou se répartit sur plusieurs à la fois. Le calcul ne disparaît pas : il se disperse sur du matériel que vous possédez déjà. L’idée n’est pas isolée : le projet open source exo fédère déjà téléphones, portables et Mac en un cluster unique, et Mesh LLM la pousse plus loin en s’appuyant sur le réseau pair-à-pair d’iroh pour relier des machines où qu’elles soient.
L’un promet l’ubiquité, l’autre la souveraineté
Au-delà du vocabulaire de démonstration, les deux projets ne vendent pas la même chose. VKUE vend l’accès : faire vivre un modèle capable là où l’on n’avait qu’un portable ou un vieux serveur, sans réécrire quoi que ce soit. Sa promesse tient en un mot, « n’importe où ».
Mesh LLM vend le contrôle. Ses auteurs formulent sans détour ce qu’on abandonne en consommant un modèle par API propriétaire : la maîtrise du moment où le modèle change, celle de l’endroit où vont les données, celle du matériel qui exécute la charge. Une mise à jour silencieuse côté fournisseur peut déplacer le comportement d’un service en production sans qu’une ligne de code ait bougé. Pour un secteur régulé, savoir où transite une requête n’est pas un confort, c’est une obligation.
Aucun des deux ne joue la performance brute, et tous deux le disent. VKUE assume ses 17 tokens par seconde sur CPU : c’est lent, mais ça marche. Mesh LLM parie sur la prévisibilité du coût et la localisation des données plutôt que sur le débit. La vitesse reste au datacenter. Ce qui en sort, c’est l’obligation d’y passer.
Le calcul redevient un choix
Pour qui déploie un modèle en production, la conséquence est concrète. Faire tourner un raisonneur sérieux sur son propre matériel n’est plus un exercice de laboratoire réservé aux acteurs qui alignent les cartes par centaines. Deux pistes deviennent réalistes : exécuter les modèles MoE au format GGUF (le format de fichier des modèles servis en local) sur une seule machine, ou mutualiser un parc existant derrière une couche compatible OpenAI, sans toucher au code client.
Restent les zones d’ombre, que ni l’un ni l’autre ne masque. Les chiffres de VKUE sont mesurés, mais en flux unique et à des débits qui excluent le service de masse. Mesh LLM, encore jeune, doit composer avec la latence réseau dès que la requête voyage d’une machine à l’autre, et son billet reconnaît lui-même ce qui n’est pas encore tranché. Distribuer un modèle n’efface pas la physique, il en répartit la facture.
Reste que la démonstration commune est faite. Faire tenir 235 milliards de paramètres sur des machines ordinaires, ou 34,7 milliards sur un CPU nu, ce n’était pas censé être possible sans passer par le cloud d’un fournisseur. Ça l’est. Le monopole du GPU loué ne tient donc plus à une impossibilité technique : il tient à l’économie, à la commodité et à l’habitude. Autant de verrous qu’une entreprise peut désormais décider de faire sauter, si elle juge que le prix du confort est devenu trop lourd.
