Nvidia déplace le verrou du GPU vers la carte réseau

Nvidia déplace le verrou du GPU vers la carte réseau

L’essentiel

  • Nvidia a publié le 24 août trois billets techniques sur ses usines à IA : Spectrum-X Ethernet, la carte BlueField-4 et les résultats agentiques de Vera Rubin.
  • Dans une simulation d’entraînement de DeepSeek-V3, un pas passe de 735 ms à 1,18 s sur Ethernet standard dès qu’un trafic voisin s’ajoute ; Spectrum-X tient 668 ms.
  • Le banc de mesure change de nature : AgentX rejoue des sessions de programmation agentique enregistrées, où la préversion de Vera Rubin NVL72 est annoncée jusqu’à trente fois plus productive par mégawatt que le GB300 NVL72.

Nvidia a mis en ligne le 24 août trois billets techniques d’un coup. Un seul porte sur une plateforme de calcul ; les deux autres parlent de switchs, d’une carte d’interface réseau et de la manière d’empêcher le trafic d’un client voisin de ruiner votre entraînement. Le fabricant qui a bâti sa domination sur le GPU consacre l’essentiel de sa pédagogie au câble, et désigne ainsi l’endroit où le temps se perd désormais dans une usine à IA.

Deux manières de compter ce qu’un agent coûte

Pendant deux ans, la performance d’un accélérateur s’est jugée sur une séquence figée : tant de tokens en entrée, tant en sortie, et on compare. Nvidia acte que ce protocole a fait son temps. Le scénario statique 8K/1K (8 000 tokens en entrée, 1 000 en sortie) sur DeepSeek-R1-0528 créditait le GB300 NVL72 de jusqu’à quarante fois plus de tokens par mégawatt qu’un H200 ; la suite InferenceX de SemiAnalysis ne l’entretient plus que pour mémoire, sans le faire évoluer.

Son remplaçant s’appelle AgentX. Le principe : rejouer tour par tour des sessions de programmation agentique réellement enregistrées, avec leur contexte qui gonfle, la réutilisation de leur KV-cache (le cache des clés et valeurs d’attention, qui évite de recalculer tout le contexte à chaque tour) et, surtout, leurs temps morts pendant qu’un outil s’exécute. Sur ce protocole, Nvidia crédite la préversion de Vera Rubin NVL72 de jusqu’à trente fois la productivité par mégawatt provisionné du GB300 NVL72.

Le déplacement de la mesure pèse autant que le résultat. Un banc à séquence fixe récompense la puissance brute. Un banc qui rejoue des sessions réelles récompense la capacité à ne pas gaspiller la salle machine pendant qu’un agent attend un appel d’outil. Les données d’usage vont dans le même sens : sur 100 000 milliards de tokens observés, le rapport State of AI d’OpenRouter voit la longueur moyenne d’un prompt passer d’environ 1 500 à 6 000 tokens, et une requête agentique consommer quinze fois les tokens d’un échange de chat ordinaire.

L’Ethernet de tout le monde contre un réseau taillé sur mesure

Le deuxième billet oppose deux régimes de trafic. Le web ordinaire produit des millions de petits flux indépendants : le routage ECMP (Equal-Cost Multi-Path) les répartit par hachage sur les chemins parallèles, et l’équilibre tombe à peu près juste. L’entraînement distribué produit l’inverse : peu de flux, énormes, synchronisés par les opérations collectives All-Reduce, All-Gather et All-to-All, où tous les GPU échangent leurs résultats intermédiaires au même instant.

Trois faiblesses apparaissent alors. Le hachage statique ignore la congestion réelle, deux gros flux se télescopent sur le même lien, et comme une collective ne se termine qu’avec son flux le plus lent, des centaines de GPU patientent. Le contrôle de flux PFC (Priority Flow Control), censé éviter la perte de paquets, propage les pauses de proche en proche et bloque des files entières derrière un seul lien saturé. Quant au contrôle de congestion DCQCN (Data Center Quantized Congestion Notification), il se règle mal sur des rafales synchronisées : il réagit trop tard, ou trop fort.

Nvidia répond en dessinant le switch et la carte réseau ensemble : routage adaptatif qui contourne les points chauds, cloisonnement du trafic par plan de commutation, technologie Multiplane pour élargir la bande passante de bissection (le débit qui reste disponible quand on coupe le réseau en deux moitiés). Deux propositions s’affrontent donc. L’Ethernet standard offre le prix, la norme et un fournisseur interchangeable. Spectrum-X offre la prévisibilité, au prix d’un couple matériel qu’on n’achète que chez un seul vendeur. Une autre voie avance en parallèle : l’Ultra Ethernet Consortium, plus de cinquante entreprises réunies sous la Linux Foundation, a publié sa spécification 1.0 en juin 2025 pour traiter la même congestion tout en gardant cartes et switchs interchangeables. Le pari de Nvidia consiste à livrer un produit qui tient ses promesses avant que cette norme n’arrive dans les baies.

Le voisin bruyant devient une ligne de facture

Dans une simulation d’entraînement de DeepSeek-V3, un pas prend 735 ms sur Ethernet standard quand la machine travaille seule. Ajoutez du trafic de fond, et le même pas grimpe à 1,18 s : 1,6 fois plus lent, sans qu’aucun GPU n’ait changé. Spectrum-X, dans le même exercice, se maintient à 668 ms.

Nvidia annonce par ailleurs qu’une collective All-to-All peut voir sa bande passante s’effondrer de plus de 80 % à cause d’un voisin mal isolé. Pour qui loue de la capacité mutualisée, la conséquence est immédiate : le prix affiché d’une heure de GPU ne dit rien de ce que vous obtiendrez le jeudi soir, quand un autre client lance son propre entraînement. Deux indicateurs valent alors mieux que la fiche produit : l’isolation du fabric, ce réseau interne qui relie les GPU entre eux, et la variance du temps de pas entre deux exécutions identiques. Réclamez la médiane et le percentile haut, jamais la meilleure exécution.

Scale-In, le pilier qui débarrasse les CPU du travail d’infrastructure

Le troisième billet introduit BlueField-4 et baptise Scale-In un cinquième pilier réseau, aux côtés du Scale-Up (NVLink entre GPU), du Scale-Out (Spectrum-X ou Quantum InfiniBand entre serveurs), du Scale-Across (Spectrum-XGS entre datacenters) et de la Context Memory (CMX, un stockage de KV-cache partagé). Son terrain : le trafic dit north-south, celui qui relie utilisateurs, agents, applications, bases de données et stockage au calcul, par opposition aux échanges entre GPU voisins.

L’argument technique est solide. Sécurité, cloisonnement entre clients d’une même machine, accès aux données et opérations tournent aujourd’hui en logiciel sur les CPU hôtes ; à plusieurs térabits par serveur, ces fonctions deviennent le facteur limitant. Un DPU (processeur d’infrastructure dédié, indépendant de l’hôte) les absorbe à la vitesse du lien. L’argument stratégique tient tout autant : chaque fonction déplacée sur la carte échappe à la pile logicielle du datacenter et revient à DOCA, l’environnement de développement maison de Nvidia.

Ces chiffres sortent tous des laboratoires du constructeur

Les 668 ms viennent d’une simulation, pas d’un cluster tiers audité. Le facteur trente par mégawatt porte sur une préversion, interprétée par le constructeur lui-même, même si AgentX est ouvert et rejoue le même trafic enregistré sur toutes les machines. Et l’étiquette Ethernet masque un couplage : le gain vient du switch et de la carte conçus ensemble, ce qui rapproche davantage Spectrum-X d’un réseau propriétaire compatible avec la norme que d’un standard ouvert.

La direction, en revanche, correspond à ce que vit toute équipe qui met des agents en production. Le coût migre de la multiplication de matrices vers les allers-retours : contexte rechargé, outil appelé, sous-agent attendu, cache manqué. Nvidia industrialise cette lecture et vend le tuyau qui va avec. À la prochaine négociation de facture, comptez les mégawatts convertis en travail utile et la part du temps où vos GPU attendent autre chose qu’eux-mêmes.

Mon avis

Dans Spectrum-X, le mot Ethernet est une concession commerciale : on achète un réseau maison avec un connecteur standard, et le verrou glisse du GPU vers la carte réseau, où personne ne le surveille. J’attends de ces douze prochains mois la fin du FLOPS (l’opération en virgule flottante, l’unité de puissance brute) comme argument de vente : les loueurs devront publier des tokens par mégawatt et une variance de temps de pas, parce que leurs clients agentiques paient l’attente autant que le calcul. Je pense aussi que l’isolation réseau finira facturée en option premium, alors qu’elle corrige d’abord un défaut de mutualisation vendu comme un avantage. Le premier fournisseur qui affichera son percentile 95 de temps de pas aura compris avant les autres ce que ses clients achètent.

Sources

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *