Un agent qui tourne en continu passe l’essentiel de son temps à faire des choses peu glorieuses : appeler un outil, vérifier ce qu’il renvoie, déléguer à un sous-agent, recommencer. Nvidia vient de publier un modèle ouvert qui assume de ne pas être le plus intelligent de sa catégorie, à condition d’expédier ce travail-là beaucoup plus vite que les autres. Le chiffre qu’il met en avant : près de 670 tokens par seconde.
Un débit mesuré sur des poids en 4 bits
La mesure vient d’Artificial Analysis, plateforme indépendante d’évaluation de modèles. Nemotron 3.5 Lightning y atteint 669 tokens par seconde, le débit le plus élevé du panel comparé, presque le double du Gemini 3.5 Flash-Lite de Google (386 tokens par seconde).
La seconde mesure compte davantage en exploitation réelle : le temps nécessaire pour boucler une tâche de l’Intelligence Index. Une demi-minute environ pour Lightning, contre 3,5 minutes pour Qwen3.6 35B A3B et 5,8 minutes pour Gemma 4 31B. Un facteur sept d’un côté, près de douze de l’autre. Ce temps par tâche combine deux choses : la vitesse de génération et la quantité de tokens que le modèle dépense pour arriver au bout. Lightning en produit à peu près autant que son prédécesseur, Nemotron 3 Nano 30B A3B, mais en tire de bien meilleurs résultats.
Une précision s’impose avant de reprendre ces mesures telles quelles. Elles ont été réalisées avant la sortie publique, sur les poids finaux au format NVFP4, une compression maison des poids en 4 bits, exécutée sur du matériel Nvidia. Le constructeur mesure donc sa propre optimisation sur sa propre infrastructure. Un point en sa faveur : cette version compressée obtient le même score d’intelligence que la version BF16 non compressée, la perte de qualité reste donc marginale.
Un score de 24, et un plafond assumé
Sur l’Intelligence Index d’Artificial Analysis, le modèle affiche un score de 24, contre 15 pour son prédécesseur direct. Neuf points gagnés d’une génération à l’autre, de quoi le hisser au niveau de gpt-oss-120b d’OpenAI avec quatre fois moins de paramètres, juste derrière Nemotron 3 Super et ses 26 points, un modèle pourtant environ quatre fois plus gros.
La comparaison devient moins flatteuse à taille équivalente. Qwen3.6 35B A3B est à 32 points, Muse Glimmer de Meta à 35. Huit à onze points d’écart dans la même classe de gabarit, ce n’est pas du bruit de mesure. Le meilleur rapport entre intelligence et vitesse demeure du côté des modèles propriétaires : Gemini 3.5 Flash-Lite obtient 37 points pour un temps par tâche comparable, et GPT-5.6 Luna en configuration maximale monte à 52 points en moins de deux minutes.
Ces 669 tokens par seconde achètent du volume : plus de tâches traitées par heure. La finesse de raisonnement, elle, reste chez les autres, et Nvidia ne s’en cache pas. Le constructeur positionne explicitement le modèle sur la couche d’exécution, pas sur la planification.
L’écart se retourne sur les tâches agentiques
Le classement change de sens dès qu’on quitte les épreuves de raisonnement pur. Sur GDPval-AA v2, Lightning atteint un classement Elo de 824, soit 334 points de plus que Nemotron 3 Nano. Il dépasse gpt-oss-120b (800) et même Nemotron 3 Super (698), le gros modèle de la famille. Sur Terminal-Bench v2.1, le score passe de 7 % à 24,3 %, tout près des 26,2 % de gpt-oss-120b.
Ces deux chiffres méritent d’être remis à leur place. Un classement Elo, le système de cotation relative emprunté aux échecs, dépend entièrement du panel de comparaison : un bond de 334 points dit autant sur la faiblesse du point de départ que sur la solidité du point d’arrivée. Quant aux 24,3 % de Terminal-Bench, ils signifient qu’environ trois tâches sur quatre échouent encore. Un modèle d’exécution à ce niveau ne se lâche pas seul dans la nature : il suppose une boucle de vérification, des relances, et un modèle plus capable pour surveiller.
Nvidia a d’ailleurs travaillé le post-entraînement avec des partenaires métier comme CodeRabbit et Harvey, pour muscler des domaines précis. Signe que la performance générique ne suffit pas à ce format : le gain se joue surtout après spécialisation.
Un modèle de 31,6 milliards de paramètres qui n’en active que 3,6
L’architecture explique le débit. Il s’agit d’un modèle à mélange d’experts (MoE) : un routeur interne n’active que quelques experts par token, si bien que 3,6 milliards de paramètres seulement travaillent à chaque instant, sur 31,6 milliards au total. Le modèle approche ainsi la capacité d’un gros modèle dense pour le coût de calcul d’un petit, et conserve l’architecture hybride Mamba-Transformer de son prédécesseur.
S’y ajoute le décodage spéculatif, où le modèle devine plusieurs tokens d’avance et ne garde que ceux qui se confirment, intégré dès l’entraînement, aux côtés des optimisations d’inférence DFlash et DSpark. L’entraînement a été calibré pour les environnements d’agents comme OpenClaw et Hermes Agent, pris en charge par la pile logicielle NemoClaw. Le modèle ne traite que du texte, avec une fenêtre de contexte d’un million de tokens.
La licence OpenMDW-1.1 libère les poids, les données d’entraînement et les recettes. Deux voies pour l’adapter à un métier : le LoRA, qui ajoute de petites matrices d’adaptation en laissant les poids d’origine intacts, ou le SFT complet, un réentraînement supervisé sur l’ensemble des poids. NeMo Automodel et NeMo Megatron Bridge s’en chargent, NeMo RL et NeMo Gym prennent le relais pour l’apprentissage par renforcement. Le modèle tourne d’une station DGX Spark jusqu’au data center, et l’inférence serverless est déjà proposée par DeepInfra, Fireworks, FriendliAI, CoreWeave, GMI Cloud, Nebius ou Crusoe.
Nvidia livre aussi le routeur qui va avec
Nvidia accompagne la sortie de NeMo Switchyard, une bibliothèque qui aiguille chaque tâche vers le modèle le mieux adapté. Le raisonnement se tient : un modèle haut de gamme, Nemotron 3 Ultra en l’occurrence, pour l’orchestration et la planification, un petit modèle rapide pour le gros du volume. La division du travail n’a rien d’inédit, Anthropic défend la même depuis Haiku 4.5, avec un modèle de planification qui découpe le problème et une escouade de petits modèles rapides qui traitent les sous-tâches en parallèle. Elle sert aussi les intérêts du constructeur, qui vend le matériel sur lequel tout cela tourne, et dont les chercheurs soutiennent depuis l’an dernier que les modèles sous 10 milliards de paramètres suffisent à la majorité des tâches d’agents.
Avant de refondre votre architecture, mesurez une chose simple chez vous : la part de vos appels qui relève de l’exécution pure, appel d’outil, validation de résultat, transformation de format. Si elle est minoritaire, ajouter un routeur coûtera plus de complexité qu’il ne rapportera de secondes. Si elle domine votre trafic, l’arbitrage tient, à condition de budgéter les échecs mesurés par Terminal-Bench et de câbler la vérification qui va avec.
Un routeur mal réglé enverra les tâches délicates au modèle rapide, et les secondes gagnées repartiront en reprises. Ce réglage décidera de ce que vaut Lightning en production, davantage que le débit affiché sur la fiche produit.
