Vous confiez un dossier de 300 pages à un agent. Il répond, mais chaque mot sort visiblement plus lentement que sur un échange court. Où part le temps ?
La réponse tient dans une mesure publiée par Nvidia sur DeepSeek-R1. Pendant la phase de lecture du prompt, la part de l’attention dans le temps de calcul passe de 18 % sur un contexte de 4 000 tokens à 85 % sur un contexte de 128 000 tokens. Autrement dit, passé une certaine longueur, un modèle ne consacre plus l’essentiel de son temps à raisonner sur ce qu’il a lu : il le passe à se relire.
Chaque token doit regarder tous les autres
L’attention dense, celle que la plupart des modèles utilisent encore, repose sur un principe simple : chaque token de la séquence regarde tous les autres. Doublez la longueur du contexte, et le travail de cette couche ne double pas, il augmente bien davantage.
Le reste du modèle, lui, ne grossit pas au même rythme. C’est exactement ce que raconte le glissement de 18 % à 85 % : les autres opérations n’ont pas ralenti, l’attention les a noyées. À l’échelle où travaillent les agents actuels, qui accumulent des tours de conversation, des résultats d’outils et des fichiers entiers, elle devient le poste dominant.
D’où le déplacement que propose Nvidia dans son billet technique : la performance d’inférence ne dépend plus seulement de la façon dont on implémente l’attention, mais de la façon dont on la dessine. Le réglage fin des kernels, ces routines de calcul écrites au plus près du matériel, ne suffit plus à rattraper un choix d’architecture.
Une requête, deux machines très différentes
Pour comprendre les règles proposées, il faut accepter une idée contre-intuitive : une même requête traverse deux régimes de calcul qui n’ont presque rien en commun.
Le prefill traite tout le prompt d’un bloc, en parallèle. Il produit de grosses multiplications de matrices et sature les unités de calcul du GPU, le processeur graphique. Le decode, lui, fabrique un token à la fois : de toutes petites matrices, mais qui exigent de relire l’intégralité du cache KV depuis la HBM, la mémoire à haute bande passante de la carte. Ce cache KV, ce sont les clés et valeurs déjà calculées, gardées pour ne pas refaire le travail du passé.
L’image la plus juste est celle d’un rédacteur avec un carnet de notes. Le prefill, c’est lire le dossier d’une traite. Le decode, c’est écrire le compte rendu mot après mot en relisant tout le carnet avant chaque mot. Le premier est limité par la vitesse de lecture, le second par la vitesse à laquelle on tourne les pages.
Nvidia formalise cette distinction avec l’intensité arithmétique, le rapport entre les opérations effectuées et les octets déplacés. Le prefill se situe au-dessus du point de bascule du modèle roofline, cette frontière au-delà de laquelle une puce est bridée par le calcul et non plus par la mémoire ; le decode reste en dessous et sature la mémoire. Deux goulots opposés, deux jeux d’optimisations, sur la même requête.
Deux réserves tempèrent ce partage. Le speculative decoding, ou décodage spéculatif, augmente le nombre de tokens traités à chaque itération et peut faire basculer le decode du côté du calcul. Surtout, le prefix caching réutilise le cache du tour précédent au lieu de le recalculer, et il s’est banalisé dans les applications multi-tours. Un nouveau tour arrive alors avec un prompt très court, mais un cache énorme derrière lui : le prefill se comporte comme du decode. Votre deuxième tour d’agent n’obéit pas aux mêmes lois que le premier.
Partager les têtes pour alléger la mémoire
Le levier central que dissèque Nvidia s’appelle le group size : le nombre de têtes de requête qui se partagent une même tête clé/valeur. Quand chaque tête a la sienne, on parle de MHA, l’attention multi-têtes classique. Quand plusieurs se partagent la même, de GQA, l’attention par groupes de requêtes. Quand toutes n’en partagent qu’une, de MQA, l’attention à requête unique.
Le compromis joue dans les deux sens. Plus le groupe est large, moins il y a de cache KV à stocker et à relire à chaque token produit, ce qui soulage directement le point faible du decode. Mais le même paramètre gonfle la taille des matrices d’attention, en prefill comme en decode : partager les têtes, c’est faire plus de travail utile par octet lu.
Les deux autres variables du triptyque sont la dimension des têtes, typiquement 64, 128 ou 256, et la longueur de séquence elle-même. Toutes les mesures sont conduites en FP8, un format de nombres sur 8 bits, aussi bien pour le calcul de l’attention que pour le cache KV : ce format divise l’empreinte mémoire et déplace donc lui aussi le point d’équilibre.
Ces trois curseurs, dont l’effet s’inverse parfois d’une phase à l’autre, se condensent chez Nvidia en quatre lignes directrices : une check-list de co-conception à l’usage de ceux qui conçoivent les modèles, pas de ceux qui les déploient.
Quand le fabricant de GPU écrit le cahier des charges
C’est là que l’exercice dépasse la note technique. Un fournisseur de matériel ne se contente plus de publier des kernels optimisés : il livre les critères architecturaux qui rendent un modèle rapide sur ses puces, formules et mesures à l’appui.
L’argument est solide, il est aussi orienté. Les chiffres proviennent de kernels maison, en FP8, sur des GPU Nvidia, sans point de comparaison avec d’autres accélérateurs. Un laboratoire qui suit ces quatre règles gagne en latence, et resserre en même temps son architecture autour d’un parc matériel précis. Le coût de sortie, lui, ne figure dans aucune des équations.
La contrainte physique, elle, ne relève d’aucun argumentaire commercial. Tant que l’attention dense occupe 85 % du temps de prefill sur un contexte de 128 000 tokens, aucune promesse de fenêtre à un million de tokens ne tient sans un traitement de fond du problème. Nvidia annonce d’ailleurs un billet consacré à l’attention sparse, celle qui ne fait regarder à chaque token qu’une partie de la séquence : le travail sur l’attention dense n’est qu’un plancher. Les laboratoires, eux, n’ont pas attendu : DeepSeek décrit dès février 2025 une attention sparse entraînée nativement dans son papier NSA, puis met le procédé en production dans DeepSeek-V3.2, avec des tarifs d’API réduits de plus de moitié à la clé.
Si vous évaluez un modèle pour un usage agentique, la conséquence est directe : chronométrez le tour numéro cinq d’une conversation longue, pas le premier appel sur un prompt vide. C’est là que se joue le confort d’usage, et c’est ce chiffre-là que les prochaines architectures devront faire baisser.
