Trois milliards de paramètres. C’est tout ce dont a besoin VibeThinker-3B, signé Sina (la maison mère du réseau social chinois Weibo), pour talonner des modèles deux cents à trois cents fois plus gros sur les épreuves de mathématiques et de programmation. Sur le benchmark AIME26, il rivalise avec DeepSeek V3.2 et Kimi K2.5. Et il ne s’agit pas d’un « bon élève pour sa taille » : il entre carrément dans la fourchette de performance de Gemini 3 Pro, GLM-5 et Claude Opus 4.5.
Le chiffre est spectaculaire. Mais l’idée qui le sous-tend l’est davantage, et c’est elle qui dessine la trajectoire des deux prochaines années.
Ce que le petit modèle sait faire, et ce qu’il ne sait pas
Les résultats publiés par Sina dans son rapport technique racontent deux histoires opposées. Sur les tâches structurées, à solution vérifiable (olympiades de maths, défis de programmation), VibeThinker-3B se tient au niveau de GLM-5 ou Gemini 3 Pro. Sur LiveCodeBench, il bat tous les modèles de moins de 20 milliards de paramètres.
Pour écarter le soupçon de contamination des données d’entraînement, l’équipe l’a fait concourir sur de vrais tournois LeetCode organisés entre fin avril et fin mai 2026, donc après la fin de son entraînement. Verdict : 123 problèmes résolus sur 128 du premier coup. De quoi passer devant GPT-5.2, Qwen3-Max, Kimi K2.5 et Claude Opus 4.6. Il ne reste devancé que par GPT-5.3-Codex et les Gemini 3.1 Pro et 3 Flash, et de peu.
Le tableau s’inverse avec la connaissance factuelle. Sur GPQA-Diamond, un test saturé de savoir encyclopédique, le modèle décroche nettement face à ses concurrents poids lourds. Il sait raisonner ; il ne sait pas tout.
L’hypothèse qui compte plus que le score
De cet écart, les auteurs tirent une proposition qu’ils baptisent « hypothèse de compression-couverture paramétrique ». Formulée simplement : toutes les capacités d’un modèle n’ont pas la même structure. Le raisonnement, la mécanique qui enchaîne des étapes logiques, se compresse remarquablement bien dans peu de paramètres. La connaissance factuelle, elle, ne se compresse pas : retenir des millions de faits réclame de la place, beaucoup de place.
Si elle se confirme, cette hypothèse fait plus que vanter un modèle. Elle attaque frontalement le dogme qui structure le secteur depuis cinq ans : plus gros égale plus fort. Pendant longtemps, gonfler le nombre de paramètres a été le réflexe pour gagner en performance. VibeThinker-3B suggère que, pour le raisonnement au moins, ce réflexe touche à sa limite.
La recette est dans l’après-entraînement
Le tour de force ne vient pas du modèle de base. VibeThinker-3B repose sur Qwen2.5-Coder-3B, un socle ouvert d’Alibaba. La contribution de Sina, c’est tout ce qui se passe après le pré-entraînement générique : ce qu’on appelle le post-training.
Il se déroule par étapes. D’abord un fine-tuning supervisé en deux temps, qui couvre maths, programmation et dialogue, puis cible les problèmes de raisonnement à plusieurs étapes. Vient ensuite l’apprentissage par renforcement, appliqué séquentiellement aux maths, à la programmation puis aux sciences. Une phase de self-distillation consolide les compétences acquises à chaque étape dans un modèle unique, avant un dernier passage dédié au suivi des instructions.
L’argument de l’équipe est net : la performance naît de la méthode d’entraînement, de la qualité des données et de signaux de validation fiables, pas de l’empilement de paramètres. Pendant le fine-tuning, on cultive délibérément une grande variété de chemins de résolution ; le renforcement vient ensuite muscler ceux qui marchent.
Où ça mène, et à quelle échéance
Posons le pari, daté. Si l’hypothèse de Sina tient au-delà de ce seul modèle (et plusieurs équipes vont la tester dans les mois qui viennent), l’architecture par défaut des systèmes d’IA va se réorganiser dès 2027. D’un côté, de petits modèles raisonneurs, légers, rapides, peu gourmands en calcul. De l’autre, la connaissance factuelle déportée hors des poids du modèle, dans une mémoire externe interrogée à la volée : c’est exactement la promesse du RAG (génération augmentée par la récupération), aujourd’hui périphérique, demain centrale.
Les conséquences concrètes se devinent déjà. Un modèle de 3 milliards de paramètres tourne sur du matériel modeste, voire en local. Les agents qui orchestrent des chaînes de tâches (du code, des calculs, de la planification) n’ont pas besoin d’un encyclopédiste à chaque appel : ils ont besoin d’un bon raisonneur, branché sur les bonnes données. VibeThinker n’est d’ailleurs pas seul sur ce pari : NVIDIA pousse la même logique avec sa famille Nemotron 3 Nano, des modèles compacts taillés pour le raisonnement agentique plutôt que pour tout retenir. Le coût d’inférence, lui, se divise par un facteur que peu d’acteurs pouvaient envisager il y a un an.
Restent les conditions de réalisation. Première inconnue : la généralité. Maths et code offrent des solutions vérifiables, terrain idéal pour le renforcement ; rien ne dit que la recette transpose aussi bien au raisonnement juridique, médical ou stratégique, où la « bonne réponse » est floue. Deuxième inconnue : la fiabilité de la mémoire externe, car un petit raisonneur branché sur une base bancale raisonnera parfaitement faux.
Le point de bascule à surveiller tient en une question pratique : combien de temps avant qu’un grand laboratoire ne livre, en production, un petit modèle raisonneur couplé à une base de connaissances industrielle ? Le jour où cette combinaison battra un modèle généraliste massif sur le coût ET la qualité, la course aux paramètres aura changé de sens. VibeThinker-3B n’est pas cette combinaison. Il en est la démonstration qu’elle est à portée.
