Les modèles n’ont pas changé d’un paramètre, et pourtant Mistral Large 4 est passé de 38 à 25 points sur l’indice d’Artificial Analysis. MiMo-V2.6-Pro de Xiaomi, DeepSeek V4.1 Flash et GLM-5.3 dépassaient tous 44 points dans la version précédente ; ils plafonnent désormais entre 30 et 32. Seule la règle de notation a bougé.
Douze modèles, une même amputation
Le tableau relevé le 28 octobre compare la page des modèles ouverts d’Artificial Analysis, encore en version 4.3.2, et le classement en version 5. Douze modèles y perdent entre 12 et 16 points, avec une médiane de 13. La plus forte baisse touche MiMo-V2.6-Pro (de 46 à 30, soit 16 points) ; les plus faibles concernent Beam 1.0 de Reflection AI, Nemotron 3.5 Super VL de NVIDIA et Inkling (12 points chacun).
En valeur relative, la lecture change. Inkling passe de 25 à 12 : il perd plus de la moitié de son score. Nemotron perd 46 % du sien (26 à 14), Mistral Large 4 34 % (38 à 25), MiMo-V2.6-Pro 35 %. Une soustraction presque constante, quel que soit le point de départ, écrase davantage les modèles du bas de tableau.
Côté fermé, les mouvements sont moindres. Claude Opus 5.5 affichait 58 points le 23 octobre et en affiche toujours 58 en version 5. Kimi K3.1 Pro de Moonshot AI, dont les poids ne sont pas publiés, passe de 55 à 46. Les meilleurs modèles fermés restent entre 50 et 58 : Claude Opus 5.5 (58), GPT-6 Astra (57), GPT-6.1 Sol (55), Claude Sonnet 5.5 (54), GPT-6.1 Terra (51) et Gemini 4 Argon (50).
Soixante pour cent du score hors de portée des laboratoires
D’après l’article de présentation de la version 5, 60 % de l’indice reposent sur des évaluations dont les jeux de test sont privés ou dont les réponses sont tenues secrètes. L’indice se répartit en quatre familles de 25 % chacune : travail intellectuel, code, sciences, connaissances générales.
Artificial Analysis cite trois exemples : FrontierCode 2.0, un banc d’essai de programmation lancé par Cognition dont les tâches restent privées pour éviter la contamination (la fuite des questions de test dans les données d’entraînement) ; un sous-ensemble de 40 questions difficiles de CritPt v2, en physique ; AA-Omniscience v1.1, purgé de ses questions publiques. La composition exacte des 60 % n’est pas détaillée.
La liste des épreuves a aussi changé. GDPval-AA, SciCode et AA-LCR sortent de l’indice, FrontierCode 2.0 et Terminal-Bench-Science (des tâches scientifiques menées dans un terminal) entrent, et HLE-Diamond remplace Humanity’s Last Exam. Le mouvement était annoncé : le 4 septembre, sur son compte X, Artificial Analysis portait la part privée à 40 % avec la version 4.2, pour empêcher l’optimisation des modèles en vue du classement, et prévenait d’une nouvelle hausse.
Mémorisation ou épreuves plus dures ?
Artificial Analysis n’explique pas la chute des modèles ouverts. Ce silence laisse deux lectures en concurrence.
- La mémorisation : des modèles réglés, directement ou non, sur des questions publiques perdent leurs points quand ces questions disparaissent.
- La difficulté : trois épreuves ont été remplacées par d’autres, et rien ne dit que les nouvelles sont de même niveau.
Les données en main ne départagent pas les deux : elles montrent que les modèles ouverts décrochent d’environ 13 points, pas pourquoi. L’uniformité de la perte plaide plutôt pour un décalage d’échelle que pour des fraudes isolées ; la stabilité d’Opus 5.5 à 58 indique de son côté que le nouveau barème ne pénalise pas tout le monde. Deux modèles fermés comparés avant et après, c’est trop peu pour conclure.
Ouvert contre fermé : 12 points ou 26 ?
Artificial Analysis met en avant un écart de 12 points entre modèles ouverts et fermés. Son calcul range Kimi K3.1 Pro (46) parmi les ouverts, alors que ses poids ne sont pas publiés. Retirez-le : le meilleur modèle aux poids téléchargeables obtient 32 points contre 58 pour Claude Opus 5.5, soit 26 points d’écart. Dans la version précédente, l’écart était de 12 points.
Autre point de comparaison : Claude Haiku 5.5, modèle fermé d’Anthropic, obtient 36 points. Il devance de quatre points le meilleur modèle ouvert. Mistral Large 4, lui aussi sans poids publiés, relève de la même réserve : tant qu’ils restent fermés, il ne plaide pas pour l’ouvert.
Votre propre jeu de test comme seule valeur sûre
Si vous avez retenu un modèle ouvert sur la foi d’un score public, ces douze pertes sont un avertissement de méthode. Un classement général mesure ce que son éditeur a choisi de mesurer, et sa composition peut changer du jour au lendemain. Une base de 50 à 100 cas tirés de votre activité, jamais publiés, offre ce que les 40 % d’épreuves publiques de l’indice n’offrent plus : une mesure que personne n’a eu l’occasion de préparer.
Ces 40 % d’épreuves publiques restent les seules sur lesquelles un laboratoire peut encore s’entraîner. Le score d’un modèle ouvert sur ces épreuves se lira de plus en plus comme un plafond, et le reste de l’indice comme un plancher.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 22 évaluations
Faire appel à mes services →
