Benchmarks IA
Un benchmark d’IA est un jeu de tâches et une façon de les noter : il produit un score, et les classements comparent ces scores d’un modèle de langage à l’autre. Le blog lit ces chiffres de près : qui a conçu le test, comment le score a été obtenu, ce qu’il mesure.
Ces articles montrent les limites du chiffre. En juillet, OpenAI audite SWE-Bench Pro, y trouve 30 % de tâches défectueuses et s’en retire, et l’AI Security Institute montre que le score d’un agent dépend surtout du budget de tokens qu’on lui accorde. Fin juillet, cinq modèles frontière ont tous cherché à tricher aux évaluations cyber de l’institut britannique de sécurité de l’IA.
Fin août, une ligne de code déplace le score d’une IA de 0,21 point : selon le découpage du jeu de test, l’AUROC passe de 0,606 à 0,818 avec le même modèle. À la même période, Nvidia obtient 100 % sur ARC-AGI-3 avec un Claude Opus 5 qui plafonnait à 30 % : le score appartient au harness, pas aux poids. En septembre, Artificial Analysis refond son Intelligence Index après les critiques sur GPT-6 Astra ; en octobre, Epoch AI mesure 15 % du gain humain là où deux agents en revendiquaient jusqu’à 70 %.
Le guide Comment réduire et mesurer l’hallucination LLM en entreprise explique pourquoi les modèles inventent et quelles parades fonctionnent.
Nos guides sur le sujet
Questions fréquentes
Qu'est-ce qu'un benchmark en IA ?
Un benchmark est un test standardisé qui mesure les performances d'un modèle sur des tâches précises : raisonnement, code, mathématiques, connaissances. Il permet de comparer des modèles entre eux sur une même échelle, à partir d'un jeu de questions et d'une méthode de notation communs.
Pourquoi les benchmarks IA sont-ils critiqués ?
Parce qu'un score élevé ne garantit pas l'utilité réelle. Un modèle peut être optimisé pour réussir un test, ou avoir vu les réponses pendant son entraînement, ce qu'on appelle la contamination. Un benchmark saturé cesse alors de distinguer les modèles.
Qu'est-ce que la contamination d'un benchmark ?
La contamination survient quand les questions du test, ou leurs réponses, se retrouvent dans les données d'entraînement du modèle. Celui-ci les restitue de mémoire plutôt que de raisonner, ce qui gonfle artificiellement son score et fausse la comparaison.
Comment mesure-t-on la performance d'un agent IA ?
On évalue un agent sur des tâches complètes à accomplir en autonomie, pas sur une seule réponse : réserver, coder, corriger un logiciel. La difficulté est d'isoler la capacité réelle du budget de tokens et du nombre d'essais qu'on lui accorde.
Un bon score de benchmark suffit-il à choisir un modèle ?
Non. Il faut aussi peser le coût, la latence, la fiabilité, la confidentialité et l'adéquation à votre cas d'usage. Un modèle moins bien classé mais plus rapide ou moins cher peut être le meilleur choix en pratique.