Meta signe un 30/30 parfait, les benchmarks s’essoufflent

Meta signe un 30/30 parfait, les benchmarks s'essoufflent

Meta a fait passer un examen à l’un de ses modèles. Pas un test maison taillé pour flatter la démonstration, mais l’épreuve théorique de l’Olympiade de physique asiatique (APhO, le concours qui départage chaque année les meilleurs lycéens scientifiques du continent). Le verdict annoncé par l’entreprise sur son compte officiel : 30 sur 30. Le maximum, à égalité avec le sommet du classement.

Le chiffre est spectaculaire. Il raconte pourtant deux histoires, et elles ne pointent pas du tout dans la même direction.

Décrocher la note maximale sans maîtriser la matière

La première histoire est celle que Meta met en avant : un système capable de raisonnement avancé et multimodal (qui traite ensemble texte, schémas et formules) résout des problèmes de mécanique ou d’électromagnétisme au niveau des candidats humains les plus affûtés. C’est réel, et loin d’être trivial. Ces énoncés demandent d’enchaîner plusieurs étapes de déduction, de manipuler des équations et d’interpréter des figures : exactement le type de tâche où les modèles trébuchaient encore il y a peu.

La seconde histoire est plus dérangeante. Décrocher un 30/30 prouve que le modèle produit les bonnes réponses aux bonnes questions. Cela ne prouve pas qu’il comprenne la physique au sens où un professeur l’entend, ni qu’il saurait poser lui-même le bon problème face à une situation inédite. L’examen mesure une performance sur un format fermé, pas une intelligence transposable. Confondre les deux, c’est prendre le thermomètre pour la fièvre.

L’examen scolaire arrive au bout de sa course

C’est là que l’épisode devient instructif. Les olympiades, comme la plupart des jeux d’épreuves standardisées, ont été conçues pour trier des humains : un temps limité, un programme borné, des questions dont la solution existe et tient dans une copie. Ce cadre est un formidable révélateur pour un cerveau de lycéen. Il devient un plafond bas dès qu’on y branche un modèle entraîné sur une part immense de la littérature scientifique disponible.

Le phénomène n’est pas propre à Meta. Quelques mois plus tôt, OpenAI et Google DeepMind revendiquaient déjà un niveau de médaille d’or à l’Olympiade internationale de mathématiques 2025. Ces derniers mois, les grands modèles ont saturé les uns après les autres les tests de référence : mathématiques de niveau compétition, questions d’examen de médecine, problèmes de programmation. Quand un score parfait devient atteignable, il cesse de discriminer. Un test que tout le monde réussit ne classe plus personne, et surtout ne dit plus rien de neuf sur ce que le système sait vraiment faire.

Meta gagne un argument, la mesure perd un outil

Mettons les deux plateaux en regard. Côté Meta, le bénéfice est clair et immédiat : une preuve de force communicable en une phrase, un argument de vitrine dans une compétition où chaque laboratoire cherche le titre le plus frappant. Un 30/30 à une olympiade parle à tout le monde, y compris à ceux qui ne liront jamais une model card.

Côté écosystème, la perte est plus silencieuse mais plus profonde. Chaque benchmark académique tombé, c’est un instrument de mesure qui rend l’âme. Or sans instrument fiable, comment comparer deux modèles ? Comment vérifier qu’une nouvelle version progresse réellement, plutôt que de mieux réciter des jeux de questions qui ont pu fuiter dans ses données d’entraînement ? La contamination des données est ici le point aveugle : un modèle qui a croisé des annales d’olympiades pendant son apprentissage ne raisonne pas forcément, il peut restituer.

Le score parfait promet une victoire ; il livre surtout un doute méthodologique.

Réinventer l’épreuve, pas célébrer la note

L’exploit de Meta est moins un signal de capacité qu’une invitation à changer de règle. Couronner le meilleur score a cessé d’avoir un sens ; il faut désormais bâtir un test qu’un modèle capable de tout décrocher ne saturerait pas d’emblée. Et les réponses existent déjà : évaluations dynamiques dont les questions changent à chaque passage, problèmes inédits construits après la date de coupure des données d’entraînement, tâches ouvertes sans solution unique où l’on juge le cheminement autant que le résultat.

Concrètement, cela déplace la vigilance de l’utilisateur averti. Devant l’annonce d’un score record, le réflexe utile est de demander sur quoi porte l’épreuve, si le corpus a pu être vu à l’entraînement, et ce que le format autorise ou interdit. Un modèle qui excelle sur un examen fermé peut rester médiocre dès qu’on le sort du cadre : gérer une contrainte contradictoire, dire « je ne sais pas », reconnaître qu’un énoncé est mal posé. Ce sont ces compétences-là, mal captées par les olympiades, qui font la différence en usage réel.

Meta a coché une case impressionnante. Reste que la case était en train de vieillir. Le prochain jalon crédible ne sera pas un 31 sur 30 : ce sera une épreuve qu’aucun modèle ne saura encore saturer, et que l’on aura pris la peine de construire pour ça.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *