L’essentiel
- Moonshot AI, l’équipe chinoise derrière l’assistant Kimi, publie PerceptionBench : 3 000 tâches qui testent la vision des modèles multimodaux, sans aucun raisonnement requis.
- Sur les 16 modèles de pointe évalués, aucun n’atteint 60 % de bonnes réponses. GPT-5.6 Sol mène avec 59,7 %, devant Kimi K3 (58,5 %) et Claude Fable 5 (57,2 %).
- La compétence la plus faible est la résistance à l’hallucination : GPT-5.6 Sol y tombe à 26,9 %, quand Gemini 3.5 Flash, moins bien classé au général, atteint 50,6 %.
Compter les fleurs contenues dans un carré rouge. Dire à quel endroit du cadran se place un symbole. Distinguer un pot à crayons gris et rose d’un pot rose uni orné d’un dessin. Sur ces questions d’école maternelle, seize des modèles multimodaux les plus avancés du moment, capables de traiter à la fois du texte et des images, se trompent plus de quatre fois sur dix.
Ces questions sortent de PerceptionBench, le test que Moonshot AI, l’équipe chinoise qui développe l’assistant Kimi, vient de rendre public. Son parti pris tient en une contrainte : chaque question doit pouvoir être résolue en regardant l’image, sans le moindre raisonnement ni la moindre connaissance extérieure. Meilleur score du lot : 59,7 %.
Voir et déduire, deux compétences qu’on mesurait ensemble
Les tests multimodaux habituels additionnent trois choses dans une seule note : ce que le modèle perçoit, ce qu’il sait, ce qu’il déduit. Un modèle rate un problème de géométrie sur photo, on range l’échec au rayon « raisonnement ». Les auteurs de PerceptionBench remontent la chaîne dans l’autre sens : ils cherchent la première étape ratée, et elle se situe très souvent à la lecture de l’image, avant que la moindre déduction ne commence.
La distinction n’a rien d’académique. Une faiblesse de raisonnement se compense en partie par du calcul supplémentaire au moment de répondre, par des étapes intermédiaires, par un modèle qui se relit. Une erreur de perception ne se rattrape pas : le modèle raisonne impeccablement sur une image qu’il a mal vue, et sort une réponse cohérente, argumentée, fausse. L’un produit du doute, l’autre de la fausse assurance.
Dix gestes élémentaires plutôt qu’une note fourre-tout
L’équipe a commencé par regarder ce que mesurent les tests existants. Sur les 42 benchmarks open source analysés, les profils d’erreurs se recoupent peu : chacun éclaire un coin de la pièce, et même empilés ils n’en donnent pas une vue complète. L’intuition n’est pas neuve : en 2024 déjà, le test BLINK ramenait quatorze tâches classiques de vision par ordinateur à des questions à choix multiples et mesurait 95,7 % de réussite chez les humains, contre 51,3 % pour GPT-4V, alors le meilleur de la série.
D’où le second choix méthodologique, plus intéressant que le classement qui en découle. Les catégories n’ont pas été posées à l’avance depuis une théorie de la vision : elles ont été reconstruites à partir des erreurs réellement commises par les modèles, chacune ramenée à la première étape qui a échoué. Il en sort dix domaines de compétence : relations visuelles, comptage, attributs, profondeur et 3D, localisation, comparaison, reconnaissance fine, intégration du contexte, OCR (lecture du texte présent dans l’image) et hallucination. Sur un stock interne de plus de 17 000 questions vérifiées, 3 000 sont publiées, dont 60 % dérivées d’erreurs attribuées à des modèles et 40 % créées pour l’occasion à partir d’images retouchées.
Quatre points d’écart au sommet, des profils opposés
Le tableau général est resserré. GPT-5.6 Sol prend la tête avec 59,7 %, Kimi K3 suit à 58,5 %, Claude Fable 5 à 57,2 %, Gemini 3.1 Pro à 56,2 %, GPT-5.5 à 55,8 %. Moins de quatre points séparent les cinq premiers. Les modèles en accès ouvert décrochent nettement : 47,5 % pour Qwen3.5-397B-A17B, 32,5 % pour GLM-4.6V.
Le détail par catégorie raconte autre chose que ce classement. Des modèles quasi ex aequo au total divergent franchement compétence par compétence. Le cas le plus parlant concerne l’hallucination, la compétence la plus faible en moyenne : il s’agit de répondre « zéro » quand l’objet demandé n’est pas dans l’image, au lieu de l’inventer. Le premier du classement y plafonne à 26,9 %, tandis que Gemini 3.5 Flash, un modèle plus léger et moins bien classé, atteint 50,6 %. Le titre de meilleur modèle recouvre donc deux qualités très différentes.
L’agent qui clique paie l’erreur de l’œil
Pour un assistant conversationnel qui commente une photo, une perception approximative se dilue dans une réponse en prose. Pour un agent qui pilote une interface, elle devient une action. Localiser un bouton, compter des lignes dans un tableau, lire un champ, comparer deux états d’écran : ce sont exactement les gestes élémentaires que PerceptionBench isole, et ce sont eux qui décident si le clic tombe au bon endroit. Le plafond de ces agents tient moins à leur logique qu’à l’étape qui la précède.
La conséquence pratique est immédiate : le score global d’un modèle multimodal ne vous apprend presque rien sur votre cas d’usage. Si votre pipeline lit des documents, la ligne OCR et la reconnaissance fine comptent plus que le total. S’il automatise une interface, regardez la localisation et le comptage. S’il alimente une base de faits, la tenue face à l’hallucination prime sur les quatre points d’écart qui séparent le premier du quatrième.
Deux réserves, pour ne pas surinterpréter. Le test est publié par un acteur dont le propre modèle occupe la deuxième place, et les 3 000 tâches diffusées ne représentent qu’une fraction du stock interne, ce qui laisse à son auteur une marge de manœuvre que ses concurrents n’ont pas. Une question fermée posée en une fois ne reproduit pas non plus les conditions réelles d’un agent, qui peut zoomer, recadrer, redemander une capture. Le constat central résiste pourtant à ces deux objections : quand on retire le raisonnement de l’équation, ces modèles voient moins bien qu’on ne le supposait, et une partie des progrès mesurés depuis deux ans portait sur l’étape d’après.
Mon avis
On a noté la vision de ces modèles pendant des années sans jamais la détacher du raisonnement, et personne dans l’industrie n’a trouvé à y redire. Un test qui construit ses catégories à partir des erreurs constatées vaut dix tests bâtis sur une théorie de la perception, et je pense que la prochaine génération de laboratoires d’évaluation travaillera comme ça, par rétro-ingénierie des échecs. En attendant, je ne choisirais aucun modèle multimodal pour un agent d’interface sur son score global : je regarderais la localisation, le comptage et la tenue face à l’hallucination, quitte à retenir un modèle classé quatrième. La note d’ensemble est devenue un argument commercial, la ventilation par compétence reste une information technique.
