Combien de « r » dans « strawberry » ? Pendant deux ans, la question a servi à démontrer que les grands modèles de langage (LLM, pour large language models) ne savent pas raisonner. Elle ne prouve plus grand-chose, et elle n’est pas la seule affirmation à avoir pris la poussière.
Deux chercheurs de Stanford, Owen Queen et James Zou, ont pris 50 constats largement cités dans la littérature sur les LLM et les ont rejoués sur 20 modèles publiés entre juillet 2024 et septembre 2026 par huit développeurs différents. Bilan : 44 % de ces constats ont déjà « expiré », c’est-à-dire que l’effet observé à l’origine a largement disparu.
Cinquante affirmations, quatre destins
Sur 50 constats, 22 ont expiré. Dix-sept autres (34 %) se sont nettement affaiblis. Huit (16 %) tiennent toujours, et trois (6 %) se sont même renforcés. Moins d’un constat sur quatre résiste donc intact au passage d’une génération de modèles à la suivante.
La durée de vie moyenne, 15,7 mois, a été calculée sur les seuls 22 constats dont la date d’expiration a pu être établie. Elle ne dit rien de ceux qui tiennent encore : c’est un ordre de grandeur, pas une loi. La courbe cumulée parle davantage : 16 % des constats étaient périmés au bout d’un an, 39 % au bout de deux ans.
Un article scientifique met des mois à être écrit, relu et publié. À sa sortie, il décrit donc souvent une génération de modèles qui n’est déjà plus en service.
Les défauts réparables s’effacent en premier
Les affirmations sur ce que les modèles ne savent pas faire vieillissent le plus vite. Sur neuf constats liés au raisonnement, cinq sont considérés comme expirés et aucun n’a tenu ou progressé. Compter les lettres de « strawberry », faire de l’arithmétique dans une base numérique inhabituelle, perdre l’information située au milieu d’un long contexte, abandonner une bonne réponse dès que l’utilisateur proteste : tous ces défauts ont reculé.
L’hypothèse des auteurs est simple. Ces erreurs ont une bonne réponse, vérifiable, et offrent donc aux développeurs une cible nette pour l’entraînement. Un défaut qu’on peut noter automatiquement est un défaut qu’on peut corriger.
À l’inverse, les 11 constats qui tiennent ou se renforcent touchent à des penchants, pas à des erreurs. Trois concernent les LLM utilisés comme juges : ils préfèrent leurs propres réponses, notent de la même façon des articles acceptés et refusés, et se laissent influencer par le style emphatique d’un résumé médical. Trois autres relèvent de la complaisance envers l’utilisateur. On y trouve aussi un biais politique orienté à gauche, des réponses quasi identiques à des questions ouvertes et une distribution non uniforme quand on demande un nombre au hasard.
Les références inventées tombent de 55 % à 0 %, sauf chez Qwen
L’étude de cas porte sur la fabrication de citations scientifiques. En 2023, Walters et Wilder avaient mesuré que GPT-3.5 inventait 55 % de ses références. Les chercheurs de Stanford ont renvoyé les mêmes requêtes à des modèles récents : GPT-6.1 Sol invente 0 % de références, Claude Sonnet 5.5 en invente 1 %.
Le tableau se gâte avec Qwen3.7-Flash, lui aussi un modèle de 2026 : 69 % de références fabriquées, soit davantage que GPT-3.5 trois ans plus tôt. La même génération peut donc contenir le meilleur et le pire résultat sur un même test. Dire « les LLM n’inventent plus de sources » est faux. Dire qu’ils en inventent systématiquement l’est tout autant.
Les auteurs préviennent aussi contre la lecture « tout est réglé ». Sur les questions à deux sauts, où le modèle doit combiner deux faits qu’il connaît séparément, Claude Sonnet 5.5 échoue encore dans environ 10 % des cas où il répond correctement aux deux questions prises une à une. L’étude d’origine rapportait 43 % pour ChatGPT. La baisse est considérable, la lacune reste mesurable. Il en va de même pour la « malédiction de l’inversion » (savoir que A est lié à B sans en déduire que B est lié à A) et pour les réponses contradictoires à des questions temporelles appariées : affaiblies, toujours détectables.
Les biais sociaux forment un cas mixte. Le biais politique orienté à gauche persiste, les stéréotypes de genre et les associations implicites se sont atténués, et le biais contre les locuteurs de l’anglais afro-américain a changé de sens dans les données de tendance.
Dater ses certitudes, comme on date une capture d’écran
Premier réflexe à adopter : une affirmation sur un LLM est une mesure, et une mesure a une date et un modèle. « GPT-4 ne sait pas faire X » ne dit rien de ce que fait le modèle que vous déployez aujourd’hui. Avant de rejeter un cas d’usage sur la foi d’une limite connue, un test de quelques minutes sur le modèle réellement visé vaut mieux que dix articles cités.
Deuxième réflexe, plus rare : se méfier des limites qui ne bougent pas. Complaisance, auto-préférence des juges, biais d’opinion : ces travers résistent parce qu’ils n’offrent pas de bonne réponse simple à viser pendant l’entraînement. Si votre pipeline confie à un LLM le rôle d’évaluateur de ses propres sorties, ou de celles d’un modèle de la même famille, le constat le plus durable de l’étude s’applique à vous.
L’écart entre modèles reste large, même au sein d’une même fenêtre de sortie : le nombre de constats expirés varie fortement d’un modèle à l’autre parmi ceux publiés entre juillet et septembre 2026. Parler des LLM au singulier devient de plus en plus approximatif. La prochaine fois qu’une limite de l’IA est brandie dans une réunion, la première question utile sera de savoir sur quel modèle, et à quelle date, elle a été mesurée.
Vous avez aimé celui-ci ?
La newsletter du vendredi réunit les articles de la semaine, avec leurs sources.
Offert à l'inscriptionMa configuration Claude Code, avec mes skills, mes sous-agents et mes hooks, prêts à copier.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 22 évaluations
Faire appel à mes services →
