Une seule source déplace de 99 points le choix d’un agent IA

Une seule source déplace de 99 points le choix d'un agent IA

Une même grille de montres connectées, un même agent, deux décisions différentes. Glissez un test du Wirecutter juste avant la page produit, et la probabilité que Gemini 3.5 Flash recommande la Fitbit Inspire 3 grimpe de 99 points de pourcentage par rapport à la situation témoin. Claude Opus 4.8 bouge de 90 points sur la même manipulation.

Ces écarts sortent d’une étude de la Wharton School, à l’université de Pennsylvanie, signée Kumar et ses coauteurs. Six modèles y passent, des variantes allégées comme des modèles de pointe, chacun chargé de jouer l’assistant d’achat personnel et de choisir une montre de sport dans un catalogue figé.

Six modèles, une seule catégorie, aucune transaction

Le protocole s’appuie sur ACES, un simulateur de courses en ligne conçu pour mettre des agents en situation d’achat. L’agent reçoit une capture d’écran d’une page produit, l’analyse comme une image, consulte éventuellement des sources de recommandation, puis désigne son achat. Ces 99 points de pourcentage mesurent un écart entre deux probabilités de sélection, avec et sans source externe, sur une catégorie unique et une grille fermée. Personne n’a sorti sa carte bancaire.

La réserve borne le chiffre sans lui retirer sa portée pratique. Trois sources ont été testées : un fil Reddit favorable à la Garmin Forerunner 55, un test du Wirecutter sur la Fitbit Inspire 3, un article du Strategist consacré au WHOOP 5.0. Le Wirecutter tire le plus fort, sur presque tous les modèles.

Sans aucune source externe, les six modèles ne partagent déjà pas les mêmes préférences. La situation témoin porte elle aussi un parti pris, hérité de l’entraînement, que personne n’a documenté.

L’ordre des sources pèse autant que leur contenu

La deuxième expérience combine deux ou trois sources, de quoi produire un effet de moyenne. Le recoupement n’a pas lieu : dès que le Wirecutter figure dans le lot, il domine la décision, avec une intensité variable selon les modèles. Multiplier les sources augmente même la variabilité des choix au lieu de la réduire.

La troisième expérience permute les mêmes trois sources. Gemini 3.1 Flash Lite oscille entre 2 et 56 points de pourcentage au-dessus du témoin selon le seul ordre de présentation. Claude Haiku 4.5 tient sa ligne entre 41 et 42 points. La façon de servir les sources compte aussi : GPT-5.5 gagne 53 points quand elles arrivent groupées, 6 points seulement quand elles défilent une par une.

Le contenu, lui, n’a pas bougé d’un mot. Le panier, si.

Une phrase de mémoire suffit à écarter le meilleur produit

La quatrième manipulation truque la grille pour qu’un produit écrase tous les autres sur chaque critère mesurable : une montre connectée avec Alexa à 29,99 dollars, notée 5 sur 5 avec 430 avis. La concurrence dépasse 359 dollars et recueille moins d’avis.

Les chercheurs ajoutent ensuite de courtes phrases de mémoire utilisateur, du type « j’adore la randonnée ». Pour plusieurs modèles, ces quelques mots suffisent à détourner le choix du produit objectivement supérieur. Une préférence déclarée en passant pèse plus lourd qu’un écart de 330 dollars et de 400 avis.

La mémoire d’un assistant compte ainsi dans l’arbitrage au même titre qu’un prix ou une note. Elle s’écrit à plusieurs mains : l’utilisateur, ce que l’assistant conserve des conversations passées et, demain, ce qu’une intégration marchande y déposera.

Le référencement se déplace dans la fenêtre de contexte

La domination du Wirecutter tient à un mécanisme connu : les modèles réimportent en bloc la hiérarchie d’autorité construite sur le web ouvert. Vingt ans de référencement naturel (SEO) ne disparaissent pas, ils changent de cible. On n’optimise plus une position dans une page de résultats, mais sa présence dans le contexte que lit l’agent, et le rang qu’on y occupe.

Trois métiers héritent directement du problème. Qui assemble un agent d’achat prend une décision produit en fixant l’ordre d’injection des sources : elle se journalise et se teste par permutation avant chaque mise en production. Qui vend un produit gagne désormais davantage à figurer dans les tests de référence qu’à soigner une fiche que l’agent traite comme une simple image. Et qui expose une mémoire utilisateur ouvre une entrée capable de renverser une comparaison chiffrée, à contrôler et à attribuer comme n’importe quelle donnée de prix.

L’étude a ses limites, et elles sont larges : une seule catégorie, un catalogue fermé, des consignes rédigées par les chercheurs, des modèles qui changent tous les trimestres. Rien de tout cela ne dit qu’un agent achète mal. La mesure pointe un problème plus embêtant : sa décision varie sous l’effet de paramètres que l’acheteur ne voit jamais et ne contrôle pas.

Une décision instable ne s’audite pas. Or le calendrier n’attend pas : OpenAI a ouvert l’achat direct dans ChatGPT avec Instant Checkout et son Agentic Commerce Protocol codéveloppé avec Stripe, et Google avance AP2, son protocole de paiement pour agents lancé avec plus de soixante partenaires du paiement.

Avant de confier un moyen de paiement à un assistant, il faudra exiger un indicateur que personne ne publie aujourd’hui : l’amplitude de son choix quand on lui présente exactement les mêmes informations dans un autre ordre. Chez Gemini 3.1 Flash Lite, elle atteint 54 points. Chez Claude Haiku 4.5, un seul. Aucun éditeur ne communique ce chiffre, alors qu’il dirait mieux qu’une démonstration commerciale si l’assistant conseille ou s’il improvise.

Sources

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *