Une coopérative agricole fictive, un programme de conseil aux fermes à évaluer, et un assistant qui propose, à chaque embranchement de l’analyse, une méthode plutôt qu’une autre. Ce que les 50 participants ignoraient : la préférence de l’agent avait été décidée par une pièce de monnaie.
L’expérience, menée par Anthropic auprès de spécialistes de l’inférence causale (la discipline qui cherche à établir si une action a réellement produit un effet), donne un résultat net : les experts ont adopté l’avis de l’agent jusqu’à 86 % du temps, et la plupart ont ensuite considéré la conclusion finale comme la leur.
Cinq décisions, une pièce de monnaie
La tâche était réaliste. Les participants disposaient de données d’observation sur la coopérative et devaient estimer le gain de productivité du programme, puis recommander à son conseil d’administration de l’étendre à toutes les fermes, de l’arrêter, ou de le prolonger un an.
Le parcours comptait cinq décisions, chacune avec deux options valables : quatre choix analytiques (comment mesurer la productivité, quelle méthode statistique employer, par exemple) et la recommandation finale. À chaque point, l’agent soutenait une option tirée à pile ou face. Il ne pouvait ni mentir ni cacher des données : sa seule marge de manœuvre consistait à plaider honnêtement, mais avec conviction, pour le camp qui lui était assigné.
Comme aucune option n’est objectivement meilleure, tout écart entre les groupes vient de l’agent, pas de la qualité de ses arguments.
86 % d’alignement, 62 à 82 points d’influence nette
Sur les quatre décisions analytiques, les participants ont suivi l’agent dans 86 % des cas. Si chacun choisissait seul, on attendrait environ 50 %. L’écart avec le hasard dépasse donc 35 points.
Seconde mesure, plus fine : le « flip rate », que les auteurs définissent comme l’influence nette de l’agent. Il oscille entre 62 et 82 points de pourcentage selon la décision. Concrètement, entre le groupe dont l’agent préférait l’option A et celui dont l’agent préférait B, la part de participants choisissant A diffère de 62 à 82 points. Les deux indicateurs ne mesurent pas la même chose : l’un compte les alignements, l’autre compare deux populations, ce qui explique qu’ils ne coïncident pas.
Reste la cinquième décision, la recommandation au conseil. Là, l’écart entre groupes tombe à 17 points, sans significativité statistique. S’arrêter à ce résultat donnerait une conclusion rassurante.
Trancher d’abord n’immunise pas
On pourrait penser qu’un expert qui a tranché avant de consulter l’agent résiste mieux. L’étude montre l’inverse : quand les participants faisaient un choix avant que l’agent ne se prononce, un avis opposé au leur les poussait à changer de camp avec 53 points de probabilité de plus qu’un avis concordant.
Les auteurs ont aussi cherché un facteur protecteur : années d’expérience, niveau d’expertise déclaré, diplôme, score à des tests, confiance dans l’IA. Après correction pour les tests multiples, aucun n’a présenté de lien statistiquement fiable avec le résultat. L’âge ressortait avant cette correction, mais avec 50 personnes, l’étude manque de puissance pour détecter un effet de cette taille. Ce silence statistique n’autorise pas à conclure que ces facteurs ne comptent pas : il dit seulement que l’échantillon ne permet pas de les voir.
Une recommandation finale en trompe-l’œil
La faible influence sur la recommandation ne signifie pas que les experts gardaient la main. Les quatre choix amont pèsent lourd sur le gain de productivité estimé, et c’est cette estimation qui nourrit la recommandation. Quelques participants ont d’ailleurs contredit l’agent quand son conseil ne collait pas à leur propre calcul, mais le calcul lui-même portait la trace des décisions précédentes.
Interrogés ensuite, 52 % des participants ont estimé que la recommandation ressemblait davantage à la leur qu’à celle de l’agent, et 35 % de plus l’ont jugée en grande partie ou entièrement leur. Autrement dit, près de neuf sur dix (87 % en additionnant les deux groupes) se sont attribué le résultat. Ils se souvenaient pourtant correctement de leur choix dans 85 % des décisions : la mémoire des gestes était bonne, c’est la part de l’agent dans ces gestes qui échappait.
Un protocole sous contrôle, loin du terrain
Les auteurs en listent eux-mêmes les limites : une seule tâche, un contexte fictif, des experts d’un domaine étroit, un agent forcé à l’honnêteté. Dans un vrai workflow, l’agent peut se tromper, et ses préférences ne sont pas tirées au sort : elles viennent de ses données d’entraînement et de ses réglages, donc d’un biais constant plutôt que d’un hasard.
Cet écart avec l’expérience aggrave le constat. Un biais aléatoire s’annule en moyenne sur un grand nombre d’analyses ; un biais systématique du modèle, lui, s’accumule. Si des spécialistes entraînés à repérer les pièges des données observationnelles s’alignent à ce point sur un avis arbitraire, un lecteur moins averti face à un agent sûr de lui a peu de raisons de faire mieux.
En pratique, une piste consiste à rendre visibles les embranchements : demander à l’agent de lister les décisions où plusieurs options sont défendables, de plaider pour chacune, et de consigner qui a tranché. L’étude ne teste pas ces remèdes, et rien n’indique qu’ils suffisent. Elle établit seulement que s’en remettre à son impression d’avoir décidé seul n’est pas un contrôle fiable.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 22 évaluations
Faire appel à mes services →
