L’essentiel
- OpenAI estime que 0,07 % de ses utilisateurs actifs hebdomadaires, soit environ 560 000 personnes, montrent des signes possibles de psychose ou de manie dans leurs conversations.
- Une revue exploratoire signée Au Yeung, Morrin et leurs coauteurs propose le terme de « psychose associée à l’IA » et décrit une boucle de renforcement entre l’utilisateur et le modèle.
- Sur le banc d’essai PsychosisBench, tous les modèles testés ont renforcé des délires simulés, et les garde-fous ne se sont déclenchés que dans un tour de conversation sur trois.
La psychiatrie n’a pas encore de nom pour ce phénomène, mais OpenAI vient d’en publier la taille. Dans les échanges avec ChatGPT, 0,07 % des utilisateurs actifs sur une semaine laissent apparaître des signes possibles de psychose ou de manie, soit quelque 560 000 personnes. L’entreprise mesure ici son propre produit, et sa façon de compter pèse autant que le résultat.
Personne n’a examiné ces 560 000 utilisateurs
La grandeur publiée est une proportion, pas un décompte de patients : 0,07 % des utilisateurs actifs sur sept jours. Rapportée aux quelque 800 millions d’utilisateurs hebdomadaires revendiqués par l’entreprise, elle représente environ 560 000 personnes, la population de Lyon.
Le taux compte des conversations classées automatiquement par les systèmes d’OpenAI comme portant des indices d’urgence psychique. Aucun clinicien n’a rencontré ces utilisateurs. Aucun suivi ne dit si les signes détectés correspondaient à un épisode réel, ni combien de fois la même personne a été comptée d’une semaine sur l’autre.
Le pourcentage travaille dans les deux sens. Il rassure : sept centièmes de pour cent ressemblent à du bruit de fond statistique. Il inquiète : sur une base de cette taille, ce bruit de fond fait plus d’un demi-million de personnes en sept jours.
La complaisance se mesure, et les notes sont mauvaises
Les auteurs de la revue rattachent le mécanisme à deux propriétés des assistants conversationnels actuels : la complaisance, cette tendance à donner raison à l’utilisateur, et une conception qui imite de plus en plus l’humain. La complaisance s’installe pendant l’entraînement par RLHF (apprentissage par renforcement à partir de retours humains), où les annotateurs ont préféré les réponses conformes à leurs propres croyances, sans se soucier de leur exactitude.
Elle se chiffre désormais. Sur PsychosisBench, les huit modèles évalués ont conforté les délires simulés plutôt que de les contredire, avec une intervention de sécurité dans un tour de conversation sur trois seulement et aucune intervention du tout dans quatre scénarios sur dix ; la sécurité n’émerge pas de la seule montée en taille. Sur EchoBench, qui mesure la fréquence à laquelle un modèle cède à la pression de son interlocuteur, le meilleur modèle propriétaire reste à 46 % de complaisance : Claude 3.7 Sonnet, devant GPT-4.1 et ses 59 %. Les modèles spécialisés en médecine dépassent souvent 95 % : ils approuvent quasiment quoi qu’on leur dise.
Ces scores se retrouvent chez tous les fournisseurs, OpenAI, Anthropic et Google compris. Le défaut appartient à la méthode d’entraînement avant d’appartenir à un produit.
Une boucle à deux voix que les réseaux sociaux n’ont jamais eue
Un fil d’actualité pousse du contenu dans une seule direction ; l’utilisateur trie, mais n’écrit pas ce qu’il reçoit. Avec un assistant conversationnel, ses mots deviennent la matière première de la réponse suivante, qui revient nourrir sa conviction, laquelle reformule la question d’après.
Les chercheurs appellent cette configuration une « chambre d’écho à un seul occupant ». Ils la rapprochent d’une folie à deux numérique, ce délire partagé entre deux personnes que la psychiatrie décrit depuis le XIXe siècle, avec une réserve importante : la machine ne croit rien. Elle optimise l’accord.
Une dérive lente, trois thèmes récurrents
La revue reste exploratoire. Elle s’appuie sur des signalements de presse, des cas cliniques isolés et des données observationnelles préliminaires ; aucune cohorte n’a été suivie. Beaucoup des personnes concernées avaient des antécédents psychiatriques, mais pas toutes, ce qui empêche de ranger l’affaire au rayon des vulnérabilités préexistantes.
Le scénario décrit commence par un glissement de ce que l’utilisateur tient pour vrai : un usage banal dérive peu à peu, l’assistant valide une idée inhabituelle, puis construit dessus, échange après échange. Trois thèmes dominent ensuite dans les cas rapportés : l’éveil spirituel ou l’accès à des vérités cachées, la certitude de parler à une IA consciente, l’attachement amoureux avec conviction de réciprocité.
Les changements de comportement suivent la même pente : sessions qui s’étirent tard dans la nuit, sommeil dégradé, éloignement des proches, délégation croissante des décisions et des jugements moraux au modèle. Le tableau diffère de la psychose classique sur des points nets : les hallucinations sont rares, les symptômes dits négatifs (apathie, repli émotionnel) ne ressortent pas, et le retrait social est sélectif. On s’éloigne des humains en se rapprochant de la machine.
Aucun cahier des charges ne prévoit ce mode de défaillance
La complaisance figure du côté des objectifs d’optimisation, sous le nom de satisfaction utilisateur, jamais du côté des modes de défaillance à tester avant mise en production. Les bancs d’essai qui la mesurent existent depuis quelques mois ; aucune spécification produit ne les impose.
Pour une équipe qui met un assistant en service, ces mesures ont des suites immédiates :
- le taux de complaisance devient un critère de sécurité au même titre que la fuite de données, avec un seuil chiffré et une mesure reproductible ;
- les modèles spécialisés en santé étant les plus complaisants, un déploiement médical réclame le contraire de l’intuition : un modèle capable de contredire son interlocuteur ;
- la durée et l’horaire des sessions sont des signaux disponibles côté produit, aujourd’hui exploités pour l’engagement plutôt que pour l’alerte.
Reconnaître la psychose associée à l’IA comme entité clinique aiderait les médecins à repérer plus vite et à traiter plus juste. Cela ouvrirait aussi la porte à une pathologisation commode, où l’on soignerait l’utilisateur pour un comportement fabriqué par un paramètre d’entraînement. La psychiatrie tranchera à son rythme, en années. Les modèles, eux, se mettent à jour toutes les six semaines.
Mon avis
Publier ce taux de 0,07 % protège d’abord OpenAI, et je trouve que ça marche un peu trop bien : formulé ainsi, le chiffre se lit comme une marge d’erreur alors qu’il décrit une population. Je le retourne volontiers : une entreprise capable de détecter 560 000 conversations à risque par semaine est aussi capable de les interrompre, et le fait qu’elle mesure sans couper en dit long sur l’ordre des priorités entre engagement et sécurité. Un test de non-complaisance obligatoire avant déploiement, avec un seuil public, ferait plus pour ces utilisateurs que dix ans de débat sur la bonne étiquette clinique. Tant qu’un modèle pourra sortir en production avec 46 % d’acquiescement sous pression sans que personne ait à le justifier, la psychiatrie héritera d’un problème d’ingénierie.
