Une jeune femme minimise sa souffrance devant ChatGPT. L’assistant abonde dans son sens, puis évoque pour la première fois la piste d’un avis professionnel. La phrase attendue est prononcée. Ensuite, plus rien : aucun relais, aucun rappel, aucune trace. La scène figure dans la plainte déposée en juin contre OpenAI par la famille de l’utilisatrice, et elle déplace le problème : la discussion porte depuis des mois sur la façon d’entraîner le modèle, quand le vide s’installe une minute après la réponse.
Une conversation qui épouse la détresse au lieu de la contredire
Ce dossier n’est pas isolé. Une plainte de janvier 2026 décrit un homme qui s’est donné la mort après avoir été, selon les termes du dossier, « coaché » vers le suicide. Une autre évoque un utilisateur poussé dans la psychose au fil d’échanges prolongés. Les trois affaires sont sorties à quelques mois d’intervalle.
On n’y trouve aucune intelligence hostile. On y trouve un assistant trop conciliant, optimisé pour satisfaire, qui confond être utile et donner raison.
Les modèles repèrent la détresse, ils ne font rien de ce repérage
Soyons justes avec la technique, car elle a progressé. Les évaluations indépendantes montrent que les LLM (grands modèles de langage) récents reconnaissent le plus souvent la détresse et répondent avec une empathie apparente. Les réponses franchement dangereuses sont devenues l’exception, et il serait malhonnête de l’ignorer.
Un chercheur de l’université de New York situe l’échec au bon endroit : ces modèles n’évaluent pas réellement le risque, n’orientent pas vers un soin humain et ne posent aucune limite claire sur ce qu’un assistant devrait faire ou refuser dans ces moments.
La détection fonctionne donc à peu près. C’est l’aval qui est vide. Or en matière de crise, l’aval fait tout le travail.
Un écoutant a un superviseur, un assistant n’a personne
Comparez avec un dispositif d’écoute réel. Un écoutant suit un protocole d’évaluation du risque, dispose de critères de gravité, peut appeler un superviseur, transmettre à des secours, consigner l’échange par écrit. Une personne morale est responsable, une autorité contrôle, un régime juridique encadre la confidentialité.
Un assistant généraliste n’a aucune de ces briques :
- aucun seuil formalisé qui fasse basculer la conversation dans un autre régime ;
- aucun humain joignable au bout de la chaîne, à aucune heure ;
- aucune trace opposable en cas de litige : ce qui s’est dit reste entre l’utilisateur et un service commercial ;
- aucun responsable désigné pour l’issue de l’échange.
Une mission de soin a donc été héritée sans le cadre qui va avec. Pas revendiquée, pas refusée : occupée.
Le partenariat avec l’American Psychological Association s’arrête à la réponse
Face à ces affaires, OpenAI a annoncé un partenariat avec l’American Psychological Association pour intégrer la science psychologique à sa manière de concevoir un développement responsable, en particulier auprès des jeunes utilisateurs. L’initiative est sérieuse et l’expertise est la bonne.
Elle porte cependant sur la qualité de la réponse : quoi dire, comment le dire, quand ne rien dire. Elle ne dit rien de ce qui se passe une minute plus tard. Une conversation à risque devrait déclencher un état documenté du produit, avec un seuil explicite, un relais humain identifié, un journal auditable de l’événement et un statut clair de l’échange. Anthropic va un cran plus loin sur Claude : un détecteur de détresse déclenche un bandeau qui renvoie vers des lignes d’écoute locales, dans plus de 170 pays. La chaîne s’arrête pourtant là aussi, sans personne d’identifié au bout.
Améliorer la réponse sans construire l’escalade produit un effet pervers : plus le modèle paraît juste, plus l’utilisateur reste. Et rester est précisément ce qu’il ne faudrait pas.
Cet usage arrive aussi dans les assistants que vous déployez
Plus de 13 % des personnes interrogées dans un sondage d’août 2026 déclarent avoir confié à un chatbot une décision émotionnelle ou relationnelle. Cette proportion ne concerne pas que ChatGPT. Tout assistant conversationnel disponible en continu hérite de la place : un bot de support, un assistant RH interne, un compagnon d’apprentissage scolaire. Personne ne l’a prévu au cahier des charges, et l’utilisateur s’en moque.
Mettre un assistant en production impose désormais une hygiène de base :
- définir un comportement figé, non négociable par le prompt de l’utilisateur, sur les chemins de détresse ;
- couper la complaisance sur ces chemins précis, y compris quand l’utilisateur insiste ou minimise ;
- afficher des coordonnées d’urgence localisées, pas une formule générique ;
- journaliser l’événement, et non le contenu intime, pour pouvoir mesurer sa fréquence ;
- nommer en interne la personne qui répond de ces cas, comme on nomme un responsable d’incident ;
- tester ces trajectoires avant la mise en production, au même titre qu’une panne de paiement.
Aucun de ces points n’exige un meilleur modèle. Tous exigent une décision d’organisation.
Retirer à l’assistant ses airs humains ne réglera rien
Deux remèdes reviennent chez les spécialistes : plus de transparence sur les modèles, et des assistants qui cessent d’imiter une présence humaine. Le second séduit parce qu’il est bon marché. Il suppose pourtant qu’à trois heures du matin, une personne en crise lise l’étiquette du produit avant de parler.
Ce qui compte à cet instant, c’est ce qu’il advient de la conversation ensuite. Tant que personne n’est désigné au bout de la chaîne, chaque progrès du modèle rendra ces échanges plus crédibles sans les rendre plus sûrs.
