Hallucinations

L’hallucination est le défaut le plus mal nommé de l’IA générative. Un modèle de langage n’invente pas par accident : il produit toujours la suite la plus plausible, qu’elle soit vraie ou non. La confiance avec laquelle il affirme une fausseté est exactement la même que celle avec laquelle il dit vrai. C’est ce qui rend le problème si difficile à désamorcer.

Le risque tient moins à l’erreur qu’à la fluidité qui la rend crédible. Une réponse fausse mais bien tournée passe les filtres humains, et quand elle nourrit une décision médicale, juridique ou financière, la responsabilité ne se délègue pas à la machine. On ne corrige pas un tel défaut comme un bug, on l’encadre comme une propriété, au titre des limites de ces systèmes. À partir de quand une IA trop sûre d’elle devient-elle dangereuse ?