Un LLM (large language model, le moteur derrière ChatGPT, Claude ou Gemini) ne comprend pas ce qu’il écrit. Il devine. À chaque instant, il calcule le mot le plus probable pour continuer la phrase, puis recommence. Voilà, pour l’essentiel, comment ça fonctionne.
Cette phrase paraît anodine. Elle explique pourtant presque tout : pourquoi ces modèles sont bluffants, pourquoi ils inventent parfois avec aplomb, et pourquoi certaines tâches leur resteront hors de portée tant qu’on les laisse seuls.
prédire le mot suivant, pas comprendre
Prenez la phrase « le ciel est ». Demandez à cent personnes de la finir : la plupart diront « bleu ». Un LLM fait exactement ce calcul, à une échelle vertigineuse. Il a lu une quantité colossale de texte et en a tiré une seule compétence, mais une compétence redoutable : estimer, pour un début de phrase donné, quels sont les mots suivants les plus plausibles.
Ce mécanisme porte un nom technique : la prédiction du token suivant (next-token prediction). Un token est un fragment de texte, souvent un mot ou un morceau de mot. Le modèle génère sa réponse token par token, chaque nouveau fragment venant s’ajouter au précédent pour recalculer le suivant. Une phrase entière n’est que cette boucle répétée des centaines de fois.
La conséquence est contre-intuitive. Quand un modèle explique la relativité générale avec justesse, il ne « sait » pas la physique au sens où vous la savez. Il produit l’enchaînement de mots qui, statistiquement, ressemble le plus à une bonne explication. Le résultat peut être exact, élégant, utile. Mais c’est une imitation du raisonnement, pas le raisonnement lui-même.
Ce n’est pas un détail philosophique. C’est le cœur du sujet.
tokens, poids, entraînement : le minimum utile
Pour prédire correctement, le modèle a besoin de deux choses : une manière de lire le texte, et une mémoire de ce qu’il a appris. Ces deux briques se résument à trois mots.
- Les tokens : le texte est découpé en petits morceaux avant d’être traité. « Bonjour » peut rester un seul token, « anticonstitutionnellement » en compter plusieurs. Le modèle ne voit jamais des lettres ou des idées, seulement cette suite de fragments numérotés.
- Les poids : ce sont des milliards de nombres qui encodent tout ce que le modèle a retenu. Ils ne contiennent pas de phrases stockées, mais des régularités statistiques : quels mots vont ensemble, dans quels contextes, avec quelle probabilité. Un LLM récent en aligne des centaines de milliards.
- L’entraînement : la phase, longue et coûteuse, où le modèle ajuste ces poids en lisant d’immenses corpus de texte. À chaque erreur de prédiction, les nombres sont légèrement corrigés. Répétez l’opération des milliards de fois, et le modèle finit par prédire remarquablement bien.
Une image aide. Imaginez quelqu’un qui aurait lu une fraction gigantesque d’internet sans jamais rien vivre, sans jamais vérifier quoi que ce soit dans le monde réel. Il aurait développé une intuition stupéfiante de la manière dont les gens formulent les choses. C’est cela, un LLM : une intuition du langage, dépourvue d’expérience.
Une fois l’entraînement terminé, les poids sont figés. Le modèle ne « réfléchit » pas entre deux questions et n’apprend rien de vos échanges d’une session à l’autre, sauf mécanisme externe explicite. Il applique, encore et encore, ce qu’il a figé.
pourquoi il invente avec aplomb
On parle d’hallucination quand un modèle affirme avec assurance quelque chose de faux : une citation inexistante, une date erronée, un article de loi inventé. Le réflexe est d’y voir un bug. C’est une erreur de diagnostic.
L’hallucination n’est pas une panne du système. Elle en est le prolongement direct. Puisque le modèle cherche la suite la plus probable, et non la suite vraie, il produira toujours une réponse plausible, même quand il n’a aucune information fiable. Face à une question dont il ignore la réponse, il ne dit pas « je ne sais pas » par défaut : il génère ce qui ressemble à une bonne réponse. Un faux numéro de téléphone a exactement la même forme qu’un vrai.
Autrement dit, le modèle n’a aucun capteur interne qui distingue le vrai du faux. Il n’a qu’un détecteur de vraisemblance. Cela explique pourquoi les hallucinations sont les plus dangereuses quand elles sont les plus crédibles : le style impeccable ne garantit rien sur le fond.
Ce point fait débat jusqu’au sommet du secteur. Certains, comme Dario Amodei chez Anthropic, défendent l’idée que ces systèmes développent une forme de compréhension émergente. D’autres, comme Yann LeCun, rappellent que prédire du texte ne suffit pas à modéliser le monde. Le désaccord reste ouvert en 2026. Mais sur le plan pratique, une chose est acquise : vous ne pouvez pas faire confiance à un LLM comme à une source vérifiée.
ce qu’un LLM ne saura jamais faire seul
Comprendre le mécanisme, c’est aussi cartographier ses angles morts. Livré à lui-même, un LLM se heurte à des limites structurelles, pas à de simples défauts de jeunesse.
- Garantir un fait. Il produit du plausible, pas du vérifié. Toute donnée sensible (chiffre, date, citation, référence juridique) doit être recoupée à la source.
- Calculer de façon fiable. Une opération arithmétique n’est pour lui qu’une suite de tokens à prédire. Il peut se tromper sur un calcul qu’une calculatrice résout sans effort, sauf s’il délègue à un vrai outil.
- Connaître l’actualité récente. Ses poids ont été figés à une date donnée. Sans accès à une recherche externe, il ignore ce qui s’est passé après son entraînement.
- Agir dans le monde. Seul, il génère du texte, rien d’autre. Envoyer un mail, interroger une base de données ou réserver un billet suppose de le connecter à des outils qui, eux, agissent.
Ces limites ne sont pas des bugs à corriger dans la prochaine version. Elles découlent de ce qu’est un prédicteur de texte. C’est précisément pour les dépasser qu’on entoure aujourd’hui les modèles d’outils, de mémoires et de mécanismes de recherche : le RAG (retrieval-augmented generation, l’ajout de documents pertinents au contexte) ou les agents qui appellent des outils externes. Le LLM reste le moteur ; l’intelligence utile naît de son orchestration.
bien s’en servir quand on sait ça
Une fois le mécanisme intégré, votre manière de travailler avec ces modèles change. On cesse d’attendre un oracle ; on pilote un générateur de texte très doué.
Trois réflexes en découlent. D’abord, donnez du contexte. Le modèle prédit la suite de ce que vous lui fournissez : plus votre demande est précise et documentée, plus la trajectoire probable colle à votre besoin. Un prompt vague appelle une réponse vague. Ensuite, vérifiez tout ce qui engage. Traitez chaque fait sensible comme une hypothèse à confirmer, jamais comme une vérité acquise. Enfin, jouez sur ses forces : reformuler, résumer, structurer, explorer des idées, traduire, programmer une première version. Sur ces tâches où la forme prime et où vous restez juge du fond, un LLM est spectaculaire.
Ce recadrage a un effet libérateur. Vous ne vous demandez plus « est-ce que l’IA sait ? », mais « est-ce que cette tâche se prête à de la prédiction de texte que je saurai contrôler ? ». La question déplace le curseur du modèle vers vous. Et c’est là que se joue, aujourd’hui, une compétence nouvelle : savoir exactement ce que fait la machine pour lui confier ce qu’elle fait bien.
Questions frequentes
Un LLM comprend-il vraiment ce qu’il écrit ?
Non, pas au sens humain. Un LLM calcule le mot le plus probable pour continuer une phrase à partir de régularités statistiques apprises sur d’immenses corpus de texte. Le résultat peut être juste et pertinent, mais il découle d’une prédiction de vraisemblance, pas d’une compréhension du sens.
Qu’est-ce que la prédiction du token suivant ?
C’est le mécanisme de base de tous les LLM actuels. Le texte est découpé en fragments appelés tokens, et le modèle génère sa réponse un token à la fois, chaque nouveau fragment servant à calculer le suivant. Une phrase entière n’est que cette prédiction répétée des dizaines ou centaines de fois.
Pourquoi un LLM invente-t-il des réponses fausses ?
Parce qu’il cherche la suite la plus plausible, pas la plus vraie. Face à une question dont il n’a pas la réponse fiable, il génère quand même un texte crédible, faute de capteur interne distinguant le vrai du faux. C’est ce qu’on appelle une hallucination, et elle est la plus trompeuse quand elle est la mieux formulée.
Un LLM peut-il faire des calculs ou connaître l’actualité ?
Seul, non de façon fiable. Une opération n’est pour lui qu’une suite de tokens à prédire, et ses connaissances s’arrêtent à la date où son entraînement a été figé. Pour calculer juste ou accéder à l’actualité, il faut le connecter à des outils externes comme une calculatrice ou un moteur de recherche.
Comment bien utiliser un LLM en connaissant son fonctionnement ?
En lui donnant un contexte précis, en vérifiant tout fait sensible à la source, et en le réservant aux tâches où la forme prime et où l’utilisateur reste juge du fond : reformuler, résumer, structurer, traduire ou produire une première version.
