Un détecteur de texte IA ne détecte rien. Il calcule une probabilité, l’affiche en pourcentage bien net, et laisse un humain transformer ce pourcentage en accusation. Tout le problème tient dans ce glissement.
Les éditeurs annoncent des précisions de 87 à 99 %. Les mesures conduites hors de leurs conditions de test donnent plutôt 61 à 84 %. Entre les deux, un outil d’aide devient un instrument de sanction.
un détecteur compare, il ne remonte pas à la source
Un détecteur n’a aucun accès à l’origine du texte. Il ne sait pas qui a tapé au clavier, ni quel modèle a tourné, ni si quelqu’un a collé un bloc entier. Il compare ce qu’on lui soumet à ce qu’un modèle de langue produirait statistiquement, et il note la ressemblance.
C’est un classifieur, entraîné sur des corpus étiquetés d’un côté humain, de l’autre machine. Sa sortie est une ressemblance, pas une provenance. Le pourcentage affiché ne dit pas « ce texte a été généré à 87 % » : il dit « ce texte ressemble à ce que produit un modèle, avec tel niveau de confiance du classifieur ». Personne ne lit jamais la seconde phrase.
L’écart avec les chiffres annoncés vient des conditions de mesure. Un éditeur teste sa précision sur un jeu qu’il maîtrise : textes entièrement générés d’un côté, textes entièrement humains de l’autre, longueur confortable, sujets classiques. La copie qui arrive sur un bureau ne ressemble à rien de cela. Elle fait 400 mots, mélange les deux, porte des consignes de style imposées, et sort parfois d’un domaine que le corpus d’entraînement couvrait mal.
perplexité et burstiness, les deux mesures qui décident
Deux mesures portent l’essentiel du travail. La perplexité évalue la surprise : à chaque mot, le modèle estime la probabilité du mot suivant. Un texte où ce mot suivant est presque toujours celui qu’on attend affiche une perplexité basse. Les modèles de langue, qui optimisent précisément la vraisemblance, produisent exactement cela.
La burstiness mesure la variation de cette prévisibilité d’une phrase à l’autre. Un humain alterne : une phrase longue et tortueuse, une brève, une digression. Une génération non retouchée reste plus régulière, plus lisse.
Ces deux indicateurs ne mesurent pas l’origine du texte. Ils mesurent la régularité de son écriture. Prenez une phrase administrative parfaitement banale : chaque mot y est le plus attendu à sa place, sa perplexité est basse, et elle a été écrite par un humain pressé.
le faux positif frappe toujours le même profil
La conséquence est mécanique. Un outil qui pénalise l’écriture régulière pénalise en priorité ceux qui écrivent avec un vocabulaire plus restreint et une syntaxe plus scolaire. Les locuteurs non natifs, les élèves qui appliquent une méthode apprise, les rédacteurs formés à la clarté.
Les chiffres laissent peu de place à l’interprétation.
- 6 à 9 % de faux positifs sur des textes de locuteurs non natifs, contre 1 à 4 % sur des natifs, selon la recherche publiée par Turnitin elle-même.
- 61,3 % de copies d’apprenants non anglophones classées comme générées dans une évaluation de 2023.
- 20 % de faux positifs sur les travaux d’étudiants noirs contre 7 % sur ceux d’étudiants blancs, mesuré par Common Sense Media en septembre 2024.
Un taux d’erreur global de 5 % paraît acceptable tant qu’on n’en regarde pas la distribution. Réparti ainsi, il frappe toujours les mêmes copies. Le détecteur ne sanctionne pas la fraude. Il sanctionne une manière d’écrire.
Aucun de ces écarts ne relève d’un défaut d’implémentation qu’un correctif viendrait combler. Ils découlent du critère retenu. Tant que l’indicateur reste la régularité, la population qui écrit le plus régulièrement restera la plus exposée.
pourquoi un texte réécrit passe presque toujours
L’autre faiblesse est symétrique, et elle achève l’outil. Sur les textes hybrides, générés puis retravaillés à la main, la précision des détecteurs s’effondre jusqu’à devenir quasi nulle, comme l’a mesuré une étude de la Sultan Qaboos University en 2026. L’usage réel est pourtant massivement hybride : on génère un premier jet, on le réécrit.
L’asymétrie est parfaite. Celui qui veut passer entre les mailles y parvient en reformulant trois phrases et en cassant le rythme. Celui qui n’a rien fait ne dispose d’aucun moyen de se disculper : on ne prouve pas qu’on a écrit soi-même. La charge de la preuve se retourne contre l’innocent.
Ajoutez un détail que les interfaces masquent : le seuil au-delà duquel un texte bascule dans « probablement généré » est un réglage, pas une vérité. Le baisser attrape plus de fraudeurs et plus d’innocents. Le monter fait l’inverse. Aucune valeur ne supprime l’arbitrage, elle choisit seulement qui paiera l’erreur.
Les institutions l’ont acté avant beaucoup de rédactions. Cambridge et les universités du Russell Group ont écarté ces outils en avril 2023, UT Austin en septembre 2023, suivis par le MIT, Yale, UC Berkeley, Toronto et Manchester ; UCLA a refusé de les adopter. Les éditeurs de modèles eux-mêmes ont buté sur le problème : OpenAI a retiré son AI Text Classifier en juillet 2023, six mois après l’avoir lancé, en reconnaissant qu’il ne repérait que 26 % des textes générés et étiquetait à tort 9 % des textes humains. Turnitin et GPTZero restent en service et le débat n’est pas clos, mais l’usage disciplinaire, lui, recule.
filigrane et provenance : marquer à la source
La piste sérieuse ne consiste pas à deviner après coup, mais à marquer à la source. SynthID côté Google, le filigrane appliqué par Claude côté Anthropic : le générateur inscrit dans le texte un signal statistique invisible à la lecture, vérifiable par son émetteur.
Cette approche répond à une autre question que celle qu’on pose. Un filigrane confirme qu’un texte vient de ce modèle-là. Il ne dira jamais qu’un texte vient d’une IA en général, puisqu’aucun signal n’existe pour les modèles qui n’en posent pas, et il s’efface à la réécriture, à la paraphrase, à une traduction aller-retour.
En pratique, la présence d’un filigrane est un indice fort ; son absence ne prouve rien. Un système de provenance sert à attester une origine, jamais à la nier.
que faire dans une école ou une rédaction
Renoncer au détecteur ne revient pas à renoncer au contrôle. Cela revient à déplacer le contrôle là où il tient debout.
- Ne fondez jamais une sanction, un refus ou une rupture de contrat sur un score. Un pourcentage n’est pas une preuve et ne survivra pas à une contestation argumentée.
- Demandez le processus plutôt que le produit : historique de versions, brouillons successifs, notes de travail, sources consultées. Un document rédigé laisse une trace, un collage n’en laisse pas.
- Réintroduisez des situations observables quand l’enjeu le justifie : oral court sur le travail rendu, épreuve en salle, question de suivi sur un point précis. Cinq minutes de discussion valent mieux que n’importe quel score.
- Écrivez une politique d’usage explicite, qui dit ce qui est autorisé et sous quelle forme le déclarer. Beaucoup d’accusations naissent d’une règle jamais formulée.
- Si vous conservez un détecteur, traitez-le comme un déclencheur de conversation et non comme un verdict. Vérifiez aussi qui, parmi vos élèves ou vos rédacteurs, en paiera statistiquement le prix.
Ces outils progresseront, leurs scores bougeront, de nouveaux entrants promettront mieux. La limite ne bougera pas : un détecteur observe la forme d’un texte, et la forme ne contient pas son origine. Tant qu’une accusation reposera sur une ressemblance statistique, elle désignera en priorité ceux qui écrivent le plus sagement. Aux écoles et aux rédactions, maintenant, d’écrire noir sur blanc ce qu’elles exigent d’un auteur qui signe un texte : aucun score ne le fera à leur place.
Questions frequentes
Un détecteur de texte IA est-il fiable ?
Les éditeurs annoncent 87 à 99 % de précision, les mesures indépendantes 61 à 84 %. Sur les textes mêlant rédaction humaine et génération, la précision devient quasi nulle. Un score ne constitue donc pas une preuve d’origine.
Pourquoi les détecteurs accusent-ils plus souvent les auteurs non natifs ?
Ces outils mesurent la régularité et la prévisibilité du texte, pas sa provenance. Une écriture au vocabulaire restreint et à la syntaxe standard produit la même signature qu’une génération. La recherche publiée par Turnitin relève 6 à 9 % de faux positifs sur des locuteurs non natifs contre 1 à 4 % sur des natifs.
Que sont la perplexité et la burstiness ?
La perplexité mesure à quel point chaque mot d’un texte est prévisible pour un modèle de langue. La burstiness mesure la variation de cette prévisibilité d’une phrase à l’autre. Les textes générés et non retouchés sont en moyenne plus prévisibles et plus réguliers que les textes humains.
Le filigrane remplace-t-il la détection de texte IA ?
Un filigrane comme SynthID atteste qu’un texte provient d’un modèle donné, il ne signale pas l’usage d’une IA en général. Il disparaît à la réécriture, à la paraphrase ou à une traduction aller-retour, et son absence ne prouve rien.
Peut-on sanctionner un élève sur la base d’un score de détection ?
Un score exprime une ressemblance statistique, pas une preuve d’origine, et son taux d’erreur est plus élevé sur certains profils d’auteurs. Cambridge, les universités du Russell Group, UT Austin, le MIT, Yale et UC Berkeley ont écarté ces outils de leurs procédures.
