Des millions de livres du domaine public alimentent les corpus d’entraînement ouverts. Presque tous ont été numérisés il y a quinze ans, par des logiciels de reconnaissance de caractères qui faisaient ce qu’ils pouvaient : une lettre écornée en devenait une autre, une ligne mal découpée coupait un mot en deux. Ce texte approximatif, les modèles de langage l’avalent tel quel.
Le projet FineBooks, mené par Hugging Face et EleutherAI, vient de mesurer où en est la technique. Quatorze modèles de reconnaissance optique de caractères (OCR) à poids ouverts ont lu les mêmes 2 165 pages de livres anciens, avec un classement public à la clé. Le meilleur reconnaît correctement plus de 97 % des caractères, pour moins de deux dollars les mille pages.
Une coquille tous les quarante caractères, et l’apprentissage ralentit
L’effet ne se limite pas à quelques mots illisibles. Un modèle de langage apprend en prédisant la suite d’un texte. Si le texte est bruité, chaque erreur de numérisation lui enseigne une régularité qui n’existe pas : une graphie fantôme, une césure absurde, un mot coupé en deux fragments qu’il devra apprendre à recoller.
Le projet Talkie a chiffré ce gaspillage : entraîné sur du texte issu d’OCR, un modèle n’atteint que 30 % de l’efficacité d’apprentissage obtenue avec des transcriptions humaines des mêmes livres. Imaginez apprendre une langue dans un manuel où une lettre sur quarante a été remplacée au hasard. Vous y arriverez, mais il vous faudra trois fois plus de pages.
C’est exactement le calcul que font les équipes qui construisent des corpus ouverts. Quand EleutherAI et ses partenaires ont publié Common Pile, le plus grand ensemble d’entraînement sous licence ouverte à ce jour, il contenait environ 300 000 livres du domaine public, au texte hérité d’anciennes campagnes de numérisation. Repasser ces livres dans des modèles récents est l’un des leviers les plus rentables pour améliorer la matière première de l’IA ouverte, estiment les auteurs de FineBooks.
Comment on note une machine qui lit
Pour noter un OCR, il faut des pages dont on connaît la transcription exacte. L’équipe s’est appuyée sur un travail rare : entre 2011 et 2012, les projets IMPACT et BHL-Europe ont fait transcrire à la main six volumes en anglais, français, allemand et latin, avec un taux d’erreur d’environ un caractère sur 2 000. Ces transcriptions, disponibles sous licence CC-BY, servent de référence.
La métrique s’appelle le CER (Character Error Rate), soit la proportion de caractères mal reconnus. Le classement se décline en deux barèmes, et la nuance compte. Le barème « diplomatique » compte comme faute toute modernisation d’un caractère ancien, par exemple le s long (ſ) transformé en s ordinaire. Le barème « lecture » tolère cette normalisation.
La même sortie de modèle obtient donc deux notes selon l’usage visé. Pour un philologue, remplacer un s long altère la source. Pour un jeu d’entraînement, c’est un service rendu. La qualité d’un OCR ne se mesure jamais dans l’absolu : elle dépend de ce qu’on compte faire du texte.
Le modèle le plus léger devance le plus lourd
Le classement réserve une surprise utile. En tête, dots.mocr affiche 97,6 % de caractères justes avec 3 milliards de paramètres, à 1,94 dollar les mille pages. Juste derrière, OvisOCR2 atteint 96,9 % avec 0,9 milliard de paramètres seulement, pour 46 cents. Et Qwen3.5-9B, trois fois plus gros que le premier, plafonne à 94,9 %. Même olmOCR-2, la brique que l’institut Ai2 a bâtie pour préparer des corpus d’entraînement, reste en retrait avec ses 8,3 milliards de paramètres : 95,7 % pour 45 cents.
Sur les documents historiques, la taille du modèle ne prédit donc pas la qualité de lecture. Rien d’étonnant : déchiffrer une page ancienne demande de l’acuité visuelle plus que des connaissances. La géométrie de la page, la typographie, l’encre baveuse pèsent plus que le nombre de paramètres disponibles pour raisonner.
Les quatorze modèles testés sont librement disponibles et tournent sur du matériel local, sans clé d’API. Retraiter un fonds patrimonial n’est plus réservé aux institutions capables de payer un service propriétaire à grande échelle. À 34 cents les mille pages pour PaddleOCR-VL-1.6, le coût n’est plus l’obstacle : la décision, elle, revient aux bibliothèques.
Le seuil de propreté qu’aucun corpus ne publie
Les auteurs le disent eux-mêmes, sans trancher : les meilleurs modèles produisent désormais un texte suffisamment bon pour entraîner une IA, mais pas pour un usage savant. Or 97,6 % de caractères justes laissent encore plus d’une coquille par ligne. Un historien ne peut pas citer une telle édition. Un modèle, lui, s’en accommode.
Le seuil qui sépare les deux usages n’est écrit nulle part. Personne ne publie le taux d’erreur en dessous duquel un corpus devient acceptable pour l’entraînement, ni la manière dont ce bruit se propage jusqu’aux réponses d’un système en production. Montez un RAG (génération augmentée par la recherche) sur du domaine public, ou réentraînez un modèle dessus par fine-tuning : la qualité de numérisation de vos documents devient un paramètre de votre pipeline que personne n’a encore chiffré.
Le retraitement, lui, arrive. La première cible de FineBooks est la Biodiversity Heritage Library, qui conserve plus de 300 000 documents d’histoire naturelle numérisés, soit plus de 64 millions de pages, mises à disposition en téléchargement de masse sur AWS. L’équipe prévoit d’en repasser environ 200 000 avec l’un des meilleurs modèles du classement.
Un périmètre limité à l’Antiqua et à quatre langues
Le protocole reste étroit, et c’est honnêtement documenté. L’évaluation ne porte que sur des caractères Antiqua, la typographie romaine de nos livres imprimés, dans quatre langues, sur des pages à une seule colonne. Rien sur la Fraktur, l’écriture gothique allemande, rien sur les écritures non latines, rien sur le manuscrit. Les fonds les plus difficiles, ceux qui restent illisibles aujourd’hui, ne sont donc toujours pas mesurés.
Un effet de bord se prépare : le même livre existera bientôt en deux versions, l’ancienne numérisation et la nouvelle, sous le même titre et souvent sans marqueur visible. Pour un corpus d’entraînement, savoir laquelle des deux a servi devient une information de traçabilité aussi importante que la licence. C’est le chantier que FineBooks ouvre, et il déborde largement les livres d’histoire naturelle.
