Vous glissez un PDF de quarante pages dans un modèle d’OCR (reconnaissance optique de caractères), et il finit par caler. Non parce qu’il lit mal, mais parce qu’il se souvient de trop. C’est exactement ce paradoxe que Baidu vient d’attaquer avec un modèle baptisé Unlimited OCR, capable de traiter des dizaines de pages d’affilée là où la plupart des systèmes s’essoufflent après une poignée.
Tout le problème se déplace alors : il ne s’agit plus de mieux lire une page isolée, mais de tenir la trentième sans crouler sous le poids des vingt-neuf précédentes. Et la réponse de Baidu tient dans une idée contre-intuitive : apprendre à la machine à oublier.
Quand la mémoire de travail finit par déborder
Les OCR modernes de bout en bout utilisent un modèle de langage comme décodeur : il génère le texte reconnu, mot après mot. Problème, chaque nouveau caractère produit vient s’empiler dans une mémoire de travail appelée le KV cache (le cache des clés et valeurs d’attention). Plus le document est long, plus ce cache gonfle. La consommation mémoire grimpe, la génération ralentit, et le modèle finit par plafonner.
La parade classique est brutale : on découpe le document, on traite chaque page isolément, et on vide le cache entre chaque étape. Efficace pour la mémoire, mais on perd le fil d’une page à l’autre. Un tableau qui s’étale sur trois feuillets, une note de bas de page renvoyant au chapitre précédent : autant de liens que le découpage sacrifie. Là encore, le frein vient de la mémoire, pas de la qualité de lecture.
La copie manuscrite comme modèle
Baidu a puisé son architecture dans un geste banal : la copie manuscrite. Quand vous recopiez un livre, vous ne relisez pas tout ce que vous avez déjà écrit. Vous gardez les yeux sur la source, sur les quelques derniers mots posés, et sur celui à venir. Le reste s’efface doucement, dans une sorte d’oubli progressif. Les chercheurs ont voulu que leur modèle imite précisément ce comportement.
Techniquement, cela passe par un mécanisme qu’ils nomment Reference Sliding Window Attention (R-SWA). Chaque token généré continue de « voir » l’intégralité de la référence : les tokens visuels de l’image et le prompt. En revanche, sur le texte qu’il a déjà produit, il ne regarde en arrière que les 128 derniers tokens. Conséquence directe : le KV cache cesse de gonfler et reste de taille constante du début à la fin, quelle que soit la longueur du document. La mémoire n’est plus une pile qui déborde, mais une file d’attente : chaque nouveau token en chasse le plus ancien.
Oublier son propre texte, jamais la page source
Une fenêtre glissante appliquée bêtement aurait un effet pervers : elle ferait aussi « oublier » l’image source au fil du décodage, brouillant peu à peu les traits de la page et dégradant la reconnaissance. R-SWA corrige ce défaut en exemptant les tokens visuels de cet oubli. La page est encodée une fois pour toutes et reste intacte, nette, disponible en permanence. Seul le texte déjà généré s’efface.
C’est là que se joue la finesse : le modèle oublie ce qu’il a écrit, pas ce qu’il lit. Sous le capot, Unlimited OCR s’appuie sur le modèle open source DeepSeek OCR : Baidu en conserve l’encodeur visuel (le DeepEncoder, qui compresse une image de PDF de 1024 par 1024 pixels en seulement 256 tokens) et lui greffe une architecture à mélange d’experts de trois milliards de paramètres, dont 500 millions seulement s’activent à l’inférence. Chaque couche d’attention standard du décodeur a été remplacée par R-SWA.
Une mémoire constante, un coût enfin prévisible
Le pari aurait pu coûter en précision : contraindre l’attention, c’est souvent rogner la qualité. C’est l’inverse qui se produit. Sur le banc d’essai OmniDocBench v1.5, Unlimited OCR obtient 93 % au global, soit six points de mieux que la base DeepSeek OCR selon les auteurs, avec un gain comparable sur la reconnaissance de structure de tableaux, précisément le type de tâche où le contexte long fait la différence. Côté latence, la comparaison est parlante : là où le temps de traitement de DeepSeek OCR grimpe à chaque étape de décodage, celui d’Unlimited OCR reste plat.
Côté applications, le gain est immédiat. Un OCR à mémoire constante, c’est un coût prévisible et une capacité à avaler un rapport entier sans le saucissonner. Les systèmes de RAG (génération augmentée par récupération) et les agents qui doivent lire des contrats, des dossiers médicaux ou des documents comptables de bout en bout héritent enfin d’une brique qui ne perd pas le fil à la page dix.
Reste à mesurer les angles morts. Le modèle a été entraîné sur environ deux millions d’échantillons, dont la partie multi-pages a été fabriquée synthétiquement en assemblant des pages isolées, jusqu’à cinquante par document. La robustesse sur des mises en page réelles, désordonnées, tordues, devra se vérifier hors laboratoire. Et une fenêtre de 128 tokens sur la sortie reste un pari : elle suffit pour recopier, moins évidemment pour raisonner sur ce qui a été écrit trente pages plus tôt.
L’idée forte, elle, dépasse l’OCR. En traitant l’attention comme un oubli assumé plutôt que comme une mémoire infinie, Baidu prend le contre-pied de la course aux fenêtres de contexte géantes. Et rappelle une évidence que cette course tend à masquer : une architecture gagne parfois à savoir ce qu’elle peut lâcher.
