Mistral triple la précision de ses agents sur vos documents

Mistral triple la précision de ses agents sur vos documents

Mistral a mis en ligne Agentic Search, une couche de récupération documentaire qui ne touche pas au modèle : elle change seulement la manière dont celui-ci va chercher l’information. Sur FinanceBench, une série de questions construites à partir de vrais rapports financiers, une chaîne classique répond correctement à 26,7 % des questions, soit un peu plus d’une sur quatre ; l’éditeur annonce 86 % avec sa nouvelle couche. Même modèle de raisonnement de part et d’autre, même matière à lire. Seuls les gestes de lecture changent.

La méthode battue découpe les documents une fois pour toutes

Ce triplement se lit d’abord comme un constat gênant pour toute l’industrie. Si un système passe de 26,7 % à 86 % de réponses correctes sans changer de modèle, alors l’essentiel de ses erreurs ne tenait pas à ses capacités de raisonnement. Elles tenaient à ce qu’on lui donnait à lire.

La méthode à laquelle Mistral se compare, c’est le RAG en un seul passage (retrieval-augmented generation, génération augmentée par récupération) : on découpe les documents en fragments, on remonte ceux qui ressemblent le plus à la question, et le modèle répond avec ça. Mistral décrit lui-même le plafond de cette approche : le modèle doit se contenter des fragments sélectionnés au départ, même incomplets ou hors sujet, sans pouvoir décider qu’il lui faut un autre document, une autre section ou davantage de contexte avant de répondre.

Le second banc d’essai cité, OfficeQA Pro, porte sur des questions qui traversent plusieurs documents saturés de tableaux. Là, la méthode de référence plafonne à 6,3 %, contre 51,9 % annoncés sur l’un des deux modèles testés, soit un gain de 45,6 points. Ce niveau de départ mérite qu’on s’y arrête : sur ce type de matière, la récupération traditionnelle ne fonctionne pratiquement pas.

Cinq gestes de lecture confiés au modèle

La mécanique tient en cinq outils que le modèle peut enchaîner : chercher, ouvrir un document, naviguer dedans, lire une portion, et lancer un grep pour retrouver une occurrence précise. Le tout dans une boucle de plusieurs étapes, où le système peut revenir en arrière, comparer deux documents, suivre une référence et vérifier une donnée avant de conclure.

C’est exactement la façon dont un analyste humain traite un document de trois cents pages. Il ne lit pas les vingt paragraphes les plus proches de sa question : il ouvre le sommaire, saute à la note de bas de page qui l’intéresse, remonte au tableau annexe, recoupe avec l’exercice précédent. Le pari technique de Mistral consiste à donner ces gestes au modèle plutôt qu’à essayer de le rendre plus intelligent face à un extrait mal découpé.

Anthropic a fait le même pari avant lui, sur un autre terrain : Claude Code n’indexe pas le code d’avance, il le parcourt avec ces mêmes gestes, et l’éditeur conseille désormais de commencer par cette exploration outillée, en n’ajoutant une recherche par similarité que si la vitesse l’impose. Mistral transpose la méthode au patrimoine documentaire des entreprises.

Un détail pèse lourd dans un arbitrage d’équipe technique : cette couche se branche sur un index de recherche existant. Il n’y a pas de réindexation complète du patrimoine documentaire à prévoir, ce qui déplace le coût d’entrée de plusieurs semaines de chantier vers un simple travail d’intégration.

La latence et les tokens pèseront plus lourd que les scores

Deux autres mesures accompagnent l’annonce, et elles compteront davantage dans une décision d’achat que les points de justesse. La latence au p90 baisse jusqu’à 39,6 %, soit le temps sous lequel 90 % des requêtes aboutissent, la mesure qui reflète l’expérience réelle là où une moyenne masque les cas les plus lents. La consommation de tokens recule jusqu’à un tiers, parce que le système arrête de relancer dix fois la même recherche pour compenser un extrait insuffisant.

Retenez le « jusqu’à ». Il désigne un meilleur cas mesuré, pas une garantie contractuelle. Une boucle en plusieurs étapes multiplie mécaniquement les appels : elle ne devient économe que si sa navigation ciblée évite plus d’allers-retours qu’elle n’en crée. Sur vos documents, avec vos questions, l’équation peut tomber ailleurs.

Déployable sur site, pour les documents qui ne doivent pas sortir

Le positionnement commercial est limpide, et cohérent avec la trajectoire de Mistral. L’outillage est présenté comme portable et ouvert, déployable dans le cloud comme sur des serveurs internes, pour que les documents confidentiels ne sortent pas du réseau de l’entreprise. Dépôts réglementaires, contrats, archives internes, dossiers publics : la matière la plus précieuse d’une organisation est aussi celle qu’on refuse d’exposer.

L’intérêt se situe là, plus que dans les bancs d’essai. Beaucoup d’entreprises ont un modèle de raisonnement de bon niveau accessible par API et une masse documentaire à laquelle ce raisonnement n’a pas le droit de toucher. Une couche de récupération qui s’installe du bon côté de cette barrière règle un problème d’organisation autant qu’un problème technique. Agentic Search arrive avec le Mistral Search Toolkit et se branche sur les Libraries, dans Studio comme dans Vibe.

Des mesures maison, et un plancher très bas

Ces résultats viennent de l’éditeur, sur deux bancs d’essai qu’il a choisis, sans validation indépendante à ce stade. Rien n’indique une manipulation, mais l’ampleur d’un gain dépend toujours de la qualité de la solution à laquelle on se compare. Une chaîne RAG déjà travaillée, avec un découpage soigné et un reclassement des résultats, ne part pas de 6,3 %.

Reste aussi une question de contrôle. Un système qui décide seul d’ouvrir tel document et de sauter telle section devient plus difficile à auditer qu’une récupération en un passage, où l’on voit exactement les fragments transmis. Sur des questions financières ou juridiques, savoir pourquoi une réponse est juste importe autant que sa justesse.

D’où un exercice à mener avant de signer quoi que ce soit : constituez cinquante questions dont vous connaissez la réponse exacte, tirées de vos propres dossiers, avec les tableaux et les notes de bas de page qui piègent tout le monde. Passez-y la couche de Mistral, puis votre chaîne actuelle, et comparez les échecs plutôt que les moyennes. Le verdict qui vaut pour votre organisation sortira de ce jeu de tests, pas de FinanceBench.

Sources

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *