« Cette image peut-elle s’afficher devant un mineur ? » Vous posez la question, en toutes lettres, et le modèle vous renvoie un score. Pas de catégorie à cocher dans une liste figée, pas de réentraînement : la règle de modération devient une phrase que vous écrivez vous-même.
C’est le pari de Shieldstral, le classifieur de sécurité que Mistral AI a publié le 4 août : poids téléchargeables, licence Apache 2.0. Trois milliards de paramètres, du texte et des images, douze langues, et une idée assez simple pour tenir en une ligne.
La modération ramenée à une question fermée
Un classifieur de sécurité, c’est le portier qu’on place devant ou derrière un modèle de langage : il regarde une entrée utilisateur, ou une réponse de l’assistant, et décide si ça passe. Jusqu’ici, ce portier arrivait avec sa propre grille de lecture, apprise à l’entraînement.
Shieldstral inverse la mécanique. La modération y est formulée comme une tâche de question-réponse binaire : une seule question, une réponse oui ou non. Chaque requête se compose de trois blocs, dont un <Instruct> qui fixe le contexte d’évaluation et le degré de sévérité. La question, elle, énonce la règle à appliquer, en langage clair, au moment même où le modèle est interrogé.
Le verdict tient dans un seul token : ce oui ou ce non que le modèle produit, converti en score de confiance. Une décision quasi instantanée, donc, et une valeur numérique sur laquelle vous placez votre propre seuil, fixé à 0,5 par défaut. Une seule interface couvre le texte et l’image, là où il fallait auparavant deux outils distincts.
La liste des interdits, gravée à l’usine
La plupart des modèles de garde-fou gravent dans leurs poids une liste fixe de catégories de nuisance : violence, haine, contenu sexuel, automutilation. Llama Guard, chez Meta, s’aligne sur la taxonomie standardisée de MLCommons et ses quatorze catégories ; ShieldGemma, chez Google, en retient quatre. Dans les deux cas, changer de grille suppose un fine-tuning, pas une consigne réécrite.
Le problème saute aux yeux avec l’exemple que donne Mistral : un même contenu peut être parfaitement légitime dans un outil de recherche en cybersécurité et dangereux sur une plateforme de santé mentale. Changer de contexte de déploiement obligeait donc à réentraîner le classifieur. Et comme les définitions de la sécurité varient d’un domaine et d’une audience à l’autre, il n’existe même pas de liste de catégories « correcte » à modéliser au départ.
L’image est celle d’un agent de sécurité. Hier, il avait appris par cœur une liste de consignes. Aujourd’hui, on lui tend la consigne du jour à l’entrée. Le même agent, une consigne différente selon la porte qu’il garde.
Des scores de grand modèle avec trois milliards de paramètres
Ce format oui/non a une conséquence moins visible : il rend les jeux de données de sécurité compatibles entre eux. Des corpus aux taxonomies divergentes, jusqu’ici inconciliables, se consolident dans un cadre unique, où chaque étiquette redevient une question.
Le rapport technique déposé sur arXiv le 28 juillet par l’équipe de Mistral détaille la recette : environ 54,1 millions d’échantillons, collectés, filtrés ou générés, plus un jeu d’évaluation conçu pour mesurer l’adaptabilité aux politiques, et pas seulement la performance brute.
Sur les tests de sécurité textuelle, le modèle égale ou dépasse des concurrents près de sept fois plus gros, et signe les meilleurs résultats connus sur la classification multimodale. Trois milliards de paramètres qui jouent dans la cour des modèles à vingt milliards.
Un garde-fou qu’on héberge, et une facture qui disparaît
Cette taille change l’équation pour une équipe produit. Trois milliards de paramètres tiennent dans 16 Go de mémoire vidéo : un seul GPU, un poste de travail, un serveur modeste suffisent. Ajoutez la licence Apache 2.0, qui autorise l’usage commercial sans contrepartie, et la comparaison avec une API de modération payante change de nature.
- Le contenu à modérer, souvent le plus sensible de votre application, n’a plus besoin de quitter votre infrastructure.
- Le coût par appel s’efface : reste le coût de calcul, marginal à cette échelle.
- La latence ne dépend plus d’un aller-retour réseau vers un fournisseur tiers.
- La politique appliquée est lisible, versionnable, discutable en revue : c’est du texte, pas un jeu de poids opaque.
Mistral figure par ailleurs parmi les trente-sept membres fondateurs de l’Open Secure AI Alliance, lancée fin juillet à l’initiative de NVIDIA. Signal accessoire mais net : la sécurité des modèles se structure comme un terrain de standards ouverts, pas seulement comme une ligne de facturation.
Rédiger la règle, placer le seuil, assumer le refus
Écrire la politique soi-même, c’est aussi en porter la responsabilité. Formuler « ce contenu promeut-il la violence contre un groupe protégé ? » demande une précision juridique et éditoriale que personne ne vous livrera avec les poids du modèle. La compétence se déplace du réentraînement vers la rédaction de la règle.
Le score de confiance exige de son côté un arbitrage produit : où placez-vous le seuil, et que se passe-t-il juste au-dessus et juste en dessous ? Un verdict compressé dans un token unique reste par nature peu explicable, ce qui compliquera toute contestation d’une décision de modération.
Dernière réserve, classique : les chiffres de performance viennent de l’éditeur et de ses propres protocoles d’évaluation. Les évaluations indépendantes restent à venir, et c’est là que se vérifiera l’adaptabilité revendiquée.
Dans les équipes qui l’adopteront, la politique de modération cessera d’être un service extérieur qu’on appelle et qu’on subit pour devenir un texte qu’on relit. Un texte que quelqu’un devra écrire, défendre en revue, et assumer le jour où un utilisateur contestera un blocage.
