L’essentiel
- Les classifiers chargés de bloquer les échanges liés aux armes biologiques sont restés inactifs de mai 2025 à avril 2026 sur les plateformes utilisées par les prestataires d’Anthropic.
- Environ 50 000 personnes ont mené près de 133 millions de conversations par ce canal ; l’enquête interne d’Anthropic dit n’avoir trouvé aucun élément d’usage abusif.
- L’entreprise reconnaît que la sélection de ces prestataires par ses fournisseurs était souvent insuffisante, et publie le constat dans son deuxième rapport de risques, désormais attendu tous les trois à six mois.
Pendant onze mois, de mai 2025 à avril 2026, les filtres qu’Anthropic oppose aux échanges liés aux armes biologiques n’ont pas tourné sur les plateformes de ses prestataires d’annotation. L’entreprise l’écrit elle-même dans son rapport de risques d’août 2026 : 133 millions de conversations sont passées par ce canal pendant la panne. Le chiffre a circulé seul, sans le dénominateur qui lui donne sa mesure.
Cinquante mille annotateurs, une dizaine de conversations par jour
Le canal concerné n’est pas le produit grand public. Ce sont les plateformes par lesquelles des prestataires externes fournissent du feedback humain, la matière première de l’entraînement par renforcement. Le vivier tourne autour de 50 000 personnes.
La division donne environ 2 660 conversations par personne sur la période, soit une dizaine par jour ouvré. C’est le profil d’annotateurs qui font leur travail, pas d’une foule anonyme lâchée sur un modèle sans garde-fou. Ce volume mesure une activité de production ; il ne mesure aucune tentative d’extraction de savoir dangereux.
Anthropic indique n’avoir trouvé aucune preuve d’abus. La portée de ce résultat tient à la méthode : la vérification arrive après coup, sur un flux qui n’était justement pas instrumenté pour repérer ce risque au moment où il passait. On relit des logs, on ne rejoue pas onze mois de trafic dans un classifier (un modèle de tri qui bloque les requêtes sensibles à la volée) avec la même finesse. L’absence de signal vaut pour ce qu’elle est : un résultat d’enquête rétrospective, pas une mesure continue.
Publier tous les six mois n’aurait pas repéré la panne
Anthropic annonce vouloir publier ce type de rapport tous les trois à six mois, au titre de sa Responsible Scaling Policy, la politique interne qui encadre le déploiement de ses modèles à mesure qu’ils gagnent en capacité. Rapportée à cette cadence, la panne a duré près de deux fois le plus long intervalle entre deux rapports, et près de quatre fois le plus court.
Le calendrier d’audit qui vient d’être promis n’aurait donc pas attrapé l’incident. Le rapport documente le trou, il ne l’a pas détecté. Ce sont deux fonctions différentes que le vocabulaire de la transparence a tendance à confondre : rendre compte périodiquement, et surveiller en continu.
Le second filet mérite le même examen. Les prestataires étaient contrôlés en amont par des fournisseurs tiers, dont Anthropic écrit elle-même que les procédures de sélection étaient souvent insuffisantes. La barrière humaine et la barrière technique étaient censées être indépendantes. Elles ont cédé sur la même période, sans que la défaillance de l’une déclenche quoi que ce soit sur l’autre.
Un filtre muet ressemble à un filtre absent
Le mécanisme dépasse largement le cas d’Anthropic. Un classifier de sécurité désactivé produit exactement le même signal qu’un classifier actif qui ne rencontre rien de suspect : zéro blocage. Sans métrique de taux de blocage par canal, les deux situations sont indiscernables sur un tableau de bord.
La supervision classique alerte sur les événements. Ici, l’événement qui compte est une absence : un compteur qui reste à zéro trop longtemps. Rares sont les équipes qui posent une alerte sur ce cas, parce qu’un compteur à zéro ressemble à une bonne nouvelle.
S’y ajoute une question de périmètre. Les garde-fous sont câblés, testés et surveillés sur le chemin produit. Les chemins annexes, annotation, évaluation, traitement par lots, sous-traitance, API internes, sont souvent construits plus tard, par d’autres équipes, avec une configuration copiée puis dérivée. C’est précisément là que l’incident s’est logé.
Personne ne se plaint d’un filtre qui laisse tout passer
Anthropic a récemment assoupli ces mêmes filtres sur Fable 5, après que des chercheurs se sont plaints de blocages sur des travaux parfaitement légitimes. Le débat public sur la sécurité des modèles se concentre presque entièrement là : le seuil est-il trop strict, trop laxiste, combien de faux positifs.
Les deux échelles de temps n’ont pourtant rien de comparable. Un seuil de sensibilité se rediscute et se corrige en quelques jours, sous la pression des utilisateurs qui se heurtent au refus. Une couverture manquante, elle, ne génère aucune plainte. Elle peut donc tenir onze mois.
Un compteur à zéro, des chemins oubliés, une requête canari
Si vous exploitez un modèle avec des garde-fous, trois vérifications tiennent en une après-midi :
- le nombre de blocages par jour et par canal, avec une alerte déclenchée quand le compteur tombe durablement à zéro ;
- l’inventaire complet des chemins d’accès au modèle, y compris ceux qui ne passent pas par le produit, et la preuve que la configuration de sécurité y est identique ;
- une requête canari, formulée pour être refusée, rejouée automatiquement sur chaque chemin à intervalle court.
Le même document évalue par ailleurs le risque de mésalignement des modèles de très faible à faible. Les deux constats se répondent : dans un cas on mesure ce que fait le modèle, dans l’autre on découvre qu’on ne mesurait plus rien du tout sur une partie du trafic.
L’inconfort tient à l’origine de l’information. Ce trou de onze mois, nous n’en savons quelque chose que parce qu’une entreprise a choisi de le chercher, puis de l’écrire. Chez ses concurrents, la documentation publique porte sur le modèle plutôt que sur son exploitation : OpenAI décrit ses seuils et ses garde-fous dans son Preparedness Framework, Google DeepMind dans son Frontier Safety Framework, mais ces textes disent ce qu’un modèle est capable de faire, pas si les filtres tournaient réellement canal par canal. Nous ne connaissons donc pas les défaillances comparables : nous connaissons celles qui ont été documentées.
Mon avis
Ce qui m’inquiète ici, c’est le délai de détection : onze mois sur le risque que le dirigeant de l’entreprise place lui-même au-dessus des attaques informatiques. Je m’attends à ce que les prochains rapports de ce genre, chez Anthropic comme chez ses concurrents, finissent par publier une métrique de couverture des garde-fous canal par canal, parce que c’est le seul chiffre qui sépare une politique de sécurité d’une protection effective. Aucune règle n’oblige aujourd’hui un éditeur à chercher ce type de défaillance, encore moins à la rendre publique. Le seul trou dont nous parlons est donc celui qu’une entreprise a bien voulu documenter.
