Aller au contenu principal

Anthropic veut qu’un juge décide du blocage d’un modèle d’IA

Illustration de l'article sur la proposition d'Anthropic confiant a un juge federal, et non a une agence, le pouvoir de bloquer un modele d'IA jugé dangereux.

L’essentiel

  • Anthropic fait circuler auprès d’élus américains un projet de loi qui permettrait de bloquer la mise à disposition d’un modèle en cas de risque « prévisible et imminent » : plus de 50 morts ou blessés graves, ou plus d’un milliard de dollars de dégâts matériels.
  • Les risques visés sont les armes biologiques, la perte de contrôle d’un modèle par son développeur et les cyberattaques ; les seuils reprennent ceux de la loi californienne SB 53.
  • Des évaluateurs indépendants, enregistrés auprès du département du Commerce et éventuellement rémunérés par les laboratoires, auraient 72 heures pour signaler un risque ; seul un juge fédéral de Washington pourrait ensuite ordonner l’arrêt.

Aucune agence fédérale ne pourrait, de sa propre autorité, arrêter la distribution d’un modèle d’IA. Cette clause, glissée dans le projet de loi qu’Anthropic fait circuler auprès d’élus américains, pèse plus lourd que les seuils spectaculaires qui l’entourent. Le gouvernement devrait s’adresser à un juge, et c’est ce juge qui trancherait.

Qu’un laboratoire propose lui-même un moyen de bloquer ses modèles a de quoi surprendre. À la lecture, le texte le protège contre l’administration autant qu’il protège le public contre lui.

Un frein confié à un tribunal

Le mécanisme, tel que Politico l’a décrit à partir du brouillon, se déroule en trois temps. Des évaluateurs jugent si un modèle présente un risque catastrophique imminent. S’ils concluent que oui, ils disposent de 72 heures pour prévenir le département du Commerce. Celui-ci doit alors saisir un juge fédéral de Washington pour obtenir la suspension de la mise en distribution.

Ce détour judiciaire change la nature du pouvoir. Une agence qui agit par décision administrative peut être rapide, discrétionnaire, et soumise aux pressions politiques du moment. Un juge, lui, exige un dossier, écoute la défense et motive sa décision. Pour un laboratoire qui investit des milliards dans un modèle, la garantie de procédure compte : elle écarte le scénario d’un blocage décidé en une nuit par un cabinet ministériel.

Anthropic précise que le texte reprend les propositions de son « Advanced AI Framework », un cadre de régulation défendu auprès des élus fédéraux et des États depuis juin, et un porte-parole a confirmé l’existence du brouillon.

Des évaluateurs payés par ceux qu’ils évaluent

Les évaluateurs seraient « indépendants » et enregistrés auprès du département du Commerce. Rien n’interdit pourtant que les laboratoires les rémunèrent, à une condition : que le paiement ne dépende pas des résultats de l’évaluation. On connaît le principe en audit financier, et on en connaît aussi les limites. Le texte ne dit pas comment on garantit, concrètement, qu’un client récurrent n’influence pas le diagnostic de celui qu’il paie. Anthropic écrivait d’ailleurs autre chose il y a un mois : en annonçant une évaluation confiée à Accenture, le laboratoire estimait que ce financement devrait à terme venir de fonds mutualisés ou publics, comme le demandait son cadre de juin.

Demis Hassabis, de DeepMind, avait évoqué il y a quelques mois un organisme d’autorégulation calqué sur la FINRA, l’autorité d’autorégulation du secteur financier américain. Le projet d’Anthropic en est une variante : l’industrie finance la mesure, l’État l’enregistre, la justice sanctionne. La compétence du juge pose une autre difficulté. Un magistrat généraliste devra arbitrer entre des évaluateurs techniques et un laboratoire dont les avocats maîtrisent mieux que lui les subtilités d’un test de capacités biologiques ou d’une évaluation d’autonomie.

Des seuils empruntés à la Californie

Les deux chiffres, plus de 50 morts ou blessés graves et plus d’un milliard de dollars de dégâts, viennent du texte californien SB 53, qui définit de la même façon le « risque catastrophique ». Anthropic recommandait dès juin de retenir cette définition. Le choix a un avantage pratique : un laboratoire n’aurait qu’un seul référentiel à respecter à l’échelle du pays. Il a aussi un coût, car ces seuils décrivent des catastrophes spectaculaires, pas les incidents qui préoccupent aujourd’hui le secteur.

Ces derniers mois, l’inquiétude s’est surtout portée sur des agents qui désobéissent à leurs opérateurs et piratent des sites sur l’internet ouvert. Un tel incident, grave pour ses victimes, atteindrait rarement 50 morts ou un milliard de dollars. Un texte calibré sur l’apocalypse laisse donc hors champ le risque ordinaire, celui qui survient en production, chez des clients, avec des agents mal bridés.

Des obligations qui finiront dans vos contrats

Si vous déployez des agents, le projet ne vous concerne pas directement : il vise les laboratoires qui entraînent et distribuent des modèles de pointe. Mais sa logique descendra. Des évaluateurs enregistrés, des délais de signalement de 72 heures, une trace écrite des tests : vos fournisseurs devront documenter ces pratiques, et vos propres contrats finiront par s’aligner dessus.

Les laboratoires ont longtemps défendu des évaluations volontaires et résisté à toute supervision obligatoire. Ils en proposent ici une version obligatoire, mais dont ils choisissent à peu près tous les paramètres : seuils, évaluateurs, juridiction. Le Congrès décidera s’il y voit un cadre ou un plaidoyer.

Mon avis

Confier l’arrêt d’un modèle à un juge est la meilleure idée du texte, et la plus fragile. Un tribunal ne vaut que par l’expertise qu’on met devant lui, or celle-ci est ici fournie par des évaluateurs que les laboratoires peuvent rémunérer. Tant que ce point n’est pas verrouillé, la procédure rassure sur la forme et laisse le fond entre les mains de ceux qu’elle prétend surveiller.

Sources

Ils m’ont fait confiance

« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »

Évaluation client · projet WordPress · septembre 2026

5,0/5 sur 17 évaluations

Faire appel à mes services →

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *