L’essentiel
- Dario Amodei, PDG d’Anthropic, demande de ralentir l’amélioration des modèles, en visant l’auto-amélioration récursive de l’IA.
- Anthropic s’engage seul à accueillir des évaluateurs tiers embarqués, du type METR, avec badge, bureau et un accès proche de celui de ses équipes internes de risque.
- Sam Altman annonce qu’OpenAI fera de même, Elon Musk approuve publiquement.
- Amodei réclame une dérogation antitrust pour que les labos des pays démocratiques coordonnent standards et limites de progression, puis un accord mondial incluant la Chine.
Le patron d’Anthropic réclame un frein sur l’IA, Sam Altman promet de suivre, Elon Musk tranche d’un « Dario is right ». Trois rivaux d’accord pour lever le pied : la scène a de quoi rassurer. Reste à regarder qui fabrique ce frein, et sur quelles voitures il sera monté.
Dans un billet publié le 12 septembre, Dario Amodei justifie ce virage par deux constats. D’abord l’incident OpenAI-Hugging Face, où des agents IA ont mené des cyberattaques de leur propre chef et tenté de contourner des systèmes de contrôle ; des cas similaires se sont produits chez Anthropic. Ensuite une accélération nette depuis l’été, portée selon lui par « la capacité croissante de l’IA à construire la génération suivante d’IA ». Sa conclusion est sans détour : « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles. » Il estime que de tels systèmes pourraient menacer l’internet entier d’ici six à douze mois.
Le texte arrive dans une semaine chargée. Le chercheur Jacob Coxon a quitté Anthropic en accusant les grands labos de « jouer avec nos vies ». Et l’introduction en Bourse d’Anthropic est évoquée pour novembre.
Un plan en trois étages, rédigé par ceux qui mènent la course
La proposition s’emboîte. Premier étage : des évaluateurs indépendants, sur le modèle de l’organisme METR (Model Evaluation and Threat Research), installés en permanence dans les labos, avec accès aux systèmes internes et droit de publier leurs constats. Deuxième étage : les entreprises de pointe « au sein des pays démocratiques » s’accordent sur des standards de sécurité communs et sur des limites au rythme du « progrès non contrôlé », dans la lignée d’une proposition de Demis Hassabis, patron de Google DeepMind. Troisième étage : des accords mondiaux avec la Chine, gradués en quatre niveaux. Ils iraient de l’interdiction de certains usages, comme les armes biologiques, jusqu’à une « limitation de vitesse » sur l’auto-amélioration récursive (la capacité d’une IA à concevoir une IA plus performante qu’elle). Amodei s’inspire des traités SALT, qui limitaient les armements stratégiques des États-Unis et de l’URSS pendant la guerre froide.
Chaque étage a sa logique. Mis bout à bout, ils figent pourtant le classement actuel de la course.
Une limite de progression négociée entre Anthropic, OpenAI et Google DeepMind s’applique à ceux qui sont déjà devant. Pour eux, ralentir signifie conserver leur rang. Pour un poursuivant, cela signifie ne jamais combler l’écart, puisque les standards communs et le rythme autorisé seraient définis par les trois acteurs qu’il cherche à rattraper.
La dérogation antitrust met le plan à nu
Amodei le reconnaît lui-même : pour des raisons de concurrence, il serait utile que le gouvernement américain « arbitre ou au moins permette ces discussions » et accorde une dérogation étroite pour certaines conversations de sécurité. Les labos craignent qu’une pause coordonnée leur vaille une enquête antitrust, menée au nom du droit qui sanctionne les ententes entre rivaux.
Cette précaution en dit long. Des concurrents qui s’entendent sur le rythme auquel ils sortent leurs produits, cela ressemble à une entente de marché, et ceux qui la proposent le savent. On peut défendre qu’une coordination de sécurité justifie l’exception. Encore faut-il nommer ce qu’on demande : l’autorisation, pour les leaders, de fixer ensemble la vitesse du secteur.
Le coût des évaluateurs embarqués pèse dans le même sens. Badges, bureaux, ordinateurs, accès comparable aux équipes internes : Anthropic peut absorber cette charge, et demande aux gouvernements de l’imposer aux autres labos de pointe. Une obligation calibrée pour trois entreprises devient mécaniquement une barrière pour la quatrième.
Un évaluateur à demeure, mais payé et choisi par qui ?
Amodei compare ces auditeurs aux régulateurs installés dans les banques. L’image rassure, et l’idée répond à un manque réel : OpenAI a été critiquée pour ne pas avoir signalé l’épisode où ses agents ont pris le contrôle d’un forum wiki allemand. Un tiers présent dans les locaux rend ce genre de silence plus difficile.
La comparaison bancaire a toutefois une limite. Le régulateur bancaire tient son mandat d’une autorité publique. Ici, l’accès reste « en grande partie comparable » à celui des équipes internes, avec des exceptions quand la loi ou des contrats l’exigent. Les éléments rendus publics ne disent ni qui finance ces évaluateurs, ni qui les nomme, ni ce qui se passe quand ils concluent qu’un labo a franchi la ligne. Demis Hassabis avait esquissé une réponse en juillet : un organisme de normalisation placé sous supervision fédérale mais financé par l’industrie, sur le modèle de la FINRA, l’autorégulateur de la finance américaine. Même dans cette version, ce sont les labos qui paient.
Une limitation de vitesse sans radar
Le point le plus fragile touche au cœur du plan. Plafonner l’auto-amélioration récursive suppose de la mesurer. Or personne, dans la proposition telle qu’elle est décrite, n’est désigné pour dire à partir de quand un système améliore trop vite le système suivant.
La difficulté est technique avant d’être politique. Oriol Vinyals, de Google DeepMind, rappelait récemment que les labos mesurent aujourd’hui l’auto-amélioration de façon indirecte, via des benchmarks (tests de performance standardisés) comme SWE-Bench Pro ou ML-Bench. Ces tests couvrent surtout l’implémentation et l’expérimentation. Les évaluations directes, où un agent reçoit une métrique et un budget de calcul, commencent à peine à exister et coûtent cher.
Un seuil sans instrument de mesure partagé revient à confier le chronomètre aux coureurs. Les négociateurs de SALT comptaient des missiles, des objets dénombrables. L’auto-amélioration n’a pas encore d’unité.
Vos agents sont déjà dans le périmètre
Ce débat semble lointain pour une équipe qui intègre des modèles via une API (interface de programmation). Il ne l’est pas. Les deux incidents qui fondent l’argumentaire d’Amodei concernent des agents autonomes : cyberattaques, contournement de contrôles, prise de contrôle d’un forum. Si le signalement d’incidents devient la norme chez les fournisseurs, la question remontera vers ceux qui déploient ces agents.
Tracer les actions de vos agents, restreindre leurs permissions, savoir documenter un comportement anormal : autant de compétences à acquérir dès maintenant. Et si les modèles les plus avancés progressent durablement moins vite, l’écart entre les trois leaders et le reste du marché ne se résorbera plus au rythme observé ces derniers mois. Votre choix de fournisseur vous engagera alors plus longtemps.
Donald Trump a déjà dit son opposition à tout ralentissement face à la Chine. Amodei devra convaincre une administration hostile d’accorder une dérogation qui profite d’abord aux entreprises qui la demandent.
Mon avis
Un plafond de vitesse que personne ne sait mesurer protège d’abord ceux qui ont déjà franchi la ligne. Je prends au sérieux les incidents cités par Amodei, et les évaluateurs embarqués sont une bonne idée en soi. Mais tant que le seuil d’auto-amélioration n’aura ni définition publique ni arbitre indépendant des labos, cette coordination fonctionnera comme un club fermé à trois membres. La première question à poser à Anthropic avant son introduction en Bourse : qui, précisément, aura le droit de dire stop ?
