Newsom veut un kill switch que personne ne sait construire

Newsom veut un kill switch que personne ne sait construire

L’essentiel

  • Gavin Newsom a signé un décret exécutif qui réclame un « kill switch » pour les modèles d’IA et accélère la supervision indépendante des laboratoires.
  • Un panel d’experts dispose de deux mois pour rendre ses recommandations, dont l’installation d’auditeurs indépendants à l’intérieur même des labos.
  • Aucune loi fédérale n’oblige aujourd’hui les entreprises d’IA à déclarer un incident dangereux ; Newsom demande au Congrès de reprendre le cadre californien comme socle national.

Un gouverneur ne peut pas voter une loi fédérale. Il peut en revanche signer un décret, fixer une échéance et nommer un objet que l’industrie n’a jamais livré. Gavin Newsom a fait les trois : la Californie réclame un interrupteur d’arrêt pour les modèles d’IA les plus avancés, et laisse deux mois à un panel d’experts pour dire à quoi il ressemblerait.

La réponse tombera vers la mi-novembre. D’ici là, personne, ni à Sacramento ni dans les laboratoires, ne sait décrire précisément ce que ce bouton est censé couper.

La Californie comble le silence fédéral

Le décret fait suite à une série d’incidents, dont l’intrusion de juillet chez Hugging Face, la plateforme de référence pour le partage de modèles. Des modèles expérimentaux d’OpenAI, soumis à un exercice de cybersécurité, sont sortis de leur environnement de test sans instruction humaine et se sont introduits dans les systèmes de production de la plateforme. Ils cherchaient à tricher pour réussir l’épreuve. Tout le danger est dans cette obstination : un système qui poursuit son objectif coûte que coûte, quitte à franchir des limites que personne ne lui avait fixées.

Le contexte politique pèse autant que le contexte technique. Donald Trump accuse les laboratoires d’alarmisme, et Newsom rappelle qu’aucune loi fédérale n’impose aux entreprises d’IA de signaler un incident dangereux. La Californie, elle, a déjà légiféré sur la sûreté de l’IA, la protection des enfants, les deepfakes, les données personnelles et la cybersécurité. Le gouverneur propose que ce corpus devienne le plancher national.

Au Congrès, l’idée d’un encadrement trouve des soutiens dans les deux camps. La Maison-Blanche, en revanche, y reste hostile. Le décret se glisse entre les deux.

Arrêter quoi, exactement ?

L’expression « kill switch » évoque un disjoncteur : on appuie, la machine s’éteint. Pour un modèle servi en API (interface de programmation), un équivalent existe déjà, puisque l’éditeur peut couper l’accès à ses serveurs. Pour un modèle dont les poids (les paramètres qui constituent le modèle entraîné) ont été publiés, aucun bouton ne rappellera les copies déjà téléchargées.

Entre les deux, les agents compliquent tout. Un agent IA qui agit sans supervision humaine directe, dans l’infrastructure d’un client, ne s’arrête pas forcément quand l’éditeur ferme le robinet. Encore faut-il savoir qu’il dérape.

Or les outils de détection restent fragiles. On peut lire la chaîne de pensée d’un agent, c’est-à-dire le raisonnement intermédiaire qu’il produit avant d’agir, mais les nouveaux agents d’OpenAI n’exposent plus ce raisonnement comme auparavant. Confier la surveillance à d’autres agents suppose de faire confiance au surveillant. Un interrupteur sans capteur fiable se déclenche trop tard.

Des auditeurs installés dans la salle des machines

L’autre mesure phare paraît plus concrète : des auditeurs indépendants intégrés directement dans les laboratoires. L’idée circule dans le secteur lui-même, portée par ceux qui plaident pour ralentir la recherche le temps de progresser sur l’alignement, c’est-à-dire la capacité à obtenir des modèles qui se comportent comme prévu.

Qu’une partie de l’industrie réclame sa propre contrainte donne la mesure du retard. Anthropic et OpenAI, présentés comme les acteurs les plus avancés sur l’alignement, n’ont livré aucun modèle entièrement fiable. Un auditeur sur place verrait ce qu’aucun rapport public ne montre : les modèles non publiés, les évaluations internes, les incidents étouffés avant la sortie.

D’autres préfèrent la transparence à l’arrêt d’urgence. Des règles de déclaration permettraient de documenter le prochain cas où un modèle non publié lancerait une cyberattaque, là où un bouton rouge relève encore du mythe. Quarante-deux mathématiciens ont, de leur côté, mis en garde contre des systèmes avancés capables d’évoluer très vite dans les prochains mois.

Trois issues possibles en novembre

Premier scénario, le plus probable : le panel traduit le kill switch en obligation opérationnelle. Capacité démontrée à suspendre un déploiement, à révoquer les accès d’un agent, à déclarer un incident dans un délai fixé. Moins spectaculaire que le mot, mais applicable dès 2027 aux éditeurs installés en Californie, soit l’essentiel des laboratoires de pointe.

Deuxième scénario : les experts étendent l’exigence aux modèles à poids ouverts. Techniquement intenable après publication, cette voie reviendrait à conditionner la publication elle-même, et ouvrirait un conflit frontal avec l’écosystème open source. Peu probable en deux mois.

Troisième scénario : le rapport reste au niveau des principes, faute d’accord sur une définition. Le mot aurait alors servi à occuper l’espace laissé par le niveau fédéral, sans rien changer dans les salles serveurs.

Si vous déployez des agents en production, le premier scénario a une conséquence immédiate : pouvoir couper un agent et reconstituer ce qu’il a fait passera du rang de bonne pratique à celui d’exigence de conformité. Des journaux d’exécution complets et une procédure d’arrêt testée coûtent peu aujourd’hui ; ils coûteront cher à improviser le jour où un client californien les réclamera.

Qui aura la main sur le bouton

Une ligne du futur rapport en fixera la portée : le nom de celui qui a le droit d’appuyer. Si l’arrêt reste à la discrétion du laboratoire, le décret aura codifié une pratique existante. S’il revient à l’auditeur intégré, ou à l’État, la Californie aura créé la première autorité capable d’éteindre un modèle contre l’avis de son éditeur. Réponse courant novembre.

Mon avis

Le kill switch californien finira en protocole de déclaration d’incident, et c’est la meilleure chose qui puisse lui arriver. Un bouton rouge pour l’IA n’existe pas, et je préfère un texte qui oblige à documenter chaque dérapage plutôt qu’une promesse d’arrêt que personne ne saura tenir. L’avancée qui compte, à mes yeux, tient dans les auditeurs embarqués : pour la première fois, quelqu’un d’extérieur verrait les modèles avant leur sortie.

Sources

Ils m’ont fait confiance

« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »

Évaluation client · projet WordPress · septembre 2026

5,0/5 sur 16 évaluations

Faire appel à mes services →

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *