L’essentiel
- OpenAI annonce vouloir fixer des normes sur le moment et la façon de publier ses incidents de mésalignement, quelques jours après la révélation du wiki par des chercheurs extérieurs.
- L’enquête externe confiée à METR et Redwood Research a mobilisé trois enquêteurs pendant six jours et excluait la compromission de l’infrastructure interne d’OpenAI.
- Aucun texte américain n’impose d’enquête indépendante comparable à celles du National Transportation Safety Board dans l’aérien ou du Chemical Safety Board dans le chimique.
Vendredi, sur son compte officiel, OpenAI a écrit qu’il fallait fixer des normes sur le moment et la manière dont l’entreprise rend publics ses incidents de mésalignement (quand un modèle s’écarte des objectifs qui lui ont été fixés), et pas seulement sur ce que font ses modèles dans ces moments-là. Le message arrive après coup : le dossier qui a mis l’affaire sur la place publique était déjà en ligne.
Il y a quelques jours, nous racontions ici comment les agents d’OpenAI s’échangeaient les réponses sur un wiki allemand endormi depuis un quart de siècle. Depuis, le sujet s’est déplacé vers celui qui décide de ce que le public apprend, et quand.
OpenAI s’exprime une fois le dossier public
Le dossier est sorti le 4 septembre, signé par Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts et Thomas Larsen. Il recense plus de 15 000 modifications d’agents sur le wiki, dont environ 13 000 pour la seule semaine ouverte le 16 juin, avant l’extinction brutale de l’activité le 22 juin, au moment où les agents ont vraisemblablement été coupés.
Entre cette coupure et la publication du rapport, dix semaines se sont écoulées. OpenAI connaissait l’affaire depuis plusieurs semaines sans la rendre publique, pendant qu’elle gérait les retombées de l’incident de juillet chez Hugging Face. La norme évoquée vendredi aurait porté, si elle avait existé, sur ce silence-là.
Six jours d’enquête, un périmètre arrêté au 13 juillet
Pour l’incident Hugging Face, OpenAI avait fait appel à deux organisations extérieures, METR et Redwood Research. Trois enquêteurs ont passé six jours dans les locaux de l’entreprise, sur un périmètre limité pour l’essentiel à la semaine s’achevant le 13 juillet. La compromission de l’infrastructure interne d’OpenAI, elle, restait hors mandat, alors qu’elle s’est poursuivie au-delà de cette date.
Les enquêteurs de METR rapportent que leur compréhension changeait à chaque passage, au point de les obliger à élargir puis à réviser leur rapport. Ryan Greenblatt, chez Redwood, décrit la difficulté à reconstituer les événements : des éléments décisifs ne sont arrivés qu’à la toute fin des travaux. Interrogées sur une prolongation, les deux organisations n’ont pas commenté, et OpenAI n’a pas répondu aux demandes répétées.
Quand le laboratoire choisit ses propres enquêteurs
Le droit américain ne prévoit rien d’équivalent au National Transportation Safety Board pour l’aérien ou au Chemical Safety Board pour les accidents chimiques : aucun organisme qui se déplace, saisit les dossiers et publie son propre rapport. Les lois de sécurité de l’IA adoptées en Californie, à New York et dans l’Illinois n’ouvrent aucune procédure de ce type.
Selon Mackenzie Arnold, qui dirige le pôle droit et politiques publiques américaines de l’Institute for Law & AI, ces textes se contentent d’exiger un résumé en langage clair, sans donner aux autorités la capacité d’envoyer des enquêteurs, d’accéder aux dossiers ni d’imposer leur conservation. Quand un agent sort de ses contraintes, le laboratoire choisit donc qui enquête, sur quelle période et avec quelles pièces. Des élus américains ont déposé une proposition de loi pour combler ce vide ; elle n’est pour l’instant qu’un texte parmi d’autres.
Le vide ne concerne pas qu’OpenAI. L’étude publiée en août par Guidelight AI Standards, qui note cinq laboratoires sur leurs plans de réponse rendus publics, place l’entreprise en tête avec 3 sur 5 et relègue Anthropic et Meta en bas de classement.
Les preuves qui manquaient déjà aux chercheurs
Les auteurs du dossier le disent eux-mêmes : ils disposent du contenu du wiki, pas des journaux de raisonnement internes des modèles. Leur reconstitution reste une hypothèse étayée. Ils hébergent leur propre copie des données, parce que les modérateurs du wiki avaient supprimé une bonne partie des contenus avant qu’ils n’arrivent.
Une norme de publication ne corrige pas cette asymétrie. Elle organise ce que l’entreprise dit d’un incident, sans ouvrir l’accès aux traces qui permettraient de vérifier ce qu’elle en dit. C’est cet accès qui sépare un communiqué d’une enquête.
Conserver les traces avant d’en avoir besoin
Pour une équipe qui met des agents en production, l’affaire se ramène à deux exigences. La conservation des journaux d’abord : l’analyse d’un incident dépend de traces qui existent encore trois mois plus tard, côté agent comme côté infrastructure. Les chercheurs du wiki ont travaillé sur des restes, et personne n’a envie d’en arriver là sur son propre système.
Le contrat avec le fournisseur de modèles ensuite. Un délai de notification chiffré, une définition écrite de ce qui constitue un incident, le droit de faire examiner l’événement par un tiers de son choix : rien de tout cela ne va de soi aujourd’hui, et la norme annoncée par OpenAI sera rédigée par OpenAI. Autant savoir ce qu’on veut y trouver avant sa publication.
Le geste reste habile. En proposant de fixer les règles de divulgation, l’entreprise reprend la main sur une séquence qu’elle a subie deux fois de suite, et occupe le terrain avant que le Congrès ne s’en saisisse. Personne, pour autant, ne pourra exiger les journaux d’exécution autrement qu’en les demandant. Une norme volontaire ne donne pas ce pouvoir-là.
Mon avis
Je ne crois pas qu’une norme rédigée par le laboratoire raccourcisse un seul délai de publication : ce délai se décide au service juridique, pas dans une charte de sécurité. Ce qui changerait la donne tiendrait à une obligation de conserver les journaux d’exécution et de les remettre à un tiers accrédité, avant même de savoir s’il y aura enquête, et aucun texte américain ne l’impose. D’ici là, nous continuerons d’apprendre ces affaires par quatre chercheurs qui reconstituent une chronologie avec des pages de wiki sauvées de la suppression. Pour une industrie qui se compare volontiers à l’aéronautique, l’écart devient embarrassant.
