Imaginez que vous formiez un nouveau collègue. Vous ne lui récitez pas une procédure : vous faites la tâche une fois devant lui, il regarde, il refait. OpenAI vient d’appliquer cette idée à son agent de programmation. La fonctionnalité s’appelle Record & Replay, et elle pose une question simple en apparence : et si on arrêtait de décrire ce qu’on veut à une IA pour le lui montrer ?
Concrètement, ça marche comment ?
Le principe tient en une phrase signée OpenAI : « Montrez à Codex un flux de travail une fois. Réutilisez-le comme une compétence. » Vous exécutez une tâche récurrente devant l’agent : déposer une note de frais, soumettre une demande de congé, remplir un formulaire interne. Codex enregistre la démonstration.
Le résultat ? Cette suite de gestes devient une compétence réutilisable. La prochaine fois, vous n’avez plus à réexpliquer chaque étape : l’agent rejoue la procédure qu’il a vue. Vous passez du verbe au geste, de la consigne écrite à l’exemple vivant.
Pourquoi montrer vaut mieux que décrire
Tout praticien qui orchestre une IA au quotidien connaît la friction du prompt. Décrire précisément un flux de travail métier (où cliquer, dans quel ordre, quelles valeurs reporter d’un écran à l’autre) est souvent plus long et plus fragile que de faire la tâche soi-même. Le langage naturel peine à capturer l’implicite d’une procédure : le bouton qu’on sait être en bas à droite, l’onglet qu’on ouvre par réflexe.
La démonstration court-circuite ce problème. Elle transporte l’implicite sans qu’on ait à le verbaliser. C’est la différence entre expliquer à quelqu’un comment nouer une cravate au téléphone et lui montrer le geste devant un miroir. Le second mode est dense, immédiat, difficile à mal interpréter.
La frontière avec le RPA qui s’efface
Et c’est là que le sujet dépasse le simple confort d’usage. Enregistrer une séquence de clics pour la rejouer à l’identique, c’est très exactement ce que fait le RPA (robotic process automation), cette industrie d’automatisation de processus que des acteurs comme UiPath ou Automation Anywhere ont bâtie sur l’enregistrement de macros applicatives.
Le RPA classique a toujours souffert d’une fragilité connue : il rejoue des coordonnées et des sélecteurs figés. Un bouton qui se déplace, un libellé qui change, et le robot casse. La promesse implicite de Record & Replay est différente. Ce n’est pas une macro aveugle, c’est une compétence confiée à un modèle qui comprend l’intention derrière les gestes. En théorie, il peut donc s’adapter quand l’interface bouge.
La nuance compte. Le RPA automatisait des processus à côté du logiciel. Ici, l’automatisation de processus entre dans le modèle lui-même. Avec Record & Replay, la capacité à apprendre par l’exemple devient une propriété native de l’agent, pas une couche d’enregistrement posée à côté.
L’angle est singulier. Anthropic, avec l’usage de l’ordinateur par Claude, et Google, qui a fondu son projet Mariner dans Gemini Agent, ont surtout appris à leurs agents à piloter une interface sur consigne. Montrer un geste une fois pour le transformer en compétence réutilisable reste, lui, le pari propre à OpenAI.
Ce que ça change pour celui qui orchestre
Pour un développeur ou un responsable d’automatisation, le déplacement est concret. La compétence d’un agent ne se code plus seulement dans des prompts ou des scripts : elle se transmet par démonstration, comme un savoir-faire artisanal. On passe d’une logique de spécification à une logique d’apprentissage.
Cela ouvre la porte aux tâches que personne ne prenait la peine d’automatiser parce que les décrire coûtait plus cher que les faire à la main. La note de frais mensuelle, le formulaire RH trimestriel : du travail répétitif, mal défini, trop singulier pour mériter un script dédié. Le montrer une fois change l’équation.
Restent les zones d’ombre, et elles sont sérieuses. Une compétence apprise par démonstration hérite des gestes qu’on lui a montrés, erreurs comprises : montrez une mauvaise habitude, l’agent l’apprend aussi. La question de la fiabilité sur les cas limites, ceux qui n’étaient pas dans la démonstration, demeure entière. Et qui dit agent qui rejoue des actions dans des outils internes dit accès, droits, traçabilité : un sujet de gouvernance autant que de productivité.
Une fonctionnalité encore tenue en laisse
OpenAI ne déploie d’ailleurs pas la fonctionnalité partout. Record & Replay est, selon l’entreprise, « une fonctionnalité optionnelle qui se déploie dans certains marchés sélectionnés, avec une disponibilité plus large à venir ». Une prudence qui en dit long : laisser un agent rejouer des procédures réelles dans des systèmes de production n’est pas un geste anodin, et l’éditeur avance par paliers.
Ce déploiement mesuré ne doit pas masquer la direction. En faisant entrer l’apprentissage par démonstration dans son agent de programmation, OpenAI ne propose pas un gadget : il déplace silencieusement la frontière de ce qu’on attend d’un modèle. Hier, on lui parlait. Aujourd’hui, on lui montre. La prochaine étape, celle où l’agent généralise une compétence d’un contexte à un autre sans nouvelle démonstration, sera la vraie ligne à surveiller.
