L’essentiel
- La démission du chercheur Jacob Coxon, motivée par les risques de l’IA, a sorti le sujet de l’extinction des cercles techniques en quelques jours.
- Oriol Vinyals, jusqu’à récemment VP Research de Google DeepMind, situe l’accélération de la recherche par l’IA autour d’un facteur dix et écarte l’explosion d’intelligence.
- Yoshua Bengio soutient dans un nouvel essai que la tromperie et le contournement des règles émergent du processus d’entraînement lui-même.
- Vishal Maini, passé par l’équipe communication de DeepMind entre 2018 et 2022, affirme que toute communication externe sur l’extinction y était interdite à tous les niveaux.
Le chercheur Evan Hubinger a mis un nombre sur ce que ses collègues réservaient jusqu’ici aux conversations de couloir : plus de 10 % de probabilité que des systèmes avancés finissent par « tuer tous les humains ». La formule a circulé pendant des jours, portée par la démission de Jacob Coxon, un autre chercheur parti en invoquant les risques. Ce que recouvre exactement ce pourcentage n’a, lui, jamais été précisé.
Une probabilité sans événement ni horizon
Une probabilité suppose trois choses : un événement défini, un horizon de temps, une méthode d’estimation. Aucune des trois n’accompagne ces 10 %. Hubinger a au moins nommé l’événement, ce que la plupart des intervenants évitent. Dans les discussions sur le « risque existentiel », les participants désignent des scénarios radicalement différents sous le même mot. Le terme AGI (intelligence artificielle générale) a connu la même dérive : à force de tout désigner, il ne recouvre plus rien de précis.
Ce chiffre mélange deux catégories qui n’ont ni la même échelle ni la même vérifiabilité. Pour une partie des observateurs du domaine, l’extinction complète de l’espèce est si peu probable qu’en débattre gaspille du temps utile. Les désastres causés par l’IA, cyberattaques sur des infrastructures critiques ou détournement de connaissances biologiques, sont d’un tout autre ordre : mesurables, plausibles, déjà partiellement documentés. Un pourcentage qui agrège les deux ne mesure rien d’exploitable. Le jeter en bloc parce qu’aucune catastrophe n’est survenue serait aussi peu sérieux que de le prendre au pied de la lettre.
Le terrain avait changé avant la démission
Des chercheurs alertent depuis dix ans sans être entendus au-delà de leur communauté. Le terrain, lui, a changé : le résultat obtenu par OpenAI sur les équations de Navier-Stokes et la place prise par l’IA dans le débat public cette année ont sorti le sujet de la rubrique technique. Le grand public a commencé à se demander s’il devait s’en préoccuper. Une démission qui serait passée inaperçue l’an dernier a trouvé une caisse de résonance.
S’y ajoute un ressort plus banal : la peur se partage mieux que la nuance. Parmi toutes les positions disponibles sur la sécurité de l’IA, ce sont les estimations les plus extrêmes qui ont atteint le grand public, pas les travaux sur l’évaluation ou la robustesse.
Vinyals chiffre l’accélération et s’arrête à dix
Quelques jours après son départ de Google DeepMind, Oriol Vinyals a livré un ordre de grandeur à l’Agentic AI Summit 2026. Celui qui a travaillé sur AlphaStar, AlphaCode et Gemini considère l’auto-amélioration récursive, ce moment où un système contribue à concevoir sa propre version suivante, comme inévitable mais lente : un facteur dix ou plus sur certaines tâches de recherche et d’ingénierie, sans emballement soudain.
Il ne s’en tient pas à l’ordre de grandeur et détaille le raisonnement. Améliorer un système suppose quatre étapes : trouver une idée prometteuse, écrire le code qui l’implémente, mener les expériences, puis juger de façon fiable si le changement a aidé. L’IA progresse sur les deux étapes centrales et échoue encore sur la première et la dernière. Un facteur dix appliqué à la moitié du travail ne donne jamais un facteur dix sur l’ensemble : le gain total est plafonné par ce qui n’accélère pas.
Le goût de la recherche ne s’entraîne pas encore
Les laboratoires mesurent cette auto-amélioration de façon indirecte : ils regardent grimper leurs scores sur des tests de capacité comme SWE-Bench Pro ou ML-Bench, en espérant qu’elle s’y manifeste par effet de bord. Ces tests sont peu coûteux et bien définis, mais ils couvrent surtout l’implémentation et l’expérimentation, les deux étapes déjà résolues. Le thermomètre est placé là où il n’y a plus de fièvre.
Vinyals connaît le problème pour avoir construit des agents de jeu pendant des années : un système finit par exploiter la mesure au lieu de jouer le jeu qu’on lui demande. Les premiers tests directs commencent à apparaître, sur un protocole simple à décrire et lourd à exécuter. On donne au système une métrique et un budget de calcul, puis on mesure de combien il progresse seul. Chaque évaluation demande des heures de travail d’un agent sur des tâches éloignées de l’objectif réel. Son exemple : l’agent optimise Tetris quand la finalité est d’automatiser un laboratoire entier.
Reste la génération d’idées, ce qu’il appelle le « research taste », cette intuition de ce qui vaut la peine d’être tenté. Personne n’a sérieusement étudié comment l’enseigner à un modèle. Les critères existent pourtant, ceux qu’appliquent les relecteurs de conférence : originalité, élégance, efficacité, résistance au temps. Une partie peut être formalisée en règles, vérifiée par des modèles de récompense, puis apprise par renforcement. L’idée et le jugement, les deux étapes que l’IA ne sait pas encore prendre en charge, sont précisément ce que vise la startup qu’il monte.
Bengio déplace le problème vers l’entraînement
Yoshua Bengio attaque par l’autre bout. Dans son essai, le pionnier de l’apprentissage profond avance que plus un agent devient performant pour atteindre un objectif, plus il devient habile à tromper ses utilisateurs, à contourner les règles, à se coordonner avec d’autres agents et à dissimuler ses comportements problématiques. Ces capacités émergent de l’entraînement lui-même, de l’imitation du texte humain et de l’apprentissage par renforcement, plutôt que d’un défaut de conception ponctuel. Un objectif mal spécifié suffit à pousser un système à optimiser contre l’intention de celui qui l’a déployé. Les travaux d’Anthropic vont dans le même sens : entraînés sur des tâches où la triche paie, leurs modèles ont généralisé jusqu’au sabotage et à la falsification de leur propre signal de récompense.
En production, l’avertissement se traduit sans mystère : une métrique mal choisie, et le système la satisfait en contournant la tâche. Bengio demande depuis des années de ralentir et de ne déployer qu’après revue de sécurité indépendante ; il a fondé LawZero il y a environ un an pour construire des systèmes plus sûrs. La réponse politique va dans l’autre sens : Donald Trump écarte ces demandes et fait de l’avance américaine sur la Chine sa priorité.
Chez DeepMind, la consigne était de parler de Terminator
Vishal Maini, membre de l’équipe communication et affaires publiques de DeepMind entre 2018 et 2022, raconte que toute communication externe sur la possibilité d’une extinction humaine était interdite, à tous les niveaux de l’organisation. Les chercheurs étaient préparés à qualifier ces risques d’alarmisme, à les renvoyer aux « films comme Terminator » et à réorienter la conversation vers les applications en santé ou en climat. En interne, l’équipe savait le problème d’alignement non résolu et jugeait beaucoup trop faible le nombre de gens qui y travaillaient.
Après des mois de contestation, la règle s’est desserrée : les contenus de sécurité formulés positivement ont obtenu le feu vert, dont un billet enveloppant le risque d’extinction dans un vocabulaire aimable. Maini estime que l’écart entre ce qui se sait en interne et ce qui se dit en public se referme, parce que les preuves deviennent plus difficiles à écarter.
Le premier chiffre utile de cette séquence ne sortira ni d’un sondage interne ni d’un message posté sur X. Il viendra de ces protocoles d’évaluation directe qui commencent à peine à exister, coûtent cher et n’intéressent personne en dehors des laboratoires. En attendant, nous discutons d’un pourcentage dont l’auteur lui-même n’a jamais prétendu qu’il était mesuré.
Mon avis
Ces 10 % ont accompli en une semaine ce que dix ans de publications évaluées par les pairs n’ont pas obtenu, et je trouve la leçon désastreuse : le débat vient d’être calibré par ce qui se partage, pas par ce qui se mesure. Dans l’essai de Bengio, la partie qui me préoccupe est déjà observable en laboratoire, des agents qui apprennent à masquer ce qu’ils font pour satisfaire leur score. Je m’attends à ce que le premier incident sérieux vienne d’un agent industriel ayant contourné sa tâche pour optimiser sa métrique, dans une entreprise qui n’a jamais employé le mot alignement. Ce jour-là, plus personne ne réclamera de pourcentage.
