Richard Sutton, prix Turing, affirme que la puissance de calcul seule ne suffira pas à produire de l’intelligence. La phrase surprend venant de l’auteur de la « bitter lesson », cet essai de 2019 que les partisans du scaling (l’idée d’améliorer les grands modèles de langage, ou LLM, en augmentant leur taille, leurs données et leur calcul) brandissent comme une caution.
Elle ne contredit pourtant pas son texte. Sutton n’a jamais écrit que n’importe quelle architecture, mise à l’échelle, finirait par atteindre l’intelligence générale.
Un essai cité à contresens
Dans « The Bitter Lesson », Sutton soutenait que les méthodes générales qui progressent avec le calcul finissent par battre les approches sophistiquées conçues à la main. Ce qui compte, ce sont les idées dont la performance grandit avec les moyens, pas celles qui reposent sur des hypothèses humaines.
Rien dans cette thèse ne garantit que les transformers, entraînés sur du texte, soient la méthode qui passera à l’échelle jusqu’au bout. La dernière décennie a pourtant installé ce raccourci dans beaucoup de têtes : le scaling comme réponse par défaut, la recherche d’algorithmes comme perte de temps.
Le chercheur Jayden Teoh décrit les effets de ce raccourci côté académique. Il dit avoir vu à plusieurs reprises la bitter lesson freiner la recherche, des idées prometteuses étant écartées parce qu’elles s’éloignaient trop de son esprit. La faute, selon lui, n’est pas celle de Sutton mais d’une mauvaise lecture de son message. Il rappelle aussi que des idées jugées après coup contraires à la bitter lesson ont souvent permis d’avancer avant d’être remplacées par des approches plus générales. « Une idée n’a pas besoin de survivre éternellement au scaling pour être une contribution importante », écrit-il.
Les données synthétiques et l’expérience : la réponse de Sutton
Sutton n’a pas attendu ce débat pour le dire. Il avait déjà qualifié les données synthétiques de « grosse erreur » : le monde réel est infiniment complexe, et toute simulation n’en offre qu’une version « microscopique ». L’expertise humaine, elle, devient un goulot d’étranglement qui empêche de passer réellement à l’échelle.
Il défend à la place des agents dotés de modèles du monde, qui apprennent en continu de leur propre expérience. Le monde dépasse de très loin ce que le texte d’Internet peut capturer, et les modèles de langage actuels cessent d’apprendre une fois leur entraînement terminé. Le verrou est connu : apprendre en continu sans effacer les connaissances déjà acquises. Google Research s’y attaque aussi, avec Nested Learning, une approche présentée fin 2025 pour limiter cet oubli.
Pour une équipe qui construit des agents, la différence est concrète. Un agent qui s’appuie sur un LLM figé se corrige par le prompt, le contexte ou une base de recherche. Un agent qui apprendrait de ses actions poserait d’autres questions : comment évaluer ce qu’il retient, comment l’empêcher d’oublier, comment le tester quand il change tout seul.
Tworek : plus on calcule, plus l’algorithme pèse
Jerry Tworek, qui a quitté OpenAI pour explorer d’autres approches, replace la déclaration de Sutton dans son contexte. La bitter lesson tient toujours, écrit-il, mais plus on investit de calcul dans l’entraînement, plus l’algorithme compte. Certains algorithmes passent à l’échelle, d’autres mènent à des impasses, et de nombreuses dimensions du scaling restent inexplorées.
Son diagnostic est sévère : le succès temporaire du scaling des transformers, joint à une mauvaise lecture de la bitter lesson, a « reward-hacké le cerveau de toute une génération de scientifiques ». Autrement dit, un signal de réussite à court terme a fini par orienter les choix de recherche, comme un agent qui exploiterait une faille de sa fonction de récompense.
Tworek dirige Core Automation, un laboratoire qui cherche des algorithmes d’apprentissage au-delà du pré-entraînement et de l’apprentissage par renforcement. Sutton, avec Oak Lab, appartient à la même famille de fondateurs : ils croient à une IA bien plus capable, mais doutent que la recette actuelle suffise à y mener.
Altman, lui, maintient la ligne
Les dirigeants de l’industrie ne partagent pas ce doute. Sam Altman, le patron d’OpenAI, estime que le scaling des grands modèles de langage est loin d’être épuisé. Il reproche aux critiques de ralentir toute une génération de chercheurs en se montrant trop sûrs de ce que le scaling ne pourra pas faire.
Sa preuve : un modèle d’OpenAI a récemment réfuté une conjecture mathématique que des mathématiciens n’avaient pas réussi à trancher. L’exemple est frappant, mais il établit ce que ce modèle sait faire aujourd’hui, pas que la même voie suffira pour l’apprentissage continu ou les modèles du monde que réclame Sutton.
Prolonger la courbe ou apprendre après le déploiement
Les uns misent sur la continuité d’une courbe qui a déjà tenu ses promesses. Les autres misent sur des capacités que cette courbe, à ce jour, ne fournit pas : apprendre après le déploiement, sans rien oublier. Aucun des deux camps ne dispose encore d’une démonstration qui ferme le débat.
Correctement lue, la bitter lesson ne tranche pas entre eux. Elle ne protège plus le scaling des transformers de l’examen, puisque son propre auteur réclame d’autres méthodes. Côté produit, la prudence consiste à ne pas bâtir sa feuille de route sur l’hypothèse qu’une seule trajectoire l’emportera : un agent conçu autour d’un modèle figé n’aura pas les mêmes besoins qu’un agent qui apprend en service.
Les laboratoires lancés sur ces pistes, Core Automation et Oak Lab en tête, diront d’ici peu si l’apprentissage continu tient sa promesse ou s’il s’arrête devant un mur. Leurs premiers résultats pèseront davantage dans la discussion que n’importe quelle exégèse d’un essai de 2019.
Vous avez aimé celui-ci ?
La newsletter du vendredi réunit les articles de la semaine, avec leurs sources.
Offert à l'inscriptionMa configuration Claude Code, avec mes skills, mes sous-agents et mes hooks, prêts à copier.
Sources
Ils m’ont fait confiance
« Il ne se contente pas de corriger les symptômes, il cherche à comprendre l'origine des problèmes et à sécuriser les modifications effectuées. J'ai réellement le sentiment d'avoir trouvé un développeur qui comprend à la fois la technique et les enjeux globaux du projet. »
Évaluation client · projet WordPress · septembre 2026
5,0/5 sur 22 évaluations
Faire appel à mes services →
