L’essentiel
- GenCeption, un modèle de Google DeepMind, réutilise un générateur vidéo pré-entraîné pour résoudre des tâches classiques de vision par ordinateur.
- Il atteint l’état de l’art en estimation de profondeur, segmentation et pose 3D avec une seule passe de calcul.
- Il s’entraîne sur 7 500 vidéos surtout synthétiques, soit entre un septième et un cinq-centième des données des modèles spécialisés.
Posons la question naïvement. Comment un ordinateur apprend-il à « voir » : à mesurer la distance d’un objet, à découper une silhouette du décor, à deviner la position d’un corps dans l’espace ? Depuis dix ans, la réponse tient en un mot : on entraîne un modèle spécialisé par tâche, chacun avec son architecture et ses montagnes de données étiquetées à la main. Un chercheur de Google DeepMind vient de proposer une réponse très différente. Et si cette compréhension du monde existait déjà, gratuitement, à l’intérieur des modèles qui génèrent des vidéos ?
Générer une vidéo oblige déjà à comprendre le monde
Le raisonnement part d’une analogie avec les modèles de langage. Un grand modèle de langage n’a jamais reçu de cours de grammaire ni d’encyclopédie. On lui a seulement appris à prédire le mot suivant. Pour y arriver correctement, il a dû absorber au passage la syntaxe, des faits sur le monde et le sens du contexte. La polyvalence est arrivée comme un effet de bord de cette tâche unique.
La vision par ordinateur n’a jamais eu son équivalent. Chaque capacité vit dans son silo : « Segment Anything » pour la segmentation, « Depth Anything » pour la profondeur, des architectures distinctes qui ne se parlent pas. Or, remarquent les chercheurs de DeepMind, produire une vidéo réaliste impose exactement le genre de compréhension qui manquait. Pour animer une scène crédible, un modèle doit saisir sa géométrie, la façon dont les objets bougent, une physique élémentaire. Et comme il s’entraîne aussi sur des descriptions textuelles, il relie déjà le langage aux pixels. Autrement dit, le « world model » que la vision cherchait à construire serait déjà là, tapi dans les poids des générateurs vidéo.
GenCeption détourne Wan2.1 vers la perception
Le modèle, baptisé GenCeption, part d’un générateur vidéo open source, le Wan2.1 d’Alibaba, et le réoriente vers des tâches de perception. Le tour de force tient dans la simplicité du dispositif.
Premier point : la vitesse. Un modèle de diffusion fabrique normalement une image en partant du bruit, par dizaines de petites étapes successives. Trop lent pour de la vision appliquée. GenCeption produit sa prédiction en une seule passe de calcul, ce qui le rend exploitable en pratique.
Deuxième point : l’unification. Chaque sortie, quelle qu’elle soit, est représentée comme une image RGB (rouge, vert, bleu) à trois canaux : une carte de profondeur, une carte des normales de surface, un masque de segmentation, tout est encodé en image. Même le mouvement de la caméra est converti en représentation visuelle. Un même format pour tout.
Reste à indiquer au modèle quelle tâche exécuter. C’est là que le langage entre en scène : un prompt textuel joue le rôle d’instruction, exactement comme on donne une consigne à un agent conversationnel. « Estime la profondeur », « segmente cet objet » : le modèle bascule d’une tâche à l’autre sans changer d’architecture, avec une seule fonction de perte pour toutes. Pour les rares sorties qui ne sont pas des images, comme la prédiction de points-clés 3D, l’équipe greffe de petits modules entraînables.
Réorienter un modèle génératif vers la perception n’est pas une idée tout à fait neuve : dès 2024, Marigold avait détourné le générateur d’images Stable Diffusion vers l’estimation de profondeur, en s’appuyant déjà sur des données synthétiques. GenCeption pousse la logique un cran plus loin, de l’image à la vidéo et d’une tâche isolée à toute une batterie.
Quand l’annotation cesse d’être le goulot d’étranglement
Le résultat le plus frappant n’est pas la performance en soi, c’est ce qu’elle a coûté. L’essentiel de l’entraînement repose sur un jeu de données synthétique de 7 500 vidéos seulement. La recette : 800 modèles d’humains numériques combinés à 200 séquences de capture de mouvement, le tout rendu dans Blender avec des arrière-plans et des angles de caméra variés. Les vraies vidéos ne servent que pour la segmentation guidée par le langage.
Malgré ce régime quasi entièrement synthétique, GenCeption fonctionne sur des images réelles et sur des catégories d’objets jamais croisées à l’entraînement. Selon l’étude, il égale ou dépasse l’état de l’art sur de nombreux tests de référence, avec une seule architecture pour tout, en utilisant entre un septième et un cinq-centième des données des modèles établis. Ses estimations de profondeur se hissent au niveau des modèles dédiés.
Ce chiffre mérite qu’on s’y arrête. En vision, la donnée étiquetée est le poste de dépense qui bride tout le monde : annoter un masque de segmentation ou une carte de profondeur pixel par pixel coûte cher et ne passe pas à l’échelle. Si l’on peut hériter de la compréhension spatiale d’un générateur pré-entraîné, l’annotation cesse d’être le point de blocage. On ne construit plus le savoir visuel, on le récupère.
Bâtir la perception en interrogeant un générateur
Pour les équipes qui construisent des systèmes de perception — robotique, conduite, imagerie — l’implication est concrète : le prochain socle ne sera peut-être pas un modèle de vision entraîné sur des labels, mais un générateur vidéo qu’on interroge par un prompt. La modularité par le texte ouvre aussi la porte à des systèmes de perception plus souples, pilotables comme on pilote un modèle de langage.
Les zones d’ombre restent réelles. « Approche » l’état de l’art n’est pas « écrase », et un jeu de 7 500 vidéos synthétiques finement calibrées demande son propre travail d’ingénierie amont. Une passe unique paie forcément un prix face aux dizaines d’étapes d’un modèle de diffusion complet. Mais la démonstration de principe, elle, tient : générer une image et la comprendre mobilisent le même savoir sur le monde, et l’on commençait tout juste à s’en apercevoir.
Mon avis
Je vois dans GenCeption le signe que les frontières entre familles de modèles vont continuer de tomber. On a longtemps rangé génération et perception dans deux boîtes ; l’idée qu’un générateur vidéo héberge déjà le modèle du monde recherché me paraît trop féconde pour rester un article isolé. On investissait pour entraîner un modèle spécialisé ; il va falloir apprendre à récupérer ce qu’un grand modèle génératif porte déjà, presque gratuitement. Les équipes qui continuent d’empiler des labels risquent de payer plein tarif un savoir désormais à portée de main.
