Tournez la caméra dans une pièce générée par IA, revenez sur vos pas, et le décor a changé. Les meubles ont bougé, les textures se sont déformées. La couverture médiatique de Mirage, le nouveau world model vidéo de Microsoft Research, retient une chose : c’est plus rapide et plus léger que la concurrence. Mais elle passe à côté de l’essentiel.
Le problème n’a jamais été la qualité de l’image
Depuis deux ans, les générateurs vidéo produisent des images bluffantes. Le verrou des world models (modèles qui transforment une image de départ et une trajectoire de caméra en séquence cohérente) était ailleurs : la mémoire spatiale dans la durée.
Un générateur sans mémoire vit dans l’instant. Chaque nouvelle image est plausible isolément, mais le modèle perd la trace de ce qu’il a déjà montré. Le coin de la pièce que vous venez de quitter n’existe plus pour lui. Quand la caméra y revient, il l’invente à nouveau, différemment.
Ce n’est pas un défaut d’esthétique. C’est un défaut de cohérence.
La mémoire en nuage de points : un double goulot
Les approches précédentes (des systèmes comme Voyager, WonderWorld ou Spatia) tentaient de fixer la scène avec un nuage de points 3D, alimenté en continu par des données de couleur. La géométrie est mémorisée explicitement, en pixels visibles.
Le papier de Microsoft Research pointe ce que cette stratégie coûte vraiment, et le qualifie de double goulot d’étranglement. À chaque étape de génération, il faut :
- rendre ce nuage de points en image (une opération lourde) ;
- puis ré-encoder ce rendu dans l’espace de représentation interne du modèle.
Deux problèmes en découlent. D’abord le compute : ce cycle rendu-puis-encodage dévore des ressources, et la facture grimpe à mesure que la séquence s’allonge. Ensuite la perte d’information : chaque aller-retour par l’espace pixel laisse fuir de la donnée. On stocke la couleur, pas la pensée du modèle.
Stocker la scène là où le modèle la pense déjà
Mirage change l’équation. Plutôt que de retenir des points de couleur visibles, le modèle conserve les features internes que la diffusion manipule de toute façon. Chaque feature reçoit une position dans l’espace 3D : elle devient une entrée de la mémoire spatiale.
La différence n’est pas cosmétique, elle est structurelle. Pour générer un nouveau point de vue, le modèle projette directement cette mémoire latente sur la caméra cible et la transmet au générateur. Plus de nuage de points à rendre, plus de ré-encodage. On reste dans l’espace latent du début à la fin.
Le gain mémoire suit la même logique : la donnée vit à la résolution interne compacte du modèle, pas à pleine résolution. On ne traîne plus la scène en haute définition, on la traîne en représentation dense.
Au bout du compte, la mémoire contient la géométrie sans payer la taxe du pixel.
Comment la mémoire grandit, segment après segment
Mirage construit la vidéo par morceaux. Il amorce la mémoire spatiale à partir de l’image de départ, puis, pour chaque segment suivant, il lit les données pertinentes, génère les nouvelles images, et réécrit leur contenu dans le cache. La mémoire s’étend au fil de la génération.
Un détail révèle la maturité de l’approche : un filtre retire les objets en mouvement et le ciel avant l’écriture. Seule la géométrie stable rejoint la mémoire de long terme. On ne mémorise pas une voiture qui passe ; on mémorise les murs.
Côté ingénierie, les chercheurs ne sont pas repartis de zéro. Ils se sont appuyés sur Wan2.2, le modèle vidéo open-source d’Alibaba, en lui greffant un petit module additionnel pour exploiter cette nouvelle mémoire, puis en affinant l’ensemble avec des adaptateurs LoRA. Une démarche de praticien : réutiliser une base solide, n’ajouter que le strict nécessaire.
Ce que les chiffres disent, et ce qu’ils ne disent pas
Sur le benchmark WorldScore, Mirage devance son rival le plus proche, Spatia, qui mémorise encore en points de couleur, et laisse loin derrière les générateurs vidéo généralistes comme Wan2.1 ou CogVideoX. Il excelle à maintenir la structure spatiale d’une scène et la cohérence des surfaces sur de nombreuses images.
Plus parlant : le test en boucle fermée sur le jeu de données RealEstate10K, où la caméra revient à son point de départ. C’est un test de torture, parce que la moindre erreur s’accumule sur tout le parcours. Mirage y mène sur deux des trois métriques.
Mais le vrai argument est ailleurs. Compute et mémoire restent quasi plats sur toute la durée de la génération, là où les modèles à mémoire colorée deviennent de plus en plus gourmands à chaque morceau. Sur les séquences longues, c’est exactement là que la concurrence s’effondre.
Pour autant, gardons la tête froide. Il s’agit d’un travail de recherche, évalué sur des benchmarks et des scènes majoritairement statiques (le filtre qui écarte les objets mobiles n’est pas neutre). La cohérence de la géométrie fixe n’est pas la cohérence d’un monde vivant et peuplé. La marche reste haute.
Et maintenant, où mène cette bascule ?
Pour qui orchestre des modèles au quotidien, la leçon dépasse la vidéo. Mirage illustre une intuition qui revient partout en IA : la donnée la plus utile à conserver n’est pas la sortie lisible par l’humain, c’est la représentation interne du modèle. On gagne à mémoriser ce que le modèle pense, pas ce qu’il montre.
Simulateurs pour la robotique, environnements d’entraînement, jeux génératifs : tous butaient sur le même mur de cohérence et de coût. Google DeepMind a poussé son world model Genie 3 vers des univers interactifs qui tiennent leur cohérence plusieurs minutes ; Mirage attaque le même mur par l’autre bout, celui du coût de la mémoire. Déplacer la mémoire dans l’espace latent ne rend pas les images plus belles. Cela rend les mondes durables.
La question n’est plus de savoir si une IA peut générer une scène crédible. C’est de savoir combien de temps elle saura s’en souvenir.
