Poser un modèle devant des milliers d’heures de vidéo et lui demander de comprendre comment le monde bouge, sans jamais lui dire quel geste produit quel effet : voilà le pari. Un roboticien bute depuis toujours sur la même difficulté. Comment enseigner à une machine ce qu’est « saisir un objet » ou « pousser une porte » si l’on ne dispose pas d’un catalogue d’actions soigneusement étiquetées pour chaque situation ?
C’est exactement ce verrou qu’attaque Orca, un world model (modèle du monde) présenté par la BAAI (Beijing Academy of Artificial Intelligence), le laboratoire public chinois de recherche en IA. Son rapport technique défend une idée simple et frontale : l’intelligence ne devrait pas se réduire à des modèles de prédiction spécialisés, un pour le langage, un pour la vidéo, un pour le contrôle robotique. Ce qu’il faut, argumente l’équipe, c’est un modèle qui saisit d’abord comment le monde change, puis qui met cette compréhension au service de tâches très différentes.
Prédire l’état du monde, pas chaque pixel
Tout se joue dans ce que le modèle cherche à prédire. La plupart des générateurs vidéo prédisent l’image suivante pixel par pixel. Orca, lui, prédit l’état suivant du monde dans un espace abstrait. Il ne cherche pas à deviner la couleur exacte de chaque point de l’écran, mais à anticiper ce qui se passe : un objet qui en masque un autre, un mouvement qui se poursuit, une dynamique de scène qui suit son cours.
L’analogie la plus juste, c’est celle du conducteur. Quand vous voyez une balle rouler vers la chaussée, vous n’imaginez pas la texture précise de l’enfant qui va la suivre : vous anticipez qu’un enfant risque de surgir. Vous raisonnez sur des états du monde, pas sur des pixels. Orca fait le pari que c’est ce niveau de représentation, et non le rendu photoréaliste, qui rend une IA utile pour agir.
Apprendre en regardant, puis en écoutant
Pour construire cette compréhension, Orca combine deux modes d’apprentissage que ses auteurs baptisent de façon parlante. Le premier, l’« apprentissage inconscient », se nourrit de vidéos brutes, sans la moindre légende. Le modèle regarde une image, prédit à quoi ressemblera la suivante dans son espace abstrait, et attrape au passage les régularités du réel : les motifs de mouvement, les occlusions, la manière dont une scène évolue toute seule.
Le second, l’« apprentissage conscient », ajoute les mots. Les vidéos sont découpées en segments, chacun accompagné d’une description du changement d’état, si bien que le modèle apprend ce qu’une action donnée provoque concrètement. S’y ajoute l’entraînement classique de questions-réponses sur vidéo, pour que le modèle sache encore dialoguer en langage naturel. Les deux chemins alimentent le même état interne du monde.
De ce double apprentissage naît la propriété centrale d’Orca : il n’a jamais besoin de labels d’action explicites pour la robotique. Il déduit la mécanique des gestes à partir de vidéos non annotées d’un côté, de descriptions textuelles de l’autre. C’est précisément ce qui lui permet, selon le rapport, de rivaliser avec des systèmes robotiques spécialisés sans avoir vu un seul de ces labels qu’ils exigent d’ordinaire. Orca n’est d’ailleurs pas seul sur ce pari : Meta pousse la même intuition avec V-JEPA, entraîné sur de la vidéo sans action annotée, et Google DeepMind l’explore depuis Genie, capable d’inférer les actions entre deux images. La singularité d’Orca se joue ailleurs, dans un état du monde unique qui sert aussi bien au texte qu’à l’image et au geste.
Un cœur figé, des têtes interchangeables
L’architecture éclaire l’ambition. Le socle repose sur Qwen3.5, un modèle vision-langage de la famille développée par Alibaba, et ce cœur reste gelé après l’entraînement : on n’y touche plus. Autour de lui viennent se brancher des modules de sortie plus petits, chacun spécialisé dans une forme de réponse.
- Le texte passe par la tête de langage déjà présente dans Qwen3.5.
- Les images sortent via Stable Diffusion 3.5, laissé intact lui aussi, avec seulement de petits adaptateurs entraînés en amont pour lui transmettre l’état interne d’Orca.
- Les actions robotiques viennent d’un module de contrôle entraîné de zéro, sobrement nommé « Action Expert ».
La logique est assumée : l’équipe ne cherche pas à battre des records sur tel ou tel benchmark (test de référence) isolé. Elle veut démontrer qu’un état du monde bien appris peut servir de base commune à des tâches radicalement différentes, du dialogue à la génération d’images jusqu’au mouvement d’un bras robotisé. Le socle ne change pas ; seule la prise de sortie varie.
La donnée, ce plafond que la robotique n’arrive pas à percer
L’ampleur du chantier se lit dans les chiffres. Pour entraîner Orca, les chercheurs ont rassemblé 125 000 heures de vidéo, 160 millions de descriptions d’événements et 11,5 millions de paires question-réponse, couvrant des vues à la première personne, des manipulations d’objets, des enregistrements de robots sans données d’action et des scènes naturelles. Détail vertigineux : la version actuelle n’a exploité qu’un dixième de ce corpus vidéo.
Décliné en deux tailles, 0,8 et 4 milliards de paramètres, le modèle voit sa performance grimper avec la quantité de données et l’échelle. Et surtout, meilleur est l’état interne du monde acquis en pré-entraînement, meilleurs sont les résultats sur les trois modes de sortie à la fois. Sur les benchmarks textuels, Orca-4B affiche la meilleure moyenne globale, 51,8 %, sur MVBench, TemporalBench, 3DSRBench et SWITCH, face aux petits modèles vision-langage et à des world models plus imposants.
L’intérêt tient à un mur sur lequel la robotique bute depuis des années : la rareté des données d’action annotées. Étiqueter le geste exact associé à chaque situation coûte cher, se fait mal à grande échelle et enferme chaque modèle dans son domaine. En apprenant la mécanique du monde à partir de vidéos que personne n’a annotées, Orca esquisse une manière de contourner ce goulot plutôt que de le combattre à coups de main-d’œuvre.
Il faut garder la tête froide : un rapport technique n’est pas un robot qui range votre cuisine, et un dixième du corpus laisse deviner combien de chemin sépare la démonstration du produit. Mais l’idée directrice, elle, est solide. Si comprendre le monde peut précéder la collecte de labels au lieu d’en dépendre, alors la prochaine génération de modèles utiles à l’action se construira peut-être là où on ne l’attendait pas : devant des vidéos sans légende, à deviner ce qui vient après.
