L’essentiel
- World Labs reconstruit une démonstration robotique réelle en monde virtuel interactif, puis en génère des milliers de variantes (éclairage, position des objets, friction, angle de caméra).
- Les modèles de contrôle sont entraînés uniquement en simulation, puis transférés sur du matériel réel, dont le robot bi-bras open source ALOHA conçu à Stanford.
- Sur un passage de cube à deux mains, le classement des modèles reste le même en simulation et en réel, avec 2 000 essais simulés et 100 essais réels par version testée.
Un robot fait passer un cordon d’alimentation autour d’un obstacle, à deux mains, pendant une heure, sans qu’aucun humain n’intervienne. Il n’a jamais répété ce geste sur du matériel : son apprentissage s’est entièrement déroulé dans un monde reconstruit par ordinateur. World Labs vient de détailler la mécanique derrière ce résultat.
Tout part d’une seule démonstration filmée, que l’entreprise convertit en milliers de situations d’entraînement. Et ce déplacement change aussi la façon de juger un modèle de contrôle.
Une démonstration filmée, des milliers de mondes jouables
Le point de départ est un constat que l’entreprise formule sans détour : ce qui bloque le déploiement des robots n’est pas l’architecture des modèles, c’est le volume d’expérience nécessaire pour agir de façon fiable. Les données de terrain coûtent cher et se contrôlent mal. Les vidéos disponibles en ligne, elles, ne couvrent jamais systématiquement la variété des objets, des conditions physiques et surtout des situations d’échec.
Le procédé se déroule en trois temps. On capture d’abord la scène complète : le robot, ses capteurs, l’environnement, et la démonstration de la tâche. On la reconstruit ensuite en monde virtuel interactif, à l’aide de modèles de monde génératifs, ces IA qui apprennent à simuler un environnement, couplés à une simulation robotique orientée tâche. Ce monde ne doit pas seulement ressembler à l’original : il doit se comporter comme lui physiquement. On le fait enfin varier : lumière, position et nombre d’objets, décor alentour, propriétés physiques comme la friction, point de vue de la caméra.
Une démonstration devient ainsi des milliers de situations contrôlées. Et pas seulement sur des objets rigides : les exemples montrés couvrent le routage d’un câble, l’insertion d’un embout élastique dans un trou, l’emballage d’un carton à deux mains, donc des objets mobiles et déformables, précisément ceux que les simulateurs classiques rendent mal. NVIDIA pousse la même logique avec son moteur physique Newton et ses modèles Cosmos, qui fabriquent des environnements d’entraînement à partir de descriptions textuelles, d’images ou de vidéos. World Labs part à l’inverse d’une scène réelle déjà filmée, qu’il cherche à répliquer au comportement près.
Un simulateur imprécis peut suffire à trancher entre deux modèles
C’est l’idée la plus contre-intuitive de ce travail, et la plus importante. Le simulateur de vol éclaire le raisonnement : personne ne lui demande de reproduire la sensation exacte du décollage. On lui demande de séparer les pilotes qui savent gérer une panne moteur de ceux qui ne savent pas. Le réalisme sensoriel compte moins que la hiérarchie qu’il établit.
World Labs applique exactement ce raisonnement à l’évaluation des modèles de contrôle. Une bonne simulation n’a pas à livrer les mêmes taux de réussite que la réalité. Elle doit répondre aux mêmes trois questions : où le modèle échoue-t-il, quelle version est la meilleure, et une amélioration obtenue en simulation se retrouve-t-elle sur le robot physique ?
Pour le vérifier, l’entreprise rejoue la même séquence d’actions en simulation et en réel, côte à côte, et compare les observations, les mouvements des objets et les résultats. Le test le plus parlant porte sur un passage de cube entre les deux bras d’un robot ALOHA. La simulation reproduit les réussites, mais aussi les cas limites où le robot n’attrape le cube que par l’arête, et les échecs qui vont avec. Sur plusieurs architectures de modèles et à différents stades d’entraînement, le classement obtenu en simulation reste globalement identique à celui obtenu sur matériel, y compris sur des positions de cube jamais vues. Chaque version a été évaluée sur 2 000 essais simulés et 100 essais réels.
La robotique retrouve la boucle d’itération du logiciel
L’argument met le doigt sur un décalage que beaucoup constatent sans l’expliquer. Un modèle de langage se compare à un autre en quelques heures, sur des jeux d’évaluation qui tournent en parallèle et ne coûtent que du calcul. Un modèle de contrôle, jusqu’ici, s’évalue en immobilisant un robot, un opérateur et un plan de travail, essai après essai. La boucle d’itération n’a rien à voir.
Si l’évaluation devient logicielle, cette boucle se rapproche de celle des modèles de langage. Les équipes filtrent les versions faibles en simulation et réservent les campagnes de tests physiques, lentes et coûteuses, aux candidats les plus prometteurs. Le système n’étant lié ni à un modèle de contrôle ni à un type de robot, un monde reconstruit une fois se réutilise pour d’autres modèles et d’autres machines. D’autres modèles ont d’ailleurs tourné une heure sans intervention humaine sur quatre plateformes supplémentaires, du repositionnement précis de tubes à essai à l’extraction de crayons d’un tas dense.
Le choix d’ALOHA n’est pas anodin non plus. Cette conception bi-bras issue de Stanford, que l’opérateur pilote en manipulant deux bras maîtres, coûte une fraction des systèmes commerciaux et ses plans sont publics. C’est la plateforme de référence de la recherche : montrer un transfert qui fonctionne dessus, c’est le montrer sur un matériel que n’importe quel laboratoire peut reproduire.
La vérification quitte le plan de travail
Cette bascule déplace le point de contrôle. Tant que la vérité venait du plan de travail, tout le monde savait où regarder en cas de doute : on rejouait la tâche devant témoins. Si le jeu d’entraînement et le banc d’essai proviennent tous deux du même simulateur, la vérification change de nature. Il faut désormais démontrer qu’un monde reconstruit reste fidèle sur les dimensions qui comptent pour la tâche, ce qui est autrement plus abstrait que compter des réussites sur une table.
Un simulateur peut très bien classer correctement des modèles tout en partageant avec eux le même angle mort. Si la friction d’un câble ou la déformation d’un joint sont modélisées de travers, la hiérarchie tient, les métriques restent belles, et l’erreur ne se manifeste qu’au déploiement. Un exploitant qui achète une flotte de robots ne pourra plus se contenter de demander les taux de réussite : il devra demander sur quel monde ils ont été mesurés, et qui a validé ce monde.
La bonne nouvelle est que ce travail de validation, lui, est logiciel, reproductible et automatisable. On peut le versionner, le rejouer, le confier à un tiers. Ce que la robotique perd en évidence physique, elle peut le regagner en traçabilité, à condition que la discipline s’en empare avant que les premiers déploiements de masse ne l’imposent dans la douleur.
Mon avis
Générer des variantes, beaucoup de laboratoires savent déjà le faire. Démontrer que le classement des modèles survit au passage sur du matériel réel, presque personne. C’est là que se situe l’apport de ce travail, et je m’attends à ce que la prochaine bataille de la robotique porte sur des bancs d’essai simulés partagés, comparables d’un laboratoire à l’autre, exactement comme les jeux d’évaluation ont structuré la course aux modèles de langage. Et le jour où un accident sérieux impliquera un robot entraîné entièrement en simulation, la première question de l’enquête ne portera pas sur le modèle, mais sur le simulateur qui l’a validé.
