Déplacez une tasse dans un placard pendant que son propriétaire regarde ailleurs. Un modèle de monde entraîné sur la physique décrira la scène sans une erreur : la tasse est dans le placard, la porte est fermée. Et il se trompera sur la seule chose qui compte, à savoir ce que la personne fera en rentrant dans la pièce.
Cet exemple minuscule ouvre un article de recherche signé Fei et Zhao, qui reproche à la génération actuelle de modèles de monde d’avoir oublié une brique. Ces systèmes, dont Sora, Genie 3, JEPA ou Marble, apprennent à prédire comment une scène évolue quand une action la traverse. Leur espace d’états contient des objets, des positions, du mouvement, des occlusions (ce qu’un objet cache à la vue). Ce que les gens présents croient, veulent ou jugent socialement acceptable n’y figure nulle part.
Les produits déjà commercialisés en témoignent : Genie 3, chez Google DeepMind, génère des mondes explorables en temps réel, et Marble, chez World Labs, vend des décors 3D exportables. Dans les deux cas, c’est la cohérence visuelle qui emporte le verdict, jamais la prédiction d’un comportement.
Deux états du monde, un seul modélisé
La proposition des auteurs s’appelle Mental World Modeling (MWM, ou modélisation mentale du monde). Elle double la couche physique d’une couche de variables mentales : croyances, attention, buts, intentions, émotions, normes, relations sociales.
Le partage des rôles est net. L’agent observé ne dispose que d’une vue égocentrique (prise depuis son propre point de vue) et partielle, celle que ses yeux lui donnent. Le modèle de monde, lui, détient l’état complet, physique et mental, et simule comment une action déplace les deux à la fois.
La couche physique promet la cohérence : les objets ne traversent pas les murs. La couche mentale promet la pertinence : l’action prédite est celle que la personne va réellement entreprendre. Un assistant qui possède la première sans la seconde produit des scènes justes et des décisions absurdes.
Un même geste, plusieurs intentions
Le mécanisme le plus utile du cadre tient à la façon dont il découpe une action. Chaque action reçoit un support physique (parler, pointer, saisir) et une charge mentale (consoler, tromper, rejeter). Faire glisser une tasse sur la table peut être une excuse, une manipulation ou une attention.
Le geste est identique, la vidéo est identique, le futur ne l’est pas. Seul un modèle qui porte les variables mentales dispose de quoi les distinguer. C’est là que la différence avec l’approche purement générative se joue : produire des pixels plausibles n’a jamais impliqué de comprendre pourquoi la main bouge.
Les auteurs prennent d’ailleurs soin de désamorcer la lecture spectaculaire. Ils ne prétendent pas simuler une conscience. Les états mentaux sont des hypothèses inférées à partir du comportement et du contexte, pas des mesures, et un système bâti sur ce cadre doit afficher son incertitude et rendre ses suppositions inspectables. Prudence salutaire, et point faible assumé.
MENTIS choisit après avoir simulé
Pour éprouver la théorie, les chercheurs livrent MENTIS, un pipeline modulaire publié sur GitHub, qui fonctionne sans le moindre entraînement supplémentaire. Six étapes, dans cet ordre. La scène est analysée, puis reconstituée du point de vue de l’agent. Les options d’action sont ensuite scindées en composantes physique et mentale, les états qui en découlent sont simulés en parallèle, chaque branche est notée, et la décision tombe de façon déterministe.
La notation retient trois critères : plausibilité physique, cohérence mentale, acceptabilité sociale. Détail qui compte pour quiconque met un agent en production : chaque étape écrit un résultat intermédiaire lisible par machine, ce qui permet de remonter une erreur jusqu’au maillon précis qui l’a produite.
Mettez ce fonctionnement en regard d’un modèle de bout en bout. L’un vous rend une réponse, l’autre vous rend une trace. Quand un robot d’assistance se trompe sur ce que veut un patient, la trace vaut plus qu’un score.
Un benchmark qui note aussi la raison du choix
Le benchmark, Menti-Bench, rassemble 448 scènes de décision : 320 descriptions textuelles, 100 histoires en images et 28 extraits sonores et vidéo. Chaque scène propose six réponses possibles et une solution de référence rédigée par des humains, qui documente non seulement l’action correcte mais aussi les états mentaux et physiques qui la justifient.
Ce dernier point est l’apport méthodologique. On n’évalue plus seulement si la machine a coché la bonne case, on évalue si elle l’a cochée pour la bonne raison. Un système peut deviner l’action juste en s’appuyant sur des régularités statistiques, sans avoir la moindre représentation de ce que la personne sait.
Et comme MENTIS ne s’entraîne pas, tout gain observé ne vient pas de paramètres supplémentaires : il vient de la structure qui organise le raisonnement. Voilà le déplacement intéressant. La course actuelle consiste à empiler des poids en espérant que l’inférence sociale émerge ; ce travail suggère qu’un modèle plus modeste, équipé du bon découpage, tient sa place face à un modèle plus lourd laissé à lui-même.
Trois réserves, dont une qui dépasse la technique
Le benchmark est petit : 448 scènes suffisent à ouvrir une discussion, pas à valider une architecture. Les solutions de référence sont écrites par des annotateurs, donc l’acceptabilité sociale mesurée est la leur, avec sa culture et ses angles morts.
La troisième réserve est plus profonde. Inférer des intentions, c’est produire des affirmations invérifiables sur autrui. Un pipeline qui note l’acceptabilité sociale d’une réponse installe un jugement normatif au cœur de la machine, et le rend d’autant plus difficile à contester qu’il sort propre, chiffré, tracé.
Si vous construisez des agents qui interagissent avec des personnes, l’implication est directe : cessez d’attendre la compréhension sociale d’un modèle plus gros, exigez de votre système qu’il dise explicitement ce qu’il suppose de la personne en face. Et le jour où un assistant interprétera votre silence, allez lire sa grille de notation, puis regardez qui l’a écrite. Le nombre de paramètres, lui, ne vous apprendra rien.
