Introduction
Les systèmes d’IA modernes accomplissent déjà des prouesses impressionnantes. Un modèle linguistique peut répondre à des questions et écrire du code. Un modèle d’image ou de vidéo peut générer un contenu visuel réaliste. Un modèle robotique peut apprendre à saisir, placer ou déplacer des objets.
Mais ces capacités découlent souvent d’objectifs de prédiction distincts. Un modèle linguistique prédit le prochain jeton. Un modèle vidéo prédit la prochaine image. Une politique robotique prédit la prochaine action. Chaque objectif est utile, mais il laisse en suspens une question plus profonde : le modèle comprend-il comment le monde lui-même évolue ?
Le projet RoboBrain Orca de BAAI, présenté dans le rapport technique « Orca : The World is in Your Mind », aborde cette question sous l’angle de la représentation du monde. Orca n’est pas présenté comme un simple chatbot plus performant, un générateur d’images plus esthétique ou une politique d’apprentissage par imitation directe pour robots. Son idée centrale est plus fondamentale : apprendre d’abord une représentation latente partagée des états du monde, puis l’exploiter pour la compréhension linguistique, la prédiction d’images et la génération d’actions.
Contexte du projet
L’article original part d’une observation simple mais importante : l’IA peut générer des résultats, mais la génération de résultats n’équivaut pas à la compréhension du monde.
Par exemple :
- Si une tasse est renversée, le modèle peut-il déduire que de l’eau pourrait se répandre ?
- Si un robot échoue à sa première tentative de saisie, le modèle sait-il que l’objet est toujours présent dans la scène ?
- Si une vidéo de cuisine passe du lavage des légumes à leur découpe, le modèle comprend-il cela comme une progression d’événements plutôt qu’un simple changement visuel ?
- Après une action, le modèle peut-il suivre l’évolution des objets, des relations et de l’avancement de la tâche ?
Ces questions pointent vers un objectif plus large. Un modèle du monde utile ne devrait pas seulement prédire une sortie externe. Il devrait construire une représentation interne de l’état du monde et de sa transition.
La page du projet Orca et le rapport technique décrivent cela comme un passage de la prédiction du prochain X à la prédiction du prochain état. Au lieu de prédire séparément le prochain jeton, la prochaine image ou la prochaine action, Orca tente d’apprendre comment un état du monde évolue sous l’effet de la dynamique naturelle, des conditions événementielles et des intentions de tâche.
Page d’accueil du projet : https://orca-wm.github.io
Rapport technique : https://arxiv.org/abs/2606.30534
Réaction de la communauté de recherche
Après sa publication, Orca a attiré l’attention des communautés de recherche intéressées par les modèles du monde, la représentation multimodale et l’intelligence incarnée. Les discussions se sont moins concentrées sur la capacité d’Orca à générer des résultats visuellement attrayants que sur sa tentative de relier le texte, les images, les vidéos et les actions comme différentes projections d’un même monde sous-jacent.
L'article est également apparu sur Hugging Face Papers, où il a suscité un intérêt notable de la communauté. Cela est important car les modèles du monde sont de plus en plus évalués non seulement sur la qualité de leurs sorties, mais aussi sur la capacité de leurs représentations apprises à être transférées d'une tâche à l'autre.
De la prédiction du prochain X à la prédiction du prochain état
Au cours des dernières années, de nombreuses avancées en IA peuvent être décrites comme des formes de « prédire le prochain X ».
Les modèles de langage prédisent le jeton suivant, ce qui leur confère des capacités d'écriture, de raisonnement, de dialogue et de codage. Les modèles vidéo prédisent ou synthétisent les images futures, ce qui les aide à créer un mouvement plus cohérent. Les modèles incarnés prédisent souvent la prochaine action, permettant aux robots d'effectuer des tâches de manipulation.
Orca soutient que cela ne suffit pas pour les agents qui doivent opérer dans le monde réel. Le langage, les images et les actions ne sont que différentes interfaces avec le monde. La cible plus profonde est l'état du monde lui-même.
Dans le cadre d'Orca, la prédiction du prochain état signifie apprendre une représentation d'état interne qui peut soutenir des transitions physiquement et sémantiquement cohérentes. Cet état n'est pas identique à une phrase, une image ou une trajectoire d'action. Il se rapproche davantage d'une représentation latente compressée du monde.
Une fois qu'une telle représentation est apprise, différents modules de lecture peuvent l'utiliser de différentes manières :
- Un module de lecture linguistique peut expliquer ou raisonner sur l'état.
- Un module de lecture d'image peut prédire un état visuel futur plausible.
- Un module de lecture d'action peut aider un robot à choisir quoi faire ensuite.
C'est pourquoi le projet utilise l'expression « Le monde est dans votre esprit. » Le monde n'est pas traité comme des jetons, des images et des étiquettes d'action déconnectés. Il est modélisé comme un espace latent qui peut être lu à travers plusieurs modalités.
Qu'essaie d'enseigner RoboBrain Orca en premier au modèle ?
Si l'on compare un robot à un enfant, de nombreuses approches actuelles reviennent à envoyer directement l'enfant à un établi et à lui demander de répéter une tâche spécifique jusqu'à ce qu'il devienne bon dans cette tâche.
Orca suit un ordre différent. Avant d'apprendre exactement à un robot comment agir, il essaie de donner au modèle une éducation plus générale sur les changements du monde.
Cela inclut des régularités de base telles que :
- les objets peuvent tomber ;
- les liquides peuvent s'écouler ;
- l'occlusion ne signifie pas la disparition ;
- le contact peut changer la position des objets ;
- les événements ont un ordre temporel ;
- la progression de la tâche change à mesure que l'environnement change.
La motivation est simple. Si un modèle apprend d'abord comment les états du monde changent, alors une plus petite quantité de
de données d'action peut suffire à relier cette représentation au contrôle robotique. Cela pourrait réduire les coûts d'entraînement et améliorer la généralisation.
Deux modes d'apprentissage et trois signaux d'entraînement
Orca utilise deux modes d'apprentissage complémentaires : l'apprentissage inconscient et l'apprentissage conscient.
L'apprentissage inconscient capture les transitions naturelles denses à partir d'observations continues. Le modèle observe comment les scènes, les objets, l'occlusion, le contact et le mouvement évoluent sans avoir besoin d'étiquettes d'action ou d'instructions explicites sur la tâche.
L'apprentissage conscient ajoute une structure sémantique. Il utilise des descriptions d'événements, du langage et une supervision de type VQA afin que le modèle puisse relier les changements visuels aux concepts humains, aux instructions et à la signification causale.
Ensemble, ces modes d'apprentissage sont soutenus par trois principaux types de signaux.
- Vidéo continue pour les transitions d'état naturelles
Le premier signal est la vidéo continue du monde réel. Cela donne au modèle une expérience dense des changements d'état naturels, tels que le mouvement des objets, l'évolution des scènes, les effets de contact et l'occlusion.
Ce type d'apprentissage n'exige pas que le modèle connaisse à l'avance l'objectif de la tâche. Il se rapproche davantage de l'observation passive : le modèle apprend comment le monde change en regardant le monde changer.
- Données d'événements pour les transitions d'état sémantiques
Le deuxième signal est l'organisation au niveau des événements. Les processus du monde réel ne sont pas simplement des images isolées. Les gens les décrivent naturellement comme des événements : laver les légumes avant de les couper, ouvrir un robinet avant que l'eau ne change l'état des aliments, ou bouger une main avant qu'un objet ne change de position.
La supervision par événements aide Orca à apprendre des transitions d'état significatives dans des conditions sémantiques spécifiques.
- Supervision VQA et langagière pour le raisonnement et l'expression
Le troisième signal est la compréhension basée sur le langage. Le langage n'est pas l'objectif final d'Orca, mais il constitue une interface importante entre les états du monde et l'intention humaine.
La supervision VQA aide à aligner les états visuels, la structure des événements et le langage naturel. En d'autres termes, le modèle ne doit pas seulement remarquer que quelque chose a changé, mais aussi décrire et raisonner sur l'importance de ce changement.
Échelle des données d'apprentissage du monde
Pour soutenir l'apprentissage des états du monde, Orca utilise un vaste inventaire de données d'apprentissage du monde. L'article original et la page officielle du projet décrivent les ressources suivantes.
| Type de ressource | Échelle | Rôle dans l'apprentissage |
|---|---|---|
| Vidéo continue | Environ 125 000 heures | Observation dense des transitions d'état naturelles |
| Annotations d'événements | Environ 160 millions d'événements | Supervision sémantique pour |
transitions d’état significatives |
| Exemples VQA | Environ 11,5 millions d’exemples | Alignement linguistique et compréhension d’état conditionnée par une question |
Ces sources de données couvrent l’interaction égocentrique, la manipulation exocentrique, les vidéos d’exécution robotique, les scènes dynamiques naturelles, les transitions au niveau des événements, et le question-réponse visuel général.
Le point important est qu’Orca n’est pas entraîné uniquement sur des trajectoires robots ou uniquement sur du question-réponse visuel. Il tente d’apprendre un espace latent mondial plus large à partir de multiples types de signaux réels.
Comportement de passage à l’échelle : le latent mondial peut-il continuer à s’améliorer ?
Une représentation du monde n’est utile que si elle peut être testée et améliorée. Les expériences d’Orca posent donc deux questions centrales.
- Le paradigme d’apprentissage passe-t-il à l’échelle avec les données et la taille du modèle ?
- Une meilleure représentation du monde améliore-t-elle les performances en aval ?
Les résultats de passage à l’échelle suggèrent qu’à mesure que les données de pré-entraînement augmentent, la perte continue de diminuer pour les modèles de 0,8B et 4B. Le modèle 4B atteint également un niveau de perte inférieur à celui du modèle 0,8B.
Cela soutient l’idée que la prédiction de l’état suivant n’est pas seulement une astuce à petite échelle. Elle semble être un objectif d’apprentissage mondial scalable, du moins dans la plage testée.
Comment Orca teste si le latent est utile
Le test clé n’est pas de savoir si Orca peut inventer un concept qui sonne bien. Le test est de savoir si le latent appris peut soutenir de véritables tâches en aval.
Orca fige le squelette pré-entraîné et attache des modules de lecture légers pour trois directions :
- Lecture de texte pour la compréhension et le raisonnement linguistique ;
- Lecture d’image pour la prédiction visuelle d’état futur ;
- Lecture d’action pour le contrôle robotique et l’exécution de tâches incarnées.
Cette conception est importante car le squelette figé empêche les modules en aval de simplement tout réapprendre depuis zéro. Si différentes lectures peuvent extraire des capacités linguistiques, visuelles et d’action à partir du même latent figé, alors la représentation latente elle-même porte probablement des informations utiles sur l’état du monde.
Les résultats en aval s’améliorent également à mesure que le pré-entraînement passe à l’échelle.
com/cms-assets/image/2026/07/28b12759-9160-48b4-92f6-6c6194bf0621-09-eb93bffa-9db9-456a-bfa9-cd10764544ba.png)
Lecture du texte : De meilleures performances sur les questions relatives aux changements mondiaux
Dans les tâches de génération de texte et de VQA, Orca est comparé à plusieurs modèles de langage visuel et modèles du monde, notamment V-JEPA, Emu3, Qwen3.5, Gemma, MiniCPM-V et DeepSeek-VL2.
Les résultats rapportés montrent que le modèle 4B d'Orca obtient de très bonnes performances parmi les modèles de taille similaire, en particulier sur les questions impliquant le raisonnement temporel, la transition d'état et le mouvement dynamique.
Creez un site vitrine et genere des leads en quelques minutes
Decrivez votre idee une fois, et We0 AI peut generer un site vitrine, des pages et un CMS, puis vous aider a attirer clients et trafic apres le lancement.
Une répartition simplifiée des capacités tirée de l'article est présentée ci-dessous.
| Dimension de capacité | Qwen3.5-4B | Orca-4B | Avantage d'Orca |
|---|---|---|---|
| Transition d'état | 51,86 | 64,13 | +12,27% |
| Raisonnement de bon sens | 57,76 | 62,95 | +5,19% |
| Relations spatiales | 54,68 | 55,25 | +0,57% |
| Mouvement dynamique | 57,03 | 65,55 | +8,52% |
Cette tendance est importante. L'avantage d'Orca ne réside pas seulement dans la reconnaissance d'objets dans une scène statique. Les gains les plus importants apparaissent dans les catégories plus proches de la dynamique du monde : comment un état change, comment les événements se déroulent et comment le mouvement affecte la scène.
Pour un modèle du monde, cela a plus de sens que la simple compréhension d'image ordinaire. Le monde réel n'est pas une collection d'images fixes. C'est un système en constante évolution.
Lecture d'image : Prédire un état futur raisonnable
La lecture d'image d'Orca n'est pas présentée comme une fonctionnalité standard de génération d'images. Elle est utilisée comme un moyen de tester si le modèle peut prédire un état visuel plausible après une interaction.
Cela diffère de la génération d'images ordinaire. Un générateur d'images typique peut créer quelque chose de visuellement attrayant, mais peut toujours enfreindre les contraintes réelles de la scène. Il pourrait ajouter des objets qui n'étaient pas là, supprimer l'incarnation du robot, ignorer l'instruction ou suivre un stéréotype plutôt que l'état actuel.
Par exemple, si une instruction mentionne un ballon rouge, un générateur normal peut dessiner un ballon rouge complètement gonflé, quel que soit l'état réel du ballon. Un prédicteur d'état du monde devrait plutôt raisonner à partir de la scène actuelle et de la condition d'interaction.
Sur le benchmark d'interaction dans le monde réel PRICE, Orca est évalué par rapport à des modèles de base de génération d'images comme FLUX et OmniGen2. L'objectif n'est pas seulement la qualité visuelle, mais aussi si l'état futur prédit respecte la disposition de la scène, les relations entre les objets, l'incarnation du robot et les contraintes physiques.
Dans ce contexte, la prédiction d'image devient une sonde visible de la compréhension du monde. La question n'est pas « Le modèle peut-il dessiner une belle image ? » mais « Le modèle sait-il ce que cette scène devrait devenir après l'interaction décrite ? »
Lecture d'action : aider les robots à généraliser sans pré-entraînement aux actions
L'une des expériences les plus intéressantes d'Orca est la lecture d'action pour les robots réels.
Pendant le pré-entraînement, Orca n'utilise pas de trajectoires robotiques étiquetées par action. Il ne mémorise pas d'abord comment un bras spécifique doit se déplacer. Au lieu de cela, il apprend les changements d'état du monde à partir de vidéos, d'événements et de langage.
Pour les tâches d'action en aval, les chercheurs ont gelé le backbone d'Orca et y ont attaché un Expert d'action de style DiT entraîné à partir de zéro. Chaque tâche utilise une petite quantité de données de trajectoire spécifiques au domaine, et le modèle est ensuite évalué dans des configurations de manipulation à deux bras hors distribution.
La comparaison de génération d'actions rapportée montre qu'Orca améliore la progression globale des tâches et le comportement de récupération par rapport à plusieurs références.
Une comparaison globale simplifiée est présentée ci-dessous.
| Modèle | Rule-based ↑ | M25 ↑ | M50 ↑ | SR ↑ | MaxP-F ↑ | FNS ↑ | DRR ↑ | SQS ↑ |
|---|---|---|---|---|---|---|---|---|
| V-JEPA 2.1 | 17.0 | 27 | 7 | 0 | 17.4 | 10.1 | 20.5 | 0.0 |
| Qwen3.5 | 10.5 | 18 | 5 | 0 | 13.1 | 7.6 | 11.9 | 0.0 |
| π₀.₅ | 29.4 | 54 | 14 | 5 | 26.5 | 15.3 | 26.7 | 3.0 |
| Orca | 32.4 | 55 | 14 | 6 | 27.9 | 15.1 | 30.3 | 2.9 |
Les exemples de récupération sont particulièrement pertinents. En robotique réelle, la première tentative échoue souvent. Un système qui se contente de mapper les observations à des actions mémorisées peut se bloquer après une perturbation. Un système doté d'une meilleure représentation de l'état du monde a plus de chances de remarquer que la tâche n'est pas terminée, que l'objet existe toujours et que l'état actuel a encore un chemin vers l'objectif.
C'est la valeur pratique de l'apprentissage de l'état du monde.
avant l'action. Orca ne prétend pas que les données d'action sont inutiles. Au contraire, elle modifie l'ordre d'apprentissage : d'abord apprendre les dynamiques mondiales évolutives, puis relier cette représentation aux actions du robot avec une quantité plus restreinte de données spécifiques à la tâche.
Pourquoi les trois objectifs d'entraînement sont importants ensemble
L'article aborde également des expériences d'ablation. Les chercheurs suppriment différents objectifs d'entraînement et observent comment les lectures de texte, d'image et d'action évoluent.
Le résultat est que les trois objectifs jouent des rôles différents.
- La supervision VQA préserve l'interface linguistique et l'alignement sémantique.
- La vidéo continue soutient les dynamiques naturelles denses et est particulièrement importante pour la lecture d'action.
- L'apprentissage conditionné par événement connecte le langage, la structure des événements et la transition d'état visuelle, ce qui aide la prédiction d'image à suivre les instructions.
Le principal enseignement est qu'une représentation du monde n'est pas produite par un seul signal de supervision. Elle est façonnée par de multiples contraintes : changement naturel, événements sémantiques, raisonnement linguistique et transition d'état.
Optimisation de l'infrastructure : Accélération FlagScale
L'article mentionne également des améliorations au niveau du système d'entraînement basées sur le framework FlagScale de BAAI. L'équipe rapporte des améliorations autour de FSDP2, de la perte d'entropie croisée par morceaux et de la prélecture avant/arrière.
Sur un cluster H100, ces changements augmenteraient le débit d'entraînement de la ligne de base StarVLA de 0,66 échantillons/seconde/GPU à 2,91 échantillons/seconde/GPU, soit une accélération de 4,4x.
Cette partie est importante car l'entraînement du modèle mondial dépend fortement de l'échelle. Si le système d'entraînement ne peut pas gérer efficacement de grands pipelines de supervision vidéo, événementielle et multimodale, l'idée de modélisation devient difficile à tester en pratique.
Ce que Orca signifie pour les modèles mondiaux
Orca est encore une version précoce. Le rapport technique et les documents du projet décrivent plusieurs limitations.
L'Orca actuel repose principalement sur des signaux visuels et linguistiques. Il ne couvre pas encore complètement le toucher, la force, le son, la proprioception et d'autres modalités physiques qui seraient importantes pour une modélisation plus riche du monde. L'approche actuelle dépend également en partie des encodeurs visuels existants et des espaces de représentation multimodaux.
L'échelle du modèle et des données est encore précoce par rapport à l'ambition à long terme des modèles fondamentaux mondiaux généraux. La prédiction d'image, la généralisation d'action et les méthodes d'évaluation pour la modélisation du monde nécessitent également davantage de travail.
Néanmoins, la valeur d'Orca ne réside pas dans le fait de prétendre que la modélisation du monde est résolue. Sa valeur est qu'elle offre une voie concrète :
- Apprendre un état mondial unifié à partir de signaux multimodaux évolutifs.
- Geler ce squelette d'état mondial.
- Le lire pour produire des tâches linguistiques, d'image et d'action.
- Utiliser les performances en aval pour tester si le latent est effectivement
utile.
Si cette tendance se poursuit et s’améliore, elle pourrait avoir des répercussions au-delà de la robotique. De nombreux domaines impliquent des états, des interventions et des transitions : systèmes physiques, biologie, modélisation environnementale, expériences scientifiques et prise de décision agentique.
La question plus large est de savoir si les futurs systèmes d’IA peuvent d’abord construire un modèle interne, stable et transférable du monde avant de générer des réponses, des images ou des actions.
C’est l’idée centrale derrière Orca : Le monde est dans votre esprit.
FAQ
Qu’est-ce que BAAI RoboBrain Orca ?
BAAI RoboBrain Orca est un projet précoce de modèle de fondation du monde, axé sur la prédiction du prochain état. Il apprend une représentation latente du monde à partir de signaux multimodaux et utilise des modules de lecture légers pour la prédiction du langage, des images et la génération d’actions.
Que signifie « Prédiction du prochain état » ?
La prédiction du prochain état consiste à prédire comment l’état sous-jacent du monde change, et pas seulement à prédire le prochain jeton, image ou action. L’objectif est de modéliser les transitions d’état d’une manière qui puisse soutenir le raisonnement, la prédiction visuelle et le contrôle incarné.
Orca est-il principalement un modèle de langage, un modèle d’image ou un modèle robotique ?
Orca ne se limite pas à l’une de ces catégories. Il apprend d’abord un latent partagé du monde, puis utilise différentes lectures pour le langage, la vision et l’action. C’est pourquoi il est décrit comme un modèle mondial multimodal plutôt qu’un modèle à usage unique.
Quelles données Orca utilise-t-il pour le pré-entraînement ?
Orca utilise des ressources d’apprentissage mondiales à grande échelle, comprenant environ 125 000 heures de vidéo, 160 millions d’annotations d’événements et 11,5 millions d’exemples VQA. Ces signaux aident le modèle à apprendre la dynamique naturelle, les transitions conditionnées par des événements et une compréhension alignée sur le langage.
Pourquoi Orca gèle-t-il le réseau de base pendant l’entraînement de la lecture en aval ?
Geler le réseau de base rend l’évaluation plus propre. Si des modules de lecture légers peuvent bien fonctionner tandis que le réseau de base reste gelé, cela suggère que l’information utile est déjà présente dans le latent appris du monde, plutôt que d’être réapprise à partir de zéro en aval.
Orca peut-il contrôler des robots directement ?
Dans les expériences d’action rapportées, le latent gelé du monde d’Orca est connecté à un expert en action entraînable pour les tâches robotiques. Ce n’est pas simplement un contrôleur robotique direct prêt à l’emploi, mais les résultats suggèrent que le pré-entraînement de l’état mondial peut aider à la généralisation en aval en robotique.
Orca est-il prêt pour la production ?
Les matériaux disponibles présentent Orca comme une direction de recherche précoce, pas comme un système de production fini. Le projet a encore besoin de modalités physiques plus larges, de méthodes d’évaluation plus solides, d’un entraînement à plus grande échelle, et de points de contrôle ou de code d’inférence publiés pour une reproduction plus large.
Où puis-je lire les documents officiels d’Orca ?
Les meilleurs points de départ sont la page officielle du projet Orca, le rapport technique arXiv, le dépôt GitHub et la page de l’article Hugging Face. Ces sources fournissent les références les plus directes pour la conception du modèle, les données, l’évaluation et la citation.
Outils connexes
- Page du projet Orca : Page officielle du projet pour le modèle de fondation du monde Orca.
- Dépôt GitHub d’Orca : Dépôt officiel pour les informations du projet,
figures, ainsi que les futures versions de code ou de points de contrôle.
- arXiv : Page officielle du rapport technique pour « Orca : The World is in Your Mind ».
- Hugging Face Papers : Page communautaire pour discussions, collections et suivi des articles.
- FlagScale : Kit d'outils d'entraînement de grands modèles lié à BAAI, mentionné dans la section sur l'optimisation de l'infrastructure.
- PyTorch FSDP fully_shard : Documentation officielle de PyTorch pour l'API de partitionnement de style FSDP2.
Liens connexes
- Page officielle du projet Orca : Site principal du projet avec présentation du modèle, données, évaluation et citation.
- Rapport technique Orca sur arXiv : Article de recherche sur le modèle de fondation du monde Orca.
- Dépôt GitHub d'Orca : Dépôt officiel contenant le README du projet et la feuille de route des versions.
- Orca sur Hugging Face Papers : Page communautaire pour l'article Orca sur Hugging Face.
- Dépôt GitHub de FlagScale : Kit d'outils d'entraînement lié à l'optimisation de l'infrastructure décrite dans l'article.
- Documentation PyTorch FSDP fully_shard : Référence officielle pour les API d'entraînement distribué entièrement partitionnées.
Résumé
RoboBrain Orca explore un changement de paradigme : au lieu de prédire des sorties isolées, il modélise les transitions d'états du monde. Au lieu de traiter le langage, les images et les actions comme des cibles séparées, il tente d'apprendre une représentation latente partagée du monde pouvant supporter plusieurs interfaces de lecture.
L'article explique la configuration d'apprentissage d'Orca, incluant la vidéo continue, les annotations d'événements et les données VQA. Il présente également les trois principales lectures : le raisonnement textuel, la prédiction d'images d'états futurs et la génération d'actions robotiques.
L'idée la plus importante n'est pas qu'Orca ait achevé la modélisation du monde. C'est qu'Orca offre une voie testable pour construire et évaluer un modèle latent du monde à travers le langage, la vision et l'action.
En bref : Orca est une tentative précoce pour faire comprendre à l'IA les changements d'état avant qu'elle ne génère des mots, des images ou des actions.
