BAAI RoboBrain Orca: 다중 모드 세계 표현 모델

RoboBrain Orca는 개별 출력 예측에서 세계 상태 전환 모델링으로 전환을 탐구합니다. 언어, 이미지, 행동을 별도의 대상으로 취급하는 대신, 여러 판독 인터페이스를 지원할 수 있는 공유 잠재 세계 표현을 학습하려고 시도합니다. 이 글은 연속 ...

서론

현대 AI 시스템은 이미 많은 인상적인 작업을 수행할 수 있습니다. 언어 모델은 질문에 답하고 코드를 작성할 수 있습니다. 이미지나 비디오 모델은 사실적인 시각적 콘텐츠를 생성할 수 있습니다. 로봇 모델은 물체를 잡거나, 놓거나, 이동하는 방법을 학습할 수 있습니다.

하지만 이러한 능력들은 종종 개별적인 예측 목표에서 비롯됩니다. 언어 모델은 다음 토큰을 예측합니다. 비디오 모델은 다음 프레임을 예측합니다. 로봇 정책은 다음 행동을 예측합니다. 각 목표는 유용하지만, 여전히 더 깊은 질문이 남아 있습니다: 모델이 세상 자체가 어떻게 변화하는지 이해하고 있을까요?

기술 보고서 "Orca: The World is in Your Mind" 에서 소개된 BAAI의 RoboBrain Orca 프로젝트는 세계 표현의 관점에서 이 문제를 탐구합니다. Orca는 단순히 더 강력한 챗봇, 더 예쁜 이미지 생성기, 또는 로봇을 위한 직접적인 모방 학습 정책으로 포지셔닝되지 않습니다. 그 핵심 아이디어는 더 기초적입니다: 먼저 세계 상태의 공유된 잠재 표현을 학습한 다음, 그 표현을 언어 이해, 이미지 예측, 행동 생성으로 읽어내는 것입니다.

프로젝트 배경

원본 논문은 단순하지만 중요한 관찰에서 시작합니다: AI는 출력을 생성할 수 있지만, 출력 생성은 세계 이해와 동일하지 않습니다.

예를 들어:

컵이 넘어지면, 모델이 물이 쏟아질 수 있다고 추론할 수 있을까요?
로봇이 첫 번째 잡기 시도에 실패하면, 모델이 물체가 여전히 장면에 있다는 것을 알까요?
요리 영상이 야채 씻기에서 야채 자르기로 넘어갈 때, 모델이 이를 단순한 시각적 변화가 아닌 사건 진행으로 이해할까요?
행동이 발생한 후, 모델이 물체, 관계, 작업 진행 상황이 어떻게 변화했는지 추적할 수 있을까요?

이러한 질문들은 더 넓은 목표를 가리킵니다. 유용한 세계 모델은 외부 출력만 예측해서는 안 됩니다. 세계 상태와 상태 전이에 대한 내부 표현을 구축해야 합니다.

Orca의 프로젝트 페이지와 기술 보고서는 이를 다음 X 예측에서 다음 상태 예측으로의 전환으로 설명합니다. Orca는 다음 토큰, 다음 프레임, 또는 다음 행동을 개별적으로 예측하는 대신, 자연 역학, 사건 조건, 작업 의도 하에서 세계 상태가 어떻게 진화하는지 학습하려고 시도합니다.

프로젝트 홈페이지: https://orca-wm.github.io
기술 보고서: https://arxiv.org/abs/2606.30534

연구 커뮤니티 반응

공개 이후, Orca는 세계 모델, 다중 양식 표현, 구현된 지능에 관심 있는 연구 커뮤니티의 주목을 받았습니다. 논의는 Orca가 시각적으로 매력적인 출력을 생성할 수 있는지 여부보다는, 텍스트, 이미지, 비디오, 행동을 동일한 기본 세계의 서로 다른 투영으로 연결하려는 시도에 더 초점을 맞췄습니다.

![이미지는 Orca 공개 후 트위터에서의 토론 스크린샷을 보여줍니다. 왼쪽 사용자 @adelbucetta는 Orca가 텍스트와 이미지를 단순히 조합하는 것이 아니라 동일한 기본 현실의 다른 투영으로 보는 진정한 다중 양식 접근법이라고 생각합니다. 오른쪽 사용자 @homuraakemifan은 비디오를 꼭 봐야 한다며 너무 멋지다고 말합니다. 아래에는 @Shinka-AI, Liam Walker, Ethan Miller 등의 댓글이 있으며, 그들은 Orca를 인정하며 아이디어가 생각을 자극하고 Yann LeCun의 JEPA보다 방향성이 더 흥미로우며 초기 일반 세계 모델 구상이라고 평가합니다. 이러한 댓글들은 Orca 공개 후 연구 커뮤니티의 반응을 반영합니다.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/7823be78-653c-42e2-997b-322504a8fd7e-02-9468861f-ccac-41eb-8ee6-5df695a06885.

png)

해당 논문은 허깅페이스 페이퍼스(Hugging Face Papers)에도 게재되어 커뮤니티의 주목을 받았습니다. 이는 중요한데, 그 이유는 세계 모델이 출력 품질뿐만 아니라 학습된 표현이 작업 간에 전이될 수 있는지 여부로도 점점 더 평가되고 있기 때문입니다.

이미지는 Daily Papers 플랫폼 인터페이스를 보여주며, 빨간색 상자로 "Orca: The World is in Your Mind" 논문이 강조되어 있습니다. 해당 논문은 yf-wang이 제출했으며, 57명의 저자가 인정했고, 290개의 좋아요와 6개의 댓글이 있습니다. 표지 이미지는 지구의 야간 모습입니다. 이 그림은 문서에서 Orca 프로젝트가 연구 커뮤니티의 주목을 받았다는 내용과 관련이 있으며, Orca 논문이 Hugging Face Papers에서 상당한 커뮤니티 주목을 받았고, 학습된 표현이 작업 간에 전이될 수 있는지 여부가 세계 모델을 평가하는 중요한 기준이 되었음을 나타냅니다.

다음 X 예측에서 다음 상태 예측으로

지난 몇 년 동안, 많은 AI 혁신은 "다음 X 예측"의 형태로 설명될 수 있습니다.

언어 모델은 다음 토큰을 예측하여 쓰기, 추론, 대화 및 코딩 능력을 부여받습니다. 비디오 모델은 미래 프레임을 예측하거나 합성하여 더 일관된 움직임을 만드는 데 도움을 줍니다. 내재적 모델은 종종 다음 행동을 예측하여 로봇이 조작 작업을 수행할 수 있게 합니다.

Orca는 현실 세계에서 작동해야 하는 에이전트에게는 이것만으로는 충분하지 않다고 주장합니다. 언어, 이미지 및 행동은 세계에 대한 서로 다른 인터페이스일 뿐입니다. 더 깊은 목표는 세계 상태 자체입니다.

Orca의 프레임워크에서 다음 상태 예측은 물리적, 의미적으로 일관된 전이를 지원할 수 있는 내부 상태 표현을 학습하는 것을 의미합니다. 그 상태는 문장, 이미지 또는 행동 궤적과 동일하지 않습니다. 오히려 세계의 압축된 잠재 표현에 가깝습니다.

일단 그러한 표현이 학습되면, 다른 판독 모듈이 이를 다양한 방식으로 사용할 수 있습니다:

언어 판독기는 상태를 설명하거나 추론할 수 있습니다.
이미지 판독기는 그럴듯한 미래 시각적 상태를 예측할 수 있습니다.
행동 판독기는 로봇이 다음에 무엇을 할지 선택하는 데 도움을 줄 수 있습니다.

이미지는 Orca 모델이 다중 모드 세계 신호를 처리하는 과정을 보여줍니다. 다중 모드 세계 신호가 Orca에 입력된 후, 먼저 무의식 학습을 거친 다음 의식 학습을 통해 세계 표현을 학습합니다. 세계 표현은 텍스트, 이미지 등 다양한 디코더를 통해 출력됩니다. 예를 들어 텍스트 디코더는 텍스트를, 행동 전문가는 행동 등을 출력하며, 다른 디코더를 통해 더 많은 내용을 출력할 수 있습니다. 오른쪽의 디코더는 모든 작업을 수행합니다. 이 그림은 맥락과 밀접하게 관련되어 있으며, Orca 모델이 다중 모드 신호에서 세계 표현, 그리고 다양한 출력으로 이어지는 처리 과정을 직관적으로 보여줍니다.

이것이 바로 프로젝트에서 "세상은 당신의 마음속에 있다" 라는 문구를 사용하는 이유입니다. 세상은 단절된 토큰, 프레임 및 행동 레이블로 취급되지 않습니다. 여러 양식을 통해 판독될 수 있는 잠재 공간으로 모델링됩니다.

RoboBrain Orca는 모델에게 무엇을 먼저 가르치려고 하는가?

로봇을 아이에 비유한다면, 현재 많은 접근 방식은 아이를 곧바로 작업대로 보내 특정 작업에 능숙해질 때까지 반복하도록 요구하는 것과 같습니다.

Orca는 다른 순서를 따릅니다. 로봇에게 정확히 행동하는 방법을 가르치기 전에, 모델에게 세계 변화에 대한 보다 일반적인 교육을 제공하려고 합니다.

여기에는 다음과 같은 기본 규칙이 포함됩니다:

물체는 떨어질 수 있습니다;
액체는 흐를 수 있습니다;
가려짐이 사라짐을 의미하지는 않습니다;
접촉은 물체의 위치를 변경할 수 있습니다;
사건에는 시간적 순서가 있습니다;
작업 진행은 환경 변화에 따라 변경됩니다.

동기는 간단합니다. 모델이 먼저 세계 상태가 어떻게 변하는지 학습한다면, 더 적은 양의

행동 데이터만으로도 그 표현을 로봇 제어에 연결하기에 충분할 수 있다. 이는 훈련 비용을 줄이고 일반화 능력을 향상시킬 수 있다.

두 가지 학습 모드와 세 가지 훈련 신호

Orca는 무의식 학습과 의식 학습이라는 상호 보완적인 두 가지 학습 모드를 사용한다.

무의식 학습은 연속적인 관찰을 통해 밀집된 자연스러운 전이를 포착한다. 모델은 행동 레이블이나 명시적인 작업 지시 없이도 장면, 객체, 폐색, 접촉 및 움직임이 어떻게 변화하는지 관찰한다.

의식 학습은 의미론적 구조를 추가한다. 이는 이벤트 설명, 언어 및 VQA 스타일의 지도 학습을 사용하여 모델이 시각적 변화를 인간의 개념, 지시 및 인과적 의미와 연결할 수 있도록 한다.

이 두 학습 모드는 함께 세 가지 주요 신호 유형에 의해 지원된다.

이미지는 Orca 모델의 아키텍처를 보여주며, 시각 신호와 언어 신호가 입력된다. 모델은 무의식 학습과 의식 학습 두 가지 모드로 작동한다. 무의식 학습은 시각 신호만으로 상태 전이를 관찰하고, 의식 학습은 이벤트 설명, 언어 및 VQA 스타일 지도 학습을 결합하여 이벤트 조건 상태 전이 및 VQA 응답 생성을 구현한다. 최종적으로 세계 잠재 표현을 생성한다. 이 이미지는 문맥과 밀접하게 관련되어 있으며, 본문에서 언급된 두 가지 학습 모드와 세 가지 훈련 신호가 모델에 적용되는 방식을 직관적으로 보여준다.

자연 상태 전이를 위한 연속 비디오

첫 번째 신호는 연속적인 실제 세계 비디오이다. 이는 모델에게 객체 움직임, 장면 변화, 접촉 효과, 폐색과 같은 자연 상태 변화에 대한 밀집된 경험을 제공한다.

이러한 유형의 학습은 모델이 사전에 작업 목표를 알 필요가 없다. 이는 수동적 관찰에 가깝다. 모델은 세상이 변화하는 것을 지켜봄으로써 세상이 어떻게 변화하는지 학습한다.

의미론적 상태 전이를 위한 이벤트 데이터

두 번째 신호는 이벤트 수준의 구성이다. 실제 세계 과정은 단순히 고립된 프레임이 아니다. 사람들은 자연스럽게 이를 이벤트로 설명한다: 음식을 자르기 전에 씻기, 물이 음식의 상태를 바꾸기 전에 수도꼭지 열기, 객체 위치가 바뀌기 전에 손 움직이기 등.

이벤트 지도 학습은 Orca가 특정 의미 조건에서 의미 있는 상태 전이를 학습하도록 돕는다.

추론 및 표현을 위한 VQA 및 언어 지도 학습

세 번째 신호는 언어 기반 이해이다. 언어는 Orca의 최종 목표가 아니라, 세계 상태와 인간 의도 사이의 중요한 인터페이스이다.

VQA 지도 학습은 시각 상태, 이벤트 구조 및 자연어를 정렬하는 데 도움이 된다. 즉, 모델은 무언가가 변경되었다는 것을 알아차릴 뿐만 아니라, 그 변화가 왜 중요한지 설명하고 추론할 수 있어야 한다.

이미지는 Orca 모델의 사전 훈련 데이터 및 주석, 사전 훈련 목표 및 학습 패러다임을 보여준다. 비디오 데이터는 자기 중심 상호 작용, 외부 중심 조작, 무동작 로봇 실행 및 자연 역학을 포함한다. 이벤트 데이터는 세분화된 캡션과 대략적인 캡션을 포함한다. VQA 데이터는 일반 VQA이다. 이 데이터는 시각 신호 및 언어 신호와 관련된다. 학습 패러다임은 무의식 학습과 의식 학습을 포함하며, 전자는 상태 전이만 관찰하고 후자는 이벤트 조건 상태 전이와 VQA 응답 생성을 통해 학습한다. 이 이미지는 문맥과 밀접하게 관련되어 있으며, Orca 모델의 사전 훈련 데이터 유형 및 학습 방식을 직관적으로 보여준다.

세계 학습 데이터 규모

세계 상태 학습을 지원하기 위해 Orca는 대규모 세계 학습 데이터 인벤토리를 사용한다. 원본 논문과 공식 프로젝트 페이지는 다음과 같은 리소스를 설명한다.

리소스 유형	규모	학습에서의 역할
연속 비디오	약 125,000시간	자연 상태 전이에 대한 밀집 관찰
이벤트 주석	약 1억 6,000만 개	이벤트 조건 상태 전이를 위한 의미론적 지도 학습

이러한 데이터 소스는 자기 중심 상호작용, 타자 중심 조작, 로봇 실행 영상, 자연 동적 장면, 사건 단위 전환 및 일반적인 시각적 질의응답을 포함합니다.

중요한 점은 Orca가 로봇 궤적만으로 학습되거나 시각적 질의응답만으로 학습되지 않는다는 것입니다. Orca는 다양한 실제 신호로부터 보다 광범위한 잠재 세계 공간을 학습하려고 시도합니다.

확장 행동: 세계 잠재 표현이 계속 개선될 수 있을까?

세계 표현은 테스트되고 개선될 수 있을 때만 유용합니다. 따라서 Orca의 실험은 두 가지 핵심 질문을 제기합니다.

학습 패러다임이 데이터와 모델 크기에 따라 확장되는가?
더 나은 세계 표현이 다운스트림 성능을 향상시키는가?

확장 결과는 사전 학습 데이터가 증가함에 따라 0.8B 및 4B 모델 모두에서 손실이 계속 감소함을 시사합니다. 또한 4B 모델은 0.8B 모델보다 더 낮은 손실 수준에 도달합니다.

이미지는 다양한 사전 학습 데이터 규모에 따른 모델의 총 손실이 사전 학습 데이터 시간에 따라 어떻게 변화하는지 보여주는 꺾은선 그래프입니다. 가로축은 사전 학습 데이터 시간(시간)이고, 세로축은 총 손실(범위 0.2~0.7)입니다. 그래프에는 두 개의 꺾은선이 있으며, 각각 0.8B 및 4B 모델을 나타냅니다. 0.8B 모델의 손실 값이 4B 모델보다 높습니다. 사전 학습 데이터 시간이 증가함에 따라 두 꺾은선 모두 하락 추세를 보이며, 데이터 양이 증가함에 따라 모델의 총 손실이 안정화됨을 나타냅니다. 이 그래프는 문맥 내용과 관련이 있으며, 다양한 규모의 모델이 사전 학습 데이터 증가 시 손실 변화를 직관적으로 보여줍니다.

이는 다음 상태 예측이 단순한 소규모 기술이 아님을 뒷받침합니다. 적어도 테스트된 범위 내에서는 확장 가능한 세계 학습 목표로 보입니다.

Orca가 잠재 표현의 유용성을 테스트하는 방법

핵심 테스트는 Orca가 그럴듯한 개념을 만들어낼 수 있는지 여부가 아닙니다. 테스트는 학습된 잠재 표현이 실제 다운스트림 작업을 지원할 수 있는지 여부입니다.

Orca는 사전 학습된 백본을 고정하고 세 가지 방향에 대한 경량 판독 모듈을 추가합니다.

텍스트 판독: 언어 이해 및 추론용
이미지 판독: 미래 상태 시각적 예측용
액션 판독: 로봇 제어 및 구현 작업 실행용

이 설계가 중요한 이유는 고정된 백본이 다운스트림 모듈이 모든 것을 처음부터 다시 학습하는 것을 방지하기 때문입니다. 서로 다른 판독 장치가 동일한 고정된 잠재 표현에서 언어, 이미지 및 행동 능력을 추출할 수 있다면, 잠재 표현 자체가 유용한 세계 상태 정보를 담고 있을 가능성이 높습니다.

다운스트림 결과는 사전 학습 규모가 커짐에 따라 향상됩니다.

이미지는 Orca의 다양한 사전 학습 데이터 양에 따른 다운스트림 작업 성능을 보여줍니다. 텍스트 생성, 이미지 예측 및 액션 생성의 세 가지 그래프가 포함되어 있습니다. 텍스트 생성에서는 2K, 5K, 7K, 10K 등 다양한 사전 학습 데이터 양에 따른 성능 변화를 보여줍니다. 이미지 예측에서는 0.8B 및 4B 사전 학습 데이터 양(1K, 6K, 7K, 10K 등)에 따른 성능 비교를 보여줍니다. 액션 생성에서는 0.8B 및 4B 사전 학습 데이터 양(0K, 5K, 6K, 10K 등)에 따른 성능 변화를 보여줍니다. 이 그래프들은 다운스트림 결과가 사전 학습 규모 증가에 따라 향상된다는 앞서 언급된 내용과 일치합니다.

com/cms-assets/image/2026/07/28b12759-9160-48b4-92f6-6c6194bf0621-09-eb93bffa-9db9-456a-bfa9-cd10764544ba.png)

텍스트 판독: 세계 변화에 관한 질문에서 강력한 성능

텍스트 생성 및 VQA 작업에서 Orca는 V-JEPA, Emu3, Qwen3.5, Gemma, MiniCPM-V, DeepSeek-VL2를 포함한 여러 시각 언어 모델 및 세계 모델과 비교됩니다.

보고된 결과에 따르면 Orca의 4B 모델은 유사한 규모의 모델 중에서 특히 시간적 추론, 상태 전환 및 동적 움직임과 관련된 질문에서 강력한 성능을 보여줍니다.

We0 AI 사용하기

몇 분 만에 쇼케이스 사이트를 만들고 리드를 늘리세요

아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.

무제-1

공들여 나열한 것

채우다

반지름

생성 중

이 이미지는 멀티모달 모델의 텍스트 생성 능력을 비교하는 표, 즉 텍스트 생성 작업의 성능 비교표입니다. 표에는 '↑는 값이 높을수록 성능이 좋음을 의미'라고 표시되어 있으며, 모델 이름, 모델 규모, MVBench, TemporalBench 등 다양한 테스트 항목의 결과와 평균 점수가 나와 있습니다. 대규모 세계 모델, 소규모 시각 언어 모델, Orca 모델 및 동급 모델의 성능 데이터를 포함합니다. Orca는 대규모 세계 모델 테스트 대상으로 평균 점수 51.8을 기록했으며, 또한 V-JEPA, Emu3.5, Qwen3.5 등 여러 모델의 관련 성능을 비교하여 각 모델의 텍스트 생성 작업에서의 성능 차이를 직관적으로 보여줍니다.

아래는 기사에서 발췌한 간소화된 능력 분석표입니다.

능력 차원	Qwen3.5-4B	Orca-4B	Orca 우위
상태 전환	51.86	64.13	+12.27%
상식 추론	57.76	62.95	+5.19%
공간 관계	54.68	55.25	+0.57%
동적 움직임	57.03	65.55	+8.52%

이미지는 Qwen3.5-4B와 Orca-4B의 상태 전환, 상식 추론, 공간 관계, 동적 움직임 네 가지 측면 성능을 비교한 표입니다. Orca-4B는 상태 전환(64.13, +12.27%), 상식 추론(62.95, +5.19%), 공간 관계(55.25, +0.57%), 동적 움직임(65.55, +8.52%)에서 앞서 있습니다. 이 표는 문맥과 밀접하게 연관되어 Orca-4B의 여러 능력에서의 우위를 직관적으로 보여주며, 본문에서 언급된 Orca의 세계 모델 능력 성능과 일치합니다.

이러한 패턴은 중요합니다. Orca의 장점은 단순히 정적 장면에서 객체를 인식하는 것만이 아닙니다. 더 큰 성능 향상은 세계 역학에 가까운 범주, 즉 상태가 어떻게 변하는지, 사건이 어떻게 전개되는지, 움직임이 장면에 어떤 영향을 미치는지에서 나타납니다.

세계 모델에게 이는 단순한 일반 이미지 이해보다 더 의미가 있습니다. 실제 세계는 정지된 사진의 모음이 아닙니다. 그것은 변화하는 시스템입니다.

이미지 판독: 합리적인 미래 상태 예측

Orca의 이미지 판독은 표준 이미지 생성 기능으로 제시되지 않습니다. 이는 모델이 상호작용 후 예측 가능한 다음 시각적 상태를 추론할 수 있는지 테스트하는 방법으로 사용됩니다.

이는 일반적인 이미지 생성과 다릅니다. 일반적인 이미지 생성기는 시각적으로 매력적인 것을 만들 수 있지만 장면의 실제 제약 조건을 위반할 수 있습니다. 원래 없던 객체를 추가하거나, 로봇의 형태를 제거하거나, 명령을 무시하거나, 현재 상태가 아닌 고정관념을 따를 수 있습니다.

예를 들어, 프롬프트가 빨간 풍선을 언급하면 일반 생성기는 실제 풍선 상태와 관계없이 완전히 부풀려진 빨간 풍선을 그릴 수 있습니다. 반면 세계 상태 예측기는 현재 장면과 상호작용 조건으로부터 추론해야 합니다.

PRICE 실제 세계 상호작용 벤치마크에서 Orca는 FLUX 및 OmniGen2와 같은 이미지 생성 기준 모델과 비교 평가됩니다. 목표는 시각적 품질뿐만 아니라 예측된 미래 상태가 장면 레이아웃, 객체 관계, 로봇 형태 및 물리적 제약을 존중하는지 여부입니다.

이미지는 실제 세계 이미지 예측에서 Orca와 Flux.2, OmniGen2의 시각적 비교를 보여줍니다.

좌측에는 "전자레인지 문을 닫으세요"라는 지시가, 우측에는 "스펀지를 내려놓고 되돌리세요"라는 지시가 있습니다. Orca의 예측 결과는 전자레인지 문 닫힘, 스펀지 내려놓기 등 실제 장면과 일치하는 반면, Flux.2와 OmniGen2는 스펀지가 제거되거나 잘못된 위치에 놓이는 등 비합리적인 예측을 보일 수 있습니다. 이 이미지는 맥락과 밀접하게 연결되어 있어, Orca가 실제 장면 예측에서 갖는 강점을 직관적으로 보여주며, 해당 예측 결과가 장면 배치와 객체 관계를 존중한다는 점을 강조합니다. 이는 Orca의 이미지 예측 능력에 대한 앞서의 설명과 일치합니다.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/f96fdbbc-cb9d-43ae-aaf5-c3e8b56393ce-12-8e944a34-7e1f-45d5-a9a3-937f15165375.png)

이러한 맥락에서 이미지 예측은 세계 이해를 확인할 수 있는 가시적인 탐침 역할을 합니다. 중요한 질문은 "모델이 예쁜 그림을 그릴 수 있는가?"가 아니라 "모델이 설명된 상호작용 후 이 장면이 어떻게 변해야 하는지 알고 있는가?"입니다.

액션 판독: 사전 학습된 액션 없이 로봇 일반화 지원

Orca의 가장 흥미로운 실험 중 하나는 실제 로봇을 위한 액션 판독입니다.

사전 학습 단계에서 Orca는 액션이 레이블링된 로봇 궤적을 사용하지 않습니다. 특정 팔이 어떻게 움직여야 하는지를 먼저 암기하지 않습니다. 대신, 비디오, 이벤트, 언어를 통해 세계 상태 변화를 학습합니다.

다운스트림 액션 작업을 위해 연구진은 Orca 백본을 고정하고, 처음부터 학습된 DiT 스타일 액션 전문가를 부착합니다. 각 작업은 소량의 도메인 내 궤적 데이터를 사용하며, 이후 분포 외 양팔 조작 환경에서 모델을 평가합니다.

해당 그림은 맥락과 밀접하게 연관되어, Orca가 양팔 로봇 작업에서 어떻게 실제로 동작하는지 직관적으로 보여주며, 문서에서 언급된 Orca의 다운스트림 액션 작업 적용과 일치합니다.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/4789d873-1afb-4ec5-bee3-41559bfbccd8-13-49e6b922-0b89-400d-8d14-97256aff4b82.gif)

보고된 액션 생성 비교 결과, Orca는 여러 기준 모델에 비해 전반적인 작업 진행도와 회복 행동을 개선한 것으로 나타났습니다.

이 표는 앞서 언급된 Orca의 액션 생성 개선 효과를 구체적인 데이터로 보여줍니다.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/f9e89ddd-4cd7-4443-a144-a60d2cfbc341-14-d126fb9b-e926-47c2-b466-c1ef2e0440e8.png)

간소화된 전체 비교는 아래와 같습니다.

모델	Rule-based ↑	M25 ↑	M50 ↑	SR ↑	MaxP-F ↑	FNS ↑	DRR ↑	SQS ↑
V-JEPA 2.1	17.0	27	7	0	17.4	10.1	20.5	0.0
Qwen3.5	10.5	18	5	0	13.1	7.6	11.9	0.0
π₀.₅	29.4	54	14	5	26.5	15.3	26.7	3.0
Orca	32.4	55	14	6	27.9	15.1	30.3	2.9

특히 회복 예시가 중요합니다. 실제 로봇 공학에서 첫 번째 시도는 종종 실패합니다. 관찰을 암기된 액션에만 매핑하는 시스템은 방해를 받은 후 막힐 수 있습니다. 더 강력한 세계 상태 표현을 가진 시스템은 작업이 완료되지 않았고, 객체가 여전히 존재하며, 현재 상태에서 목표로 가는 경로가 여전히 존재한다는 사실을 인지할 가능성이 더 높습니다.

이 그림은 Orca가 방해 후 작업 미완료 및 객체 존재 등을 더 잘 인식한다는 점을 직관적으로 보여주며, 앞서 설명한 내용과 일치합니다.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/91e99478-d5b2-4132-894e-6293d71ada1c-15-82595a5a-a92c-41e1-b443-1e1eb991d521.png)

이것이 세계 상태를 학습하는 것의 실용적 가치입니다.

행동 이전. Orca는 행동 데이터가 불필요하다고 주장하지 않는다. 대신 학습 순서를 바꾼다: 먼저 확장 가능한 세계 역학(scalable world dynamics)을 학습한 다음, 소량의 작업별 데이터로 해당 표현을 로봇 행동에 연결하는 것이다.

세 가지 학습 목표가 함께 중요한 이유

이 논문은 또한 절제 실험(ablation experiments)을 논의한다. 연구자들은 서로 다른 학습 목표를 제거하고 텍스트, 이미지, 행동 출력값이 어떻게 변하는지 관찰한다.

그 결과, 세 가지 목표는 각기 다른 역할을 수행한다는 것이 밝혀졌다.

VQA 감독은 언어 인터페이스와 의미적 정렬을 유지한다.
연속 비디오는 조밀한 자연적 역학을 지원하며, 특히 행동 출력에 중요하다.
이벤트 조건 학습은 언어, 이벤트 구조, 시각적 상태 전이를 연결하여 이미지 예측이 지시를 따르도록 돕는다.

图片为《BAAI RoboBrain Orca:Multimodal World Model for Next-State Prediction》一文中的表5，展示的是消融实验结果。表格中包含λobs、λevt、λvqa三个变量，以及Text Generation、Image Prediction、Action Generation和Average等列。λvqa变量下有三个值，λobs和λevt变量下有四个值，其中λobs和λevt变量下有三个值被标注为“-”代表不工作。表格底部标注，前三条线为两个值的平均，后两条线为三个值的平均。该表与上下文紧密相关，用于说明去除不同训练目标时，文本、图像和动作读出的变化情况。

주요 교훈은 세계 표현(world representation)이 단일 감독 신호만으로 생성되지 않는다는 점이다. 그것은 자연적 변화, 의미적 이벤트, 언어 추론, 상태 전이 등 여러 제약 조건에 의해 형성된다.

인프라 최적화: FlagScale 가속화

이 논문은 또한 BAAI의 FlagScale 프레임워크를 기반으로 한 시스템 수준의 훈련 개선 사항을 언급한다. 연구팀은 FSDP2, 청크 교차 엔트로피 손실(chunked cross-entropy loss), 순방향/역방향 프리페칭(forward/backward prefetching) 관련 업그레이드를 보고한다.

H100 클러스터에서 이러한 변경 사항은 훈련 처리량을 StarVLA 기준(0.66 샘플/초/GPU)에서 2.91 샘플/초/GPU로 증가시켜 4.4배 가속화를 달성했다고 한다.

이 부분은 세계 모델 훈련이 규모에 크게 의존하기 때문에 중요하다. 훈련 시스템이 대규모 비디오, 이벤트, 다중 모달 감독 파이프라인을 효율적으로 처리할 수 없다면, 모델링 아이디어를 실제로 테스트하기 어려워진다.

Orca가 세계 모델에 주는 의미

Orca는 여전히 초기 버전이다. 기술 보고서와 프로젝트 자료에는 몇 가지 한계점이 설명되어 있다.

현재 Orca는 주로 시각 및 언어 신호에 의존한다. 더 풍부한 세계 모델링에 중요할 촉각, 힘, 소리, 고유 감각(proprioception) 및 기타 물리적 양식(modalities)을 아직 완전히 포괄하지 못한다. 현재 접근 방식은 또한 기존의 시각 인코더와 다중 모달 표현 공간에 부분적으로 의존한다.

모델 규모와 데이터 규모는 일반적인 세계 기반 모델(general world foundation models)이라는 장기적인 목표에 비해 초기 단계에 있다. 이미지 예측, 행동 일반화, 세계 모델링을 위한 평가 방법도 더 많은 작업이 필요하다.

그럼에도 불구하고, Orca의 가치는 세계 모델링이 해결되었다고 주장하는 데 있지 않다. 그 가치는 구체적인 경로를 제시한다는 데 있다.

확장 가능한 다중 모달 신호로부터 통합된 세계 상태를 학습한다.
이 세계 상태 백본(backbone)을 고정한다.
이를 언어, 이미지, 행동 작업으로 출력한다.
하위 작업 성능을 사용하여 잠재 표현이 실제로

유용합니다.

이 방향성이 계속 발전한다면 로봇공학을 넘어 더 넓은 영역에 영향을 미칠 수 있습니다. 많은 분야가 상태, 개입, 전이를 포함합니다: 물리 시스템, 생물학, 환경 모델링, 과학 실험, 에이전트 의사 결정 등이 있습니다.

더 큰 질문은 미래의 AI 시스템이 답변, 이미지, 행동을 생성하기 전에 먼저 내부적이고 안정적이며 전이 가능한 세계 모델을 구축할 수 있는지입니다.

이것이 Orca의 핵심 아이디어입니다: 세계는 당신의 마음속에 있습니다.

FAQ

BAAI RoboBrain Orca란 무엇인가요?

BAAI RoboBrain Orca는 다음 상태 예측에 초점을 맞춘 초기 세계 기반 모델 프로젝트입니다. 멀티모달 신호로부터 잠재적 세계 표현을 학습하고, 언어, 이미지 예측, 행동 생성을 위해 경량 판독 모듈을 사용합니다.

'다음 상태 예측'이란 무엇을 의미하나요?

다음 상태 예측은 단순히 다음 토큰, 프레임, 행동을 예측하는 것이 아니라 기저의 세계 상태가 어떻게 변화하는지 예측하는 것을 의미합니다. 목표는 추론, 시각적 예측, 구현 제어를 지원할 수 있는 방식으로 상태 전이를 모델링하는 것입니다.

Orca는 주로 언어 모델, 이미지 모델, 아니면 로봇 모델인가요?

Orca는 이러한 범주 중 하나에 국한되지 않습니다. 먼저 공유된 세계 잠재 표현을 학습한 후 언어, 시각, 행동에 대해 각각 다른 판독 방식을 사용합니다. 이것이 단일 목적 모델이 아닌 멀티모달 세계 모델로 설명되는 이유입니다.

Orca는 사전 학습에 어떤 데이터를 사용하나요?

Orca는 약 125,000시간의 비디오, 1억 6천만 개의 이벤트 주석, 1,150만 개의 VQA 예제를 포함한 대규모 세계 학습 리소스를 사용합니다. 이러한 신호는 모델이 자연스러운 역학, 이벤트 조건부 전이, 언어 정렬 이해를 학습하는 데 도움을 줍니다.

Orca는 다운스트림 판독 학습 중에 백본을 고정하는 이유는 무엇인가요?

백본을 고정하면 평가가 더 명확해집니다. 경량 판독 모듈이 백본이 고정된 상태에서도 잘 작동한다면, 유용한 정보가 다운스트림에서 처음부터 재학습되는 것이 아니라 학습된 세계 잠재 표현에 이미 존재한다는 것을 시사합니다.

Orca가 로봇을 직접 제어할 수 있나요?

보고된 행동 실험에서 Orca의 고정된 세계 잠재 표현은 로봇 작업을 위해 학습 가능한 행동 전문가와 연결됩니다. 단순한 플러그 앤 플레이 로봇 컨트롤러는 아니지만, 세계 상태 사전 학습이 다운스트림 로봇 일반화에 도움이 될 수 있음을 결과가 시사합니다.

Orca는 프로덕션에 사용할 준비가 되었나요?

제공된 자료는 Orca를 완성된 프로덕션 시스템이 아닌 초기 연구 방향으로 제시합니다. 이 프로젝트는 여전히 더 넓은 물리적 양식, 강력한 평가 방법, 대규모 훈련, 광범위한 재현을 위한 체크포인트나 추론 코드 공개가 필요합니다.

공식 Orca 자료는 어디서 읽을 수 있나요?

가장 좋은 시작점은 공식 Orca 프로젝트 페이지, arXiv 기술 보고서, GitHub 저장소, Hugging Face 논문 페이지입니다. 이러한 출처는 모델 설계, 데이터, 평가, 인용에 대한 가장 직접적인 참조를 제공합니다.

요약

RoboBrain Orca는 개별 출력을 예측하는 것에서 세계 상태 변화를 모델링하는 방향으로 전환을 모색합니다. 언어, 이미지, 행동을 별개의 대상으로 취급하는 대신, 여러 판독 인터페이스를 지원할 수 있는 공유 잠재 세계 표현을 학습하려고 합니다.

이 글에서는 연속 비디오, 이벤트 주석, VQA 데이터를 포함한 Orca의 학습 설정을 설명합니다. 또한 세 가지 주요 판독 방식, 즉 텍스트 추론, 미래 상태 이미지 예측, 로봇 행동 생성을 다룹니다.

가장 중요한 아이디어는 Orca가 세계 모델링을 완료했다는 것이 아닙니다. Orca가 언어, 시각, 행동 전반에 걸쳐 잠재 세계 모델을 구축하고 평가할 수 있는 테스트 가능한 경로를 제공한다는 점입니다.

요약하자면, Orca는 AI가 단어, 이미지, 행동을 생성하기 전에 상태 변화를 이해하도록 하려는 초기 시도입니다.