For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ko/articles/matrix-game-4-0-rtx-5090-neural-rendering-59d3cc6b.md.
Skywork AI의 Matrix-Game 4.0은 AI 생성 게임에서 혼동하기 쉬운 두 가지 작업을 분리합니다. 실행 가능한 엔진이 규칙과 물리적 상태를 유지하고, 인과적 비디오 모델이 엔진의 로우폴리 이미지를 더 상세한 프레임으로 변환합니다.
Skywork AI의 Matrix-Game 4.0은 AI 생성 게임에서 혼동하기 쉬운 두 가지 작업을 분리합니다. 실행 가능한 엔진이 규칙과 물리적 상태를 유지하고, 인과적 비디오 모델이 엔진의 로우폴리 이미지를 더 상세한 프레임으로 변환합니다.
이러한 분리는 프로젝트의 핵심 아이디어입니다. 캐릭터가 방패를 획득하거나, 피해를 입거나, 임무를 완료할 때 실제로 무슨 일이 일어났는지는 엔진이 결정합니다. 신경 렌더러는 생성된 픽셀이 점수나 플레이어의 체력에 관한 최종 권한을 갖도록 하는 것이 아니라, 그 결과가 어떻게 보이는지를 담당합니다.
이번 릴리스에는 단일 GPU RTX 5090 추론 경로도 포함됩니다. 중요한 질문은 데모가 무엇을 측정하는지, 실제로 공개된 코드에 어떤 기능이 포함되는지, 다운로드 가능한 모델이 어느 정도로 특화되어 있는지입니다.
비디오 모델은 모든 게임 규칙을 신뢰성 있게 표현하지 않더라도 설득력 있는 움직임을 생성할 수 있습니다. 시각적으로 그럴듯한 프레임만으로는 적의 위치, 아이템의 소유자, 충돌이 게임 종료로 이어져야 하는지 여부를 반드시 확정할 수 없습니다.
Matrix-Game 4.0은 이러한 사실을 코드에 유지합니다. 엔진은 입력을 처리하고, 월드를 전개하며, 비교적 비용이 낮은 로우폴리 RGB 뷰를 생성합니다. 이후 비디오 모델이 이 구조화된 입력을 바탕으로 최종 시각 표현을 생성합니다.
공식 리포지터리는 이를 엔진 기반 게임플레이와 스트리밍 신경 렌더링이라고 부릅니다. 이는 모델이 일반적인 게임 엔진의 모든 측면을 내부적으로 학습하고 신뢰성 있게 실행한다는 주장이 아니라, 하이브리드 시스템입니다.
따라서 시각적 오류가 기본 충돌 상태나 게임플레이 상태를 직접 바꾸지는 않습니다. 물론 플레이어를 혼란스럽게 할 수는 있으므로, 이 아키텍처는 모든 오류를 제거하는 것이 아니라 두 가지 실패 모드를 분리합니다.
프로젝트 페이지는 코딩 에이전트와 게임 엔진을 결합한 하니스를 제시합니다. 사용자의 지시는 새로운 규칙이나 프롬프트로 전환될 수 있으며, 엔진은 월드의 일관성을 유지하는 데 필요한 상태를 제공합니다.
출처: Skywork AI Matrix-Game 4.0 프로젝트 페이지. 이 개념도에는 공간 메모리 검색이 포함되지만, 공개된 슈터 런타임은 아래에서 설명하는 것처럼 더 제한적인 동작을 합니다.
상위 수준의 워크플로는 다음과 같습니다.
QbitAI의 예시에는 체력 감소에 앞서는 방패 내구도와 타임 트라이얼에서 추격전으로 변경된 레이싱 과제가 포함됩니다. 이는 명시적 규칙의 이점을 보여 줍니다. 게임플레이를 수정한다는 것은 비디오 모델에 다른 결과를 묘사해 달라고 요청하는 것이 아니라 코드를 변경하고 테스트하는 것을 의미합니다.
Hugging Face 모델 카드는 세 가지 장면 특화 렌더러를 설명합니다. Medieval Castle, Ancient Egypt, City Racing입니다. 각 체크포인트는 약 50억 개의 BF16 파라미터를 가지며 Matrix-Game 4.0 추론 소스가 필요합니다.
이 가중치는 바로 사용할 수 있는 Diffusers 파이프라인이 아닙니다. 릴리스는 추론 코드, 브라우저 데모, 네이티브 게임 소스, 모델 및 게임 에셋을 제공하지만, 모델 카드는 학습 코드와 학습 데이터가 포함되지 않는다고 명시합니다.
출력은 480 x 864 RGB입니다. 시작 이후에는 하나의 잠재 청크가 4개의 RGB 프레임에 해당하며, 시작 청크에는 프레임이 하나 포함됩니다. 제공되는 공유 리소스와 장면별 정책은 중요하므로, 임의의 코덱이나 다른 장면의 참조 구성을 동등한 대체재로 볼 수 없습니다.
HUD 요소와 오디오는 프레임 정렬된 별도의 프레젠테이션 계층으로 유지됩니다. 완성된 데모에서 함께 보인다는 이유만으로 모델이 이 모든 구성 요소를 생성하는 것은 아닙니다.
프로젝트 그림에는 카메라 포즈로 검색되는 공간 메모리와 동적 의미 설명이 포함됩니다. 그러나 현재 런타임 계약은 더 구체적입니다. 공개된 슈터 구성은 고정 장면 프롬프트와 제한된 캐시를 사용하며, 이 구성에서는 검색된 메모리나 동적 프롬프트 생성이 없다고 명시합니다.
레이싱은 엔진이 제공하는 고정 또는 청크 정렬형 동적 캡션을 지원합니다. 동적 조건 입력은 텍스트 인코더를 유지하고 캡션이 변경될 때 텍스트 관련 캐시 항목을 업데이트하므로 처리량 비용이 발생합니다.
이 구분은 매력적인 연구 다이어그램이 다운로드 가능한 데모의 부정확한 기능 목록이 되는 일을 방지합니다. 소개된 메커니즘이 해당 경로에서 작동한다고 가정하기 전에 사용하는 장면과 프리셋을 확인해야 합니다.
소스 보고서는 엔지니어링을 모델이 추론하고, 기억하고, 계산해야 하는 양을 줄이는 방식으로 분류합니다. 공식 자료는 로우폴리 시각 조건 입력, 참조 정보, 제한된 최근 이력 캐시 및 적은 단계의 인과적 생성을 주요 메커니즘으로 뒷받침합니다.
모델은 텍스트만으로 장면을 합성하는 대신 엔진이 렌더링한 구조를 받습니다. 따라서 객체와 카메라 움직임은 시각적 제약 조건으로 전달됩니다. 텍스트 조건 입력은 장면 의미를 추가하며, 공개된 모드에서는 장면별로 다르게 적용됩니다.
추론에서 실시간 경로는 TAEHV 코덱, 한 번의 디노이징 단계, 최적화된 DiT 실행 및 CUDA 그래프를 사용합니다. 품질 프리셋은 Wan 인코딩과 디코딩, 두 번의 디노이징 단계 및 네이티브 DiT를 사용합니다. 문서는 이 모드들이 서로 다른 품질과 계산 비용을 가진다고 경고합니다.
RTX 5090에서 전용 프리셋은 로드 시 DiT 블록 선형 가중치를 FP8로 변환하고 추론 중 활성화를 양자화합니다. 임베딩과 출력 헤드는 BF16으로 유지됩니다. 일반 rtx5090은 PyTorch SDPA를 사용하며, rtx5090-sage에는 추가로 패치된 SageAttention 빌드가 필요합니다.
프로젝트 페이지는 다음 수치를 포함하는 RTX 5090 원스텝 데모를 제시합니다. 이는 모든 장면이나 컴퓨터의 프레임률을 보장하는 값이 아니라, 소개된 구성에 대한 수치입니다.
| 프로젝트 페이지 수치 | 측정하거나 설명하는 내용 |
|---|---|
| 83 FPS | RTX 5090에서의 원스텝 디노이징 데모입니다. |
| 48ms | 시작 이후 4개의 RGB 프레임에 해당하는 한 청크를 디노이징하는 시간입니다. |
| 112ms | 보고된 데모에서 키 입력부터 첫 반응 프레임까지의 시간입니다. |
| 480p | 스트리밍 출력 해상도 범주입니다. |
| GPU 1개 | 소개된 구성에서 상주하는 텍스트 인코더, DiT 및 VAE입니다. |
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
QbitAI는 추가로 2단계 디노이징에서 약 57 FPS, 약 18.5 GiB의 최대 GPU 메모리, 60 FPS로 표시되는 게임플레이를 보고합니다. 이는 출처가 보고한 수치이며, 모든 모드가 동시에 이 모든 값을 달성하는 것처럼 결합해서는 안 됩니다.
현재 README의 브라우저 예시는 --fps 40을 사용하지만, 이를 측정된 렌더링 처리량이나 지연 시간 보장이 아닌 목표 게임 캡처 주기라고 명시합니다. 시작 및 워밍업 단계 역시 정상 상태 추론과 다릅니다.
비디오 인코딩, 버퍼링, 전송 및 브라우저 디코딩은 모델의 디노이징 시간 외에 추가 작업을 발생시킵니다. 따라서 청크당 추론 수치, 서버 파이프라인 처리량, 액션에서 화면 표시까지의 지연 시간은 서로 다른 지표입니다.
소스는 또한 이 시스템을 다른 NVIDIA 연구 구성과 비교합니다. 하드웨어, 해상도, 품질 및 지연 시간 정의가 일치하지 않는다면, 해당 수치들은 공정하고 보편적인 순위를 입증하지 못합니다.
v4 README는 추론용으로 NVIDIA GPU 및 Python 3.12가 설치된 Linux와 이에 맞는 PyTorch, CUDA, 드라이버 환경을 문서화합니다. 브라우저 데모에는 호스트의 네이티브 게임 및 미디어 종속성도 필요합니다. 브라우저 클라이언트 자체에는 추론용 GPU가 필요하지 않습니다.
첫 실행 전에 다음을 확인하세요.
Matrix-Game-4/의 v4 설치 지침을 따릅니다.다운로더는 Hub 장면 폴더를 런타임 경로에 매핑하므로, Hugging Face의 폴더명만으로 로컬 디렉터리 레이아웃을 추론할 수는 없습니다. 공식 매니페스트는 리소스를 설치하기 전에 파일 크기와 SHA256을 검증합니다.
릴리스는 서버 프로세스당 활성 세션 하나와 장면 모델 하나만을 예상합니다. README는 이를 인증된 퍼블릭 클라우드 게이밍 서비스가 아니라 루프백 기본값을 사용하는 신뢰할 수 있는 단일 사용자 데모라고 설명합니다. HTTP, RTSP 및 WebRTC 서비스를 인터넷에 직접 노출해서는 안 됩니다.
v4 소스는 Apache-2.0 라이선스를 따릅니다. 모델 카드는 프로젝트 장면 가중치, 싱크 이미지 및 게임 에셋도 Apache-2.0이라고 명시하지만, 공유 리소스와 타사 자료에는 각각의 별도 약관이 적용됩니다. TAEHV에는 MIT 고지가 있으며, 레이싱 오디오에는 일부 에셋에 대한 저작자 표시 요구 사항이 포함됩니다.
이는 상당한 양의 다운로드 가능한 자료이지만, 완전한 학습 릴리스는 아닙니다. 프로젝트 기반 작업을 재배포할 때에는 적용되는 라이선스와 오디오 크레딧을 유지해야 합니다.
모델은 제공된 장면과 카메라 프로필에 특화되어 있습니다. 모델 카드는 보지 못한 지오메트리, 빠른 움직임, 가림, 긴 세션에서 외형 드리프트와 지오메트리 오류가 발생할 수 있다고 나열하며, 프레임률, 메모리 적합성 또는 정확한 장면 재구성을 보장하지 않는다고 명시합니다.
따라서 Matrix-Game 4.0은 엔진 기반 신경 렌더링을 시험할 수 있는 구체적인 플랫폼입니다. 이를 범용 게임 생성기, 검증된 멀티플레이어 서비스 또는 기존 게임 개발의 필요성을 없애는 시스템으로 설명해서는 안 됩니다.
공식 릴리스에는 최적화된 RTX 5090 추론 경로가 포함되어 있으며 단일 GPU 데모가 보고되었습니다. 성능과 메모리 적합성은 문서화된 구성에 따라 달라지며, 모델 카드는 모든 워크로드에 대해 이를 보장하지 않습니다.
아니요. 실행 가능한 게임 엔진이 게임플레이와 물리적 상태를 담당합니다. 신경 출력에 시각적 오류가 있더라도 엔진의 충돌 또는 규칙 계산을 직접 변경하지는 않습니다.
모델 카드는 포함되지 않는다고 명시합니다. 릴리스된 추론 및 게임 소스와 함께 사용하는 장면 체크포인트와 에셋이 포함되며, 이는 모델 학습을 재현할 수 있는 범위와는 다릅니다.
--fps 40은 초당 40개의 표시 프레임을 보장하나요?아니요. README는 이를 목표 캡처 주기로 정의합니다. 인코딩, 전송, 버퍼링, 브라우저 디코딩 및 추론은 최종 표시와 지연 시간에 영향을 줄 수 있습니다.
개념적 프로젝트 다이어그램에는 해당 메커니즘이 포함되지만, 현재 런타임 계약은 공개된 슈터 구성이 검색된 메모리를 사용하지 않는다고 말합니다. 레이싱의 동적 캡션 모드도 슈터의 고정 프롬프트 경로와는 별개입니다.
릴리스는 서버 프로세스당 활성 세션 하나를 문서화하며, 신뢰할 수 있는 단일 사용자 데모라고 설명합니다. 인증과 공개 서비스 보호 기능이 이미 제공되는 것처럼 서비스를 인터넷에 직접 노출해서는 안 됩니다.
Matrix-Game 4.0은 실행 가능한 엔진으로 게임 상태를 유지하는 한편, 인과적 비디오 모델로 외형을 렌더링합니다. 단일 GPU 릴리스는 다운로드 가능한 장면, 추론 코드 및 에셋을 제공하여 이러한 분리를 실질적으로 살펴볼 수 있게 합니다.
데모는 유망하지만, 공개된 구성, 장면 특화 수준 및 분리된 성능 지표는 헤드라인 FPS만큼 중요합니다.
한 문장에서 시작해 몇 분 안에 완전한 웹사이트를 받아보세요.