For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ja/articles/matrix-game-4-0-rtx-5090-neural-rendering-59d3cc6b.md.
Skywork AIのMatrix-Game 4.0は、AI生成ゲームでは混同されやすい2つの役割を分離します。実行可能なエンジンがルールと物理状態を維持し、因果的ビデオモデルがエンジンのローポリゴン画像をより詳細なフレームへと変換します。
Skywork AIのMatrix-Game 4.0は、AI生成ゲームでは混同されやすい2つの役割を分離します。実行可能なエンジンがルールと物理状態を維持し、因果的ビデオモデルがエンジンのローポリゴン画像をより詳細なフレームへと変換します。
この分離こそが、プロジェクトの中心的な考え方です。キャラクターがシールドを拾う、ダメージを受ける、あるいはミッションを完了する場合、何が起きたかを決定するのはエンジンです。ニューラルレンダラーの責任は見た目を生成することであり、生成されたピクセルがスコアやプレイヤーの体力に関する最終的な権限を持つわけではありません。
このリリースには、単一GPUのRTX 5090向け推論パスも含まれています。重要なのは、デモが何を測定しているのか、リリース済みコードに実際にどの機能が含まれるのか、そしてダウンロード可能なモデルがどの程度特化されているのかという点です。
ビデオモデルは説得力のある動きを生成できますが、すべてのゲームルールを信頼性高く表現するとは限りません。視覚的にもっともらしいフレームが、敵の位置、アイテムの所有者、あるいは衝突によってゲームを終了すべきかどうかを必ずしも確定するわけではありません。
Matrix-Game 4.0は、これらの事実をコード内で維持します。エンジンは入力を処理し、ワールドを進行させ、比較的低コストなローポリゴンRGBビューを生成します。その後、ビデオモデルがこの構造化された入力から最終的なビジュアル表現を生成します。
公式リポジトリでは、この仕組みを「エンジンに基づくゲームプレイ」と「ストリーミング・ニューラルレンダリング」と呼んでいます。これはハイブリッドシステムであり、モデルが汎用ゲームエンジンのあらゆる側面を内部で学習し、確実に実行しているという主張ではありません。
したがって、視覚的なエラーが基礎となる衝突判定やゲーム状態を直接変更することはありません。ただし、プレイヤーを混乱させる可能性はあるため、このアーキテクチャはすべてのエラーをなくすのではなく、2種類の失敗モードを分離するものです。
プロジェクトページでは、コーディングエージェントとゲームエンジンを組み合わせたハーネスが提示されています。ユーザーの指示を新しいルールやプロンプトへ変換でき、エンジンがワールドの一貫性を保つために必要な状態を供給します。
出典：Skywork AI、Matrix-Game 4.0プロジェクトページ。この概念図には空間メモリ検索が含まれますが、リリース済みのシューター実行時環境は、後述するように、より限定的な挙動です。
大まかなワークフローは以下のとおりです。
QbitAIの例には、体力減少に先行するシールド耐久度や、タイムトライアルから追跡へ変更されたレースタスクが含まれます。これらは明示的なルールの利点を示しています。ゲームプレイを変更することは、ビデオモデルに異なる結果を描写するよう求めるだけではなく、コードを変更してテストすることを意味します。
Hugging Faceのモデルカードでは、Medieval Castle、Ancient Egypt、City Racingという、シーンに特化した3つのレンダラーが説明されています。各チェックポイントは約50億のBF16パラメータを持ち、Matrix-Game 4.0の推論ソースを必要とします。
これらの重みは、そのまま使えるDiffusersパイプラインではありません。リリースには推論コード、ブラウザデモ、ネイティブゲームソース、モデル、ゲームアセットが含まれますが、モデルカードはトレーニングコードおよびトレーニングデータが含まれないことを明示しています。
出力は480×864のRGBです。起動後、1つの潜在チャンクは4つのRGBフレームに対応し、起動チャンクには1フレームが含まれます。提供される共有リソースとシーン固有ポリシーは重要であり、任意のコーデックや別シーンの参照構成は同等の代替ではありません。
HUD要素と音声は、フレームに整列した独立の表示レイヤーとして残ります。完成したデモ内でそれらが一緒に表示されるからといって、モデルがこれらすべてのコンポーネントを生成しているわけではありません。
プロジェクトの図には、カメラ姿勢によって取得される空間メモリと動的な意味記述が含まれています。一方、現在の実行時コントラクトはより具体的です。リリース済みシューター構成では固定シーンプロンプトと有界キャッシュを使用し、この構成では取得メモリも動的プロンプト生成も使用しないことが明示されています。
レースでは、エンジンが提供する固定キャプションまたはチャンク境界に整列した動的キャプションがサポートされます。動的条件付けではテキストエンコーダーを維持し、キャプションが変更されるとテキスト関連のキャッシュエントリを更新するため、スループットコストが発生します。
この区別により、魅力的な研究図をダウンロード可能なデモの不正確な機能一覧にしてしまうことを防げます。紹介されているメカニズムがその実行パスで動くと想定する前に、使用しているシーンとプリセットを確認してください。
ソースレポートでは、エンジニアリングを、モデルが推論、記憶、計算しなければならない量を減らす取り組みとして整理しています。公式資料は、ローポリゴンの視覚条件付け、参照情報、有界な最近履歴キャッシュ、少数ステップの因果生成という主要なメカニズムを裏付けています。
モデルはテキストだけからシーンを合成するのではなく、エンジンがレンダリングした構造を受け取ります。そのため、オブジェクトとカメラの動きは視覚的制約として与えられます。テキスト条件付けはシーンの意味情報を加え、リリース済みモードはシーンによって異なります。
推論では、リアルタイムパスにTAEHVコーデック、1回のノイズ除去ステップ、最適化されたDiT実行、CUDAグラフが使われます。品質プリセットでは、Wanエンコードおよびデコード、2回のノイズ除去ステップ、ネイティブDiTを使用します。ドキュメントでは、これらのモードは品質と計算コストが異なることを警告しています。
RTX 5090では、専用プリセットがロード時にDiTブロックの線形重みをFP8へ変換し、推論中に活性化を量子化します。埋め込みと出力ヘッドはBF16のままです。通常のrtx5090はPyTorch SDPAを使用し、rtx5090-sageには追加のパッチ済みSageAttentionビルドが必要です。
プロジェクトページでは、RTX 5090における1ステップのデモとして以下の数値が提示されています。これらは紹介された構成を説明するものであり、すべてのシーンまたはコンピューターにおけるフレームレート保証ではありません。
| プロジェクトページの数値 | 測定内容または説明 |
|---|---|
| 83 FPS | RTX 5090における1ステップノイズ除去デモ。 |
| 48 ms | 起動後に4つのRGBフレームに対応する、1チャンクのノイズ除去時間。 |
| 112 ms | 報告されたデモにおける、キー入力から最初の反応フレームまでの時間。 |
| 480p | ストリーミング出力の解像度カテゴリ。 |
| GPU 1基 | 紹介されたセットアップにおいて、テキストエンコーダー、DiT、VAEが常駐。 |
アイデアを一文で入力するだけで、We0 AI が紹介サイト、ページ、CMS を生成し、公開後の顧客獲得と流入拡大を支援します。
無料登録で完全なプロジェクトを 1 つ生成
1 つの完全な生成フローを試し、最初のプロジェクトのドラフトをすぐに確認するのに最適です。
QbitAIはさらに、2ステップノイズ除去で約57 FPS、GPUメモリピークが約18.5 GiB、ゲームプレイ表示が60 FPSであると報告しています。これらは情報源が報告した数値であり、すべてのモードが同時にすべてを達成するかのように組み合わせるべきではありません。
現在のREADMEにあるブラウザの例では--fps 40を使用していますが、これは測定済みのレンダリングスループットやレイテンシ保証ではなく、目標となるゲームキャプチャのケイデンスであると明記されています。起動時およびウォームアップ時も、定常状態の推論とは異なります。
ビデオエンコード、バッファリング、転送、ブラウザデコードは、モデルのノイズ除去時間以外にも処理を追加します。このため、チャンクごとの推論値、サーバーパイプラインのスループット、アクションから画面上の光までのレイテンシは別々の指標です。
ソースはこのシステムを別のNVIDIA研究環境とも比較しています。ハードウェア、解像度、品質、レイテンシの定義を一致させなければ、それらの数値は公平で普遍的な順位を示すものではありません。
v4 READMEには、推論向けとしてNVIDIA GPU搭載LinuxおよびPython 3.12、それに対応するPyTorch、CUDA、ドライバー環境が記載されています。ブラウザデモには、ホスト上のネイティブゲームおよびメディア依存関係も必要です。ブラウザクライアント自体に推論GPUは必要ありません。
初回実行前には、以下を確認してください。
Matrix-Game-4/内のv4インストール手順に従います。ダウンローダーはHubのシーンフォルダーを実行時パスへマッピングするため、Hugging Face上のフォルダー名だけではローカルディレクトリ構成を判断できません。公式マニフェストは、リソースのインストール前にファイルサイズとSHA256を検証します。
リリースでは、サーバープロセスごとに1つのアクティブセッションと1つのシーンモデルのみが想定されています。READMEでは、認証済みのパブリッククラウドゲーミングサービスではなく、ループバックをデフォルトとする信頼済み単一ユーザーデモとされています。HTTP、RTSP、WebRTCサービスを直接インターネットに公開しないでください。
v4ソースはApache-2.0です。モデルカードでも、プロジェクトのシーン重み、シンク画像、ゲームアセットはApache-2.0とされていますが、共有リソースおよびサードパーティー素材にはそれぞれ独自の条件が適用されます。TAEHVにはMIT通知があり、レース音声には一部アセットについて帰属表示要件があります。
ダウンロード可能な素材は相当量ありますが、完全なトレーニングリリースではありません。プロジェクトに基づく成果物を再配布する場合は、該当するライセンスと音声クレジットを維持してください。
モデルは、提供されるシーンとカメラプロファイルに特化しています。モデルカードには、未見のジオメトリ、急速な動き、遮蔽、長時間セッションにおける外観ドリフトとジオメトリエラーが記載されており、フレームレート、メモリへの収まり、正確なシーン再構築を明示的に保証していません。
したがってMatrix-Game 4.0は、エンジンに基づくニューラルレンダリングを検証するための具体的なプラットフォームです。汎用ゲームジェネレーター、実証済みのマルチプレイヤーサービス、または従来型ゲーム開発の必要性をなくすシステムとして説明すべきではありません。
公式リリースには最適化されたRTX 5090推論パスが含まれ、単一GPUのデモも報告されています。性能とメモリへの収まりは、文書化された構成に依存し、モデルカードはすべてのワークロードについて保証していません。
いいえ。実行可能なゲームエンジンがゲームプレイと物理状態を管理します。ニューラル出力に視覚エラーが含まれても、エンジンの衝突計算またはルール計算が直接変更されることはありません。
モデルカードには、含まれないと明記されています。リリース済みの推論およびゲームソースとともに使用するシーンチェックポイントとアセットが含まれますが、これはモデル学習を再現できる範囲とは異なります。
--fps 40は、表示フレームレート40 FPSを保証しますか？いいえ。READMEでは、これを目標キャプチャケイデンスとして定義しています。エンコード、転送、バッファリング、ブラウザデコード、推論が、最終的な表示とレイテンシに影響する可能性があります。
概念的なプロジェクト図にはこのメカニズムが含まれますが、現在の実行時コントラクトでは、リリース済みのシューター構成は取得メモリを使用しないとされています。レースの動的キャプションモードも、シューターの固定プロンプトパスとは別のものです。
リリースでは、サーバープロセスごとに1つのアクティブセッションが記載されており、信頼済み単一ユーザーデモとして説明されています。認証やパブリックサービス向け保護がすでに提供されているものと見なして、サービスを直接インターネットへ公開すべきではありません。
Matrix-Game 4.0は、実行可能なエンジンでゲーム状態を維持し、因果的ビデオモデルでその見た目をレンダリングします。単一GPU向けリリースは、ダウンロード可能なシーン、推論コード、アセットとともに、この役割分担を実際に検証する方法を提供します。
デモは有望ですが、見出しのFPSと同じくらい、リリース済み構成、シーン特化、個別の性能指標を重視する必要があります。
ひとことから始めて、数分で完全なサイトを手に入れましょう。