Dexmal DM0.5解説：実世界ロボットのための15万時間の具現化基盤モデル

はじめに

具現化AIには、優れたデモ、新しいロボットハードウェア、研究人材が不足することはありません。しかし、より困難な問題は依然として同じです。実世界のタスクでロボットを継続的に改善できるデータフライホイールをどのように構築するかという点です。

Dexmal（中国語では原力灵機として知られる）は、開発者イベントにおいて、DM0.5と呼ばれる新しい具現化基盤モデルを発表しました。このモデルは、オープンワールドの具現化インテリジェンスのための汎用基盤モデルとして位置づけられています。ロボット工学においては分離されがちな3つの要素、すなわち大規模ロボットデータ、モデルの汎化、そして展開インフラを結びつけることを目的としています。

QbitAIの当初のレポートによると、DM0.5は150,000時間のデータに基づいて構築され、4Bパラメータのモデルを採用し、ナビゲーション、把持、全身制御、長期記憶、そしてクロスエンボディメント展開をサポートするように設計されています。

150,000時間のデータ：DM0.5の基盤

DexmalはDM0.5を3つのキーワード、より大規模、より強力、より実用的で表現しています。

このモデルは、オープンワールドタスクのための汎用具現化基盤モデルとして位置づけられています。以前のDM0モデルと比較して、DM0.5はパラメータ規模を4Bパラメータに倍増させ、トレーニングデータ量を**400%**増加させています。

150,000時間のデータ基盤は、主に3種類の高品質データから構築されています。

1. 実ロボット操作データ

DM0.5は50,000時間の高精度ロボット操作データを使用しています。このデータは100種類以上の動作をカバーし、命令と動作の間の秒単位での細かい整合性をサポートします。

このデータセットの部分は、モデルが物理的な動作が実際に実世界でどのように実行されるかを、単に言語で記述される方法だけでなく学習するのに役立ちます。

1. 自己中心的第一人称データ

このモデルはまた、100,000時間の自己中心的データも使用しています。これにより、モデルは環境に対してより人間に近い視点を得ることができ、ミリメートルレベルでの高精度な3Dランドマーク生成をサポートします。

第一人称データが重要なのは、ロボットが静的なカメラ視点だけでなく、世界の中を移動する行為者の視点からシーンを理解する必要があるからです。

1. シーン再構築データ

Dexmalはまた、100万平方メートルの空間データに基づくシーン再構築データも使用しています。その目標は、複雑な屋内環境をモデル化し、シミュレーションと実展開の間のSim2Realギャップを低減することです。

これは具現化インテリジェンスにとって重要です。なぜなら、シミュレーターで優れた性能を示すロボットでも、実際のシーンで照明、物体の配置、表面の摩擦、人間の行動が変わると失敗する可能性があるからです。

DM0.5における3つのアーキテクチャアップグレード

データ規模に加えて、DM0.5は3つの主要なアーキテクチャレベルのアップグレードを導入しています。これらのアップグレードは、ロボットが「動作を記憶する」ことから「タスクを理解する」ことへ移行するのを支援するように設計されています。

1. コンテキスト抽象化レイヤー

実世界のロボットタスクの多くは、短いワンステップのコマンドではありません。それらは数分間続くことがあり、ロボットが以前に何が起こったかを記憶する必要があります。

DM0.5は効率的なコンテキスト圧縮を追加し、最大60秒のネイティブメモリをサポートし、平均メモリ能力は約30秒です。これにより、モデルは

有用な歴史的文脈を保存し、より長期的なタスクの中で環境がどのように変化してきたかをよりよく理解するため。

長期にわたるタスクに対して、この種のメモリは断片的な行動を減らし、ロボットがより一貫性のある動作シーケンスを維持するのに役立つ。

1. 具現化連鎖思考タスク

DM0.5は依然としてVLAスタイルの方針に従っているが、Dexmalはタスク計画、目標位置特定、未来状態予測を含む、より推論指向のタスクを追加している。

簡単に言えば、このモデルは行動する前に計画を立てるよう促される。コマンドが複雑な場合、目標をより小さなステップに分解し、動作順序を整理し、試行錯誤的な行動を減らすことができる。

1. 軌道アライメント層

自然言語によるコマンドとロボットの関節動作は、非常に異なる空間に存在する。人間が一文を話しても、ロボットはその指示をミリメートル単位のアーム、グリッパー、または体の動きに変換する必要がある。

軌道アライメント層は、モデルが動作を孤立した点の集合ではなく、位置合わせされたプロセスとして学習するのを助ける。これにより、モデルは意図と実行の間の動作パターンをよりよく理解できるようになる。

これらの改良点が一体となって、DM0.5が単に動作を記憶しているだけでなく、物理世界のよりタスクを認識した表現を学習しているというDexmalの主張を支えている。

ベンチマーク結果と効率向上

このデータとアーキテクチャの設定の下で、DM0.5は実ロボットとシミュレーション評価の両方で、いくつかの性能向上が報告されている。

報告によると、DM0.5は4つの公開された実ロボットおよびシミュレーションベンチマークにおいて、現在のSOTAモデルを上回る性能を示している。単一のモデルで、ナビゲーション、把持、全身制御を含む複数のタスクタイプをサポートできる。

DM0と比較して、DM0.5は以下の点で改善されたと報告されている：

• ゼロショットナビゲーション成功率が31%向上
• 少数ショット成功率が45%向上
• ファインチューニングされたタスク成功率が20%向上
• 推論効率が25%向上

報告されているレイテンシもロボット展開用として低い：

• NVIDIA H100上で50ミリ秒の推論レイテンシ
• RTX 4090上で90ミリ秒の推論レイテンシ

これらの数値が重要なのは、具現化AIは正確であるだけでなく、リアルタイムの物理制御のために十分に速く応答する必要があるからだ。

汎化と低コスト化：DM0.5にとっての「有用性」の意味

開発者イベントで、Dexmalの共同創業者兼CEOである唐文斌氏は、多くの具現化AIモデルがリリースされているが、本当の問題はそれらが実際に有用かどうかだと主張した。

Dexmalは、有用な具現化基盤モデルを定義するために2つの実用的な基準を使用している：

1. モデルのゼロショット汎化能力はどの程度強いか？
   これがモデルの能力の上限を決める。
2. ポストトレーニングの効率はどの程度か？
   これがモデルが実際の産業やサービスシナリオにどれだけ早く移行できるかを決める。

ポストトレーニングに関して、DM0.5はファインチューニングコストを60%削減すると報告されている。新しい下流タスクは、わずか1台のRTX 4090コンシューマーGPUで、わずか18時間で専門家レベルの性能にファインチューニングされ、展開できる。

より大きな変化は汎化にある。Dexmalは、DM0.5が物体、シーン、タスク、ロボットの身体性、自然言語による指示の間の関係を理解するように設計されていることを強調している。同社は述べている。

DM0.5において、汎化能力の兆候がすでに観測されています。

1. ゼロショット性能

ゼロショット性能は、訓練中に正確なタスクを見ることなく、ロボットが何を実行できるかを測定します。

Dexmalは、Franka単腕ロボットとDexmal-Mintを用いて、DM0.5を以下の8つの基本原子動作でテストしました。

• 掴む
• 置く
• 覆う
• 回転させる
• 押す
• 引く
• 拭く
• 積む

テストには、色、形状、サイズ、状態、絶対位置、相対位置、および長い指示文に関する、より複雑な指示追従ケースも含まれています。

報告された評価において、DM0.5は1台のFranka単腕のMove能力でPI 0.5と同等の性能を示し、その他のテスト項目ではDM0およびPI 0.5を上回りました。

1. ファインチューニング性能

ファインチューニング性能は、実際のタスク環境に導入された後のモデルの適応力を示します。

実ロボットベンチマークRoboChallengeのTable30 V2において、DM0.5は30の複雑なタスクと4種類の異種ロボット形態でテストされました。報告によると、スコア54.42、成功率**43%**を記録し、当該評価で首位を獲得しました。

また、このモデルは、いくつかの認知された把持・ナビゲーションベンチマークにおいても記録を更新しました。LIBEROでは、DM0.5は全体的な性能99.1%を達成し、その内訳はCleanシナリオで94.1%、**Randomシナリオで94.4%**でした。

実用上重要な詳細はコストです。Dexmalによれば、新しい下流タスクは単一のRTX 4090上で18時間以内にファインチューニング可能であり、同じクラスのGPU上で推論は90ミリ秒で実行できます。

1. ネイティブな長期記憶

DM0.5は、最大60秒のネイティブな長期記憶をサポートします。Dexmalは、現在の多くの具現化モデルは通常10秒未満の記憶持続時間であると指摘しています。

より長い記憶により、ロボットは環境が時間とともに変化するマルチステップタスクを処理できます。例えば、散らかった倉庫や家事整理タスクにおいて、ロボットは既に移動したもの、残っているもの、シーンがどのように変化したかを記憶する必要があります。

DM0.5はビデオプロンプティングもサポートしています。長期記憶機能により、モデルは短い人間の実演ビデオを理解し、その行動を実演されたタスクに合わせることができ、言語のみの指示への依存度を低減します。

1. 妨害に対する頑健性

DM0.5は二重システム設計を採用しています。

• Sys2は高レベルの理解、推論、計画を担当します。
• Sys1は高頻度の動作応答を担当します。

このモデルは、具現化シナリオにおける2つの一般的なロングテール外乱に対して強化されています。

• カメラ外乱: カメラの視点が突然変わっても、ロボットは安定した動作を維持する必要があります。
• 人間による割り込み: 人間がプロセスに割り込んだ後、ロボットはタスク状態が変化したことを理解し、次の動作を調整する必要があります。

これは、実世界での展開が、清潔な実験室のデモンストレーションのようになることはほとんどないため重要です。人が動き回り、カメラが移動し、物体が常にロボットの想定位置にあるとは限りません。

1. マルチエンボディメント対応

DM0.5はマルチロボット・マルチタスク統合で訓練されているため、クロスプラットフォーム転送用に設計されています。

Dexmalによれば、このモデルは、二足歩行ヒューマノイド、車輪型ロボット、双腕・単腕マニピュレータ、器用なハンドなど、複数の主流かつ異種のロボットタイプに適応できます。

手。

記事では、Aloha、ARX、UR、W1、Unitree G1、Tiangong、Huaqin、Realman などの例が挙げられている。Dexmal はまた、このモデルは軽量な適応で新しい未知のロボット実装に迅速に展開できると述べている。

より広い意味では、汎化によってロボットを固定環境や固定動作スクリプトから解放すべきだということだ。より汎用的なモデルは、カスタム作業を減らして、新しい物体、新しいシーン、新しい指示、新しいロボット本体を扱うことができる。

基盤モデルだけでは十分ではない

強力な具現化基盤モデルは第一歩に過ぎない。産業界で具現化 AI を機能させるには、モデルには依然としてツール、デプロイメントシステム、データフィードバック、実世界の運用インフラが必要である。

Dexmal はこのスタックを説明するために「三段ロケット」の概念を用いている。

1. 第一段階： 汎用基盤モデルとしての DM0.5。
2. 第二段階： DFOL2.0、MaaS、DexOS を含む DexDev デベロッパープラットフォーム。
3. 第三段階： 実際のシナリオのためのマルチエージェントハイブリッド運用システム、Ferrata。

これらのレイヤーは、モデルの呼び出しコストを下げ、ハードウェア全体への展開を容易にし、実世界のタスク環境での安定性を高めることを目的としている。

I. DexDev デベロッパープラットフォーム

DexDev は、具現化 AI モデルを適用する際の複雑さを軽減するための Dexmal のデベロッパープラットフォームである。

現在の具現化 AI 分野では、モデル、ハードウェア、タスク、データセット、デプロイメント環境が断片化していることが多い。開発者は、アルゴリズム、ロボット制御、ハードウェア適応、シナリオの反復を同時に理解する必要があるかもしれない。

DexDev は 3 つのモジュールを中心に構築されている。

1. DFOL2.0：世界モデル駆動型フレームワーク

DFOL2.0 は、Dexmal の汎用世界モデル DW0.5 によって駆動される具現化強化学習およびデータループフレームワークである。

その役割は、モデルの継続的な改善を支援することである。高価な実ロボットの試行錯誤のみに依存する代わりに、DFOL2.0 は忠実度の高い仮想物理環境を使用して、低コストかつ低リスクで閉ループポリシートレーニングを実施する。

また、実世界のタスクデータや障害データをクラウドにフィードバックし、基盤モデルの進化を継続的に支援する。

Dexmal によると、DFOL2.0 は実ロボットトレーニングデータの需要を 60% 、トレーニングコストを 40% 削減できるという。

1. DexOS：具現化 AI のための汎用オペレーティングシステム

DexOS は、標準化された ECP（具現化制御プロトコル）インターフェースを定義する。

目標は、異種ロボットハードウェア間の差異を隠蔽することである。多くのモデルと多くのロボット本体間の困難な「N × M」適応問題を解決する代わりに、DexOS はデプロイメントを「N + 1」の統一接続問題に簡素化しようと試みる。

これにより、DM シリーズのモデルが、より低コスト、低レイテンシ、安定した制御で異なるハードウェア上で実行できるようになることを目的としている。

1. 具現化 MaaS サービス

Dexmal はまた、DM モデルファミリー向けの具現化 MaaS サービスを導入した。

その考え方は、基盤モデルの機能をサービスとしてパッケージ化することである。開発者は、モデルをゼロからトレーニングしたり、すべてのハードウェア適応の詳細を自分で処理したりする必要はない。ロボットの展開やアップグレードのために、モデルの機能をより直接的に呼び出すことができる。

Dexmal のスタックでは、DFOL2.0 はモデルの改善を支援し、DexOS はソフトウェアとハードウェアを接続し、MaaS はモデルを大規模に使いやすくする。

II.

Ferrata：マルチエージェントハイブリッド運用システム

MaaSを通じて単一ロボットの機能が呼び出せるようになると、次の課題はマルチロボットの協調動作です。

Dexmalは、実世界のシナリオ向けに設計されたマルチエージェントハイブリッド運用システムFerrataを発表しました。これは、複数の目標、モデル、ロボット形態、安全性の境界をまたいだシステムレベルのスケジューリングを処理することを目的としています。

FerrataはDMモデルファミリーとRealtime-VLAを基盤として構築されています。特定のロボットに限定されるものではなく、システムレベルでタスク、モデル、ハードウェアタイプ、安全機構を調整します。

タスク階層、例外処理、人間による介入、データフィードバックを通じて、Ferrataは実環境でロボットが継続的に動作することを目指します。

DM0.5からDexDev、Ferrataに至るまで、Dexmalはモデル能力から実際の生産性に至るまでの完全なインフラストラクチャパスを構築しようとしています。

最初の層は汎用モデルです。2番目の層はトレーニング、MaaS、オペレーティングシステムのためのプラットフォームインフラです。3番目の層はシナリオレベルの運用システムであり、具現化AIがラボのデモから生産現場に移行するのを支援します。

FAQ

Dexmal DM0.5とは何ですか？

DM0.5はDexmalが発表した具現化基盤モデルであり、原力灵機とも呼ばれます。4Bパラメータの汎用モデルとして位置づけられ、ナビゲーション、把握、全身制御、指示追従などのオープンワールドロボットタスクに対応します。

DM0.5のトレーニングにはどのくらいのデータが使用されましたか？

当初のレポートによると、DM0.5は15万時間のデータに基づいて構築されています。これには5万時間の実ロボット操作データ、10万時間の自己中心視点の一人称データ、および100万平方メートルをカバーする大規模シーン再構築データが含まれます。

DM0.5がDM0と異なる点は何ですか？

DM0.5はモデルパラメータ規模を4Bに倍増し、DM0と比較してデータ量を400%増加させています。また、長期記憶、具現化推論タスク、軌道アライメントを追加し、タスク理解と一般化を向上させています。

DM0.5はコンシューマー向けGPUで動作しますか？

レポートによると、DM0.5は1台のRTX 4090で新しい下流タスクのエキスパートレベルファインチューニングを最短18時間で完了できます。また、RTX 4090では90ミリ秒、H100では50ミリ秒の推論レイテンシを報告しています。

DexDevとは何ですか？

DexDevはDexmalの具現化AIアプリケーション向け開発者プラットフォームです。強化学習とデータループのためのDFOL2.0、クロスハードウェア制御のためのDexOS、モデル機能へのアクセスを容易にするMaaSが含まれています。

Ferrataは何に使用されますか？

Ferrataは実世界のロボットシナリオ向けマルチエージェントハイブリッド運用システムです。タスク、ロボットハードウェア、モデル、安全境界、例外処理、人間による介入、データフィードバックを調整します。

DM0.5はオープンソースですか？

この記事はDM0.5のリリースと報告された能力に焦点を当てていますが、DM0.5自体がオープンソースであるとは明確に述べていません。DexmalはオープンソースのDexbotic VLAツールボックスを維持しており、DM0関連のドキュメントはDexbotic GitHubリポジトリから入手可能です。

具現化AIにおいて長期記憶が重要な理由は何ですか？

ロボットは、時間の経過とともにシーンが変化する多段階タスクを完了する必要がよくあります。より長い記憶は、モデルが以前のアクション、現在のタスク状態、環境変化を追跡するのに役立ちます。

ロボットが長時間のタスク中にコンテキストを失う可能性が低くなります。

関連ツール

• Dexmal: DM0、DM0.5、DexDev、Ferrataを手掛けるDexmal社の公式サイト。
• Dexbotic: Dexmalが提供する、身体性知能研究のためのオープンソースVLA開発ツールボックス。
• RoboChallenge: 身体性AI環境におけるロボットタスク性能を評価するベンチマークプラットフォーム。
• Hugging Face: DexboticのドキュメントでDM0モデルチェックポイント用に参照されるモデルホスティングプラットフォーム。
• arXiv: DM0の技術論文が公開されている研究論文プラットフォーム。

関連リンク

• Dexmal公式サイト: Dexmalの会社および製品に関する公式情報。
• Dexbotic GitHubリポジトリ: 事前学習、ファインチューニング、推論、評価のためのオープンソースVLAツールボックス。
• Dexbotic内のDM0チュートリアル: DM0固有の設定を使用するためのDexbotic公式ドキュメント。
• DM0 arXiv論文: 「DM0: An Embodied-Native Vision-Language-Action Model towards Physical AI」の研究論文。
• RoboChallenge DM0実行結果: Table30におけるDM0でフィルタリングされた公開RoboChallenge実行結果。
• Dexmal GitHub Organization: DexmalのGitHub組織ページとオープンソースプロジェクト一覧。

概要

DM0.5はDexmalが開発した最新の身体性基盤モデルであり、大規模データ、40億パラメータのアーキテクチャ、長時間メモリ、身体性推論、軌道アライメントを特徴としています。その主な目的は、タスク、環境、身体性を横断したロボットの汎化性能向上です。

本記事では、モデル単体では不十分である理由についても解説しています。DexmalのDexDevプラットフォーム、DFOL2.0、DexOS、MaaS、およびFerrataシステムは、モデルの能力を実装可能なインフラストラクチャへと変換するために設計されています。

要点: DM0.5は単なるモデルアップデートではなく、身体性AIのトレーニング、展開、そして実世界でのロボット運用を一つのスタックに統合しようとするDexmalの試みです。