Muse Wonderベンチマーク：コーディング結果、限界、APIコスト

MetaによるMuse Wonderの発表では、強力なベンチマーク結果と、開発者による実演で時にそれほど説得力を持たなかった出力という、2種類の大きく異なる証拠が示されました。BAAI Hubに転載された新智元のレポートは、この隔たりをベンチマーク重視の最適化に対する強い批判へと結び付けています。

この見解の相違は精査に値しますが、実演の出来が悪いことだけで不正を立証することはできません。公正に判断するには、正確なモデルバリアント、テスト対象タスク、モデルを取り巻くエージェントソフトウェア、そして各結果の出所を確認する必要があります。

3Dゲームのデモが注目を集めた理由

情報源は、開発者がブラウザゲームまたは3Dゲームの出力を比較し、競合モデルと比べてWonderに失望した事例を説明しています。こうした実演は確認しやすいものです。閲覧者は、移動が機能するか、カメラが適切に動作するか、シーンが要求された結果に似ているかを直接確認できます。

情報源はまた、MetaのAlexandr Wangが、チームは3Dデモゲーム向けに明示的な訓練をしていなかったと述べ、開発者に実際のコーディング作業を試すよう促したと引用しています。この回答は新智元による報道であり、すべての失敗したコーディングタスクを包括的に説明するものとして扱うべきではありません。

ゲームの実演は、依然として重要な証拠です。コード生成、視覚的判断、インタラクション、デバッグという現実的な組み合わせを検証するためです。その一方で、適用範囲には限界があります。1つのプロンプトと1回の実行だけで、リポジトリ保守、ターミナル作業、あるいは長期にわたるソフトウェアプロジェクト全体での性能を確立することはできません。

Metaは実際に何を発表したのか

Metaの一次発表では、個人向けおよびプロフェッショナル向けエージェントのためのモデルとしてMuse WonderとMuse Wonder Fullが紹介されています。WonderはMeta Model APIおよびMuse Codeを通じて提供され、FullはMuse Codeのサブスクライバーに提供されます。

発表では、Active Memoryを、会話をまたいで重要な文脈を保持し、関連する場面でそれを取得する機能として定義しています。Active Focusは、代替案の試行、新情報への適応、確認の質問、重要なアクション前のチェックを含め、目標に向けて持続的に進捗することを説明しています。

これらの説明は、Metaが何を改善しようとしているかを理解する助けになります。ただし、これは製品および評価に関する主張であり、エージェントが割り当てられたすべてのタスクを完了するという保証ではありません。

Metaが公開し、新智元がBAAI Hub上で再掲した比較表。数値は発表資料に示された構成および評価条件に対応するものです。

結果には明確な強みと弱みがある

この表は、万能の勝者を示しているわけではありません。コーディング結果は、タスクによって大きく異なります。

Metaの付随資料では、メモリおよびエージェントワークフローにおける強みと、他のモデルが優位な領域の両方も報告されています。長時間に及ぶソフトウェア作業で強い結果が得られたとしても、ゼロからアプリケーションを生成する能力が最も高いことを意味するわけではありません。

SWE-Marathonでは、評価条件が特に重要です。Metaのモデルカードによれば、競合モデルはCodexおよびClaude Codeを通じて実行される一方、Wonder Fullで強調された結果にはxhigh構成が使用されています。これらは意味のある製品レベルの結果ですが、すべてのモデルに同一のエージェントハーネスを用いた単一の統制実験ではありません。

汎化に関する議論が示すことと、示さないこと

Metaの発表ブログは、既知のベンチマークと未知のタスクの間にあるギャップを明示的に取り上げています。その分析では、テスト時コンピュートの増加に伴う分布内および分布外の性能を比較し、Wonder Fullのより強力なベースモデルが、ポストトレーニングによる改善を他のタスクへ移転する能力を高めると主張しています。

これはMetaの立場を支える関連性の高い技術的証拠です。しかし、モデル開発者自身が選定・提示した評価であり、開発者の出力に対するすべての不満を解決するものではありません。

同様に、期待外れのゲームデモに関する報告は、ベンチマーク汚染や結果の捏造を立証するものではありません。そのような主張を確立するには、情報源の記事が提供している以上に、データ、手法、または操作された結果についての直接的な証拠が必要です。

モデルバリアントとコストが重要である理由

Artificial Analysisによる独立した報道では、最大推論強度におけるIntelligence Index v4.3のスコアは、Wonder Fullが56、Wonderが52とされています。したがって、通常のWonderをAPIでテストするユーザーは、複数のチャートで注目されているFullモデルとは異なる発表時の提供形態を評価していることになります。

Artificial Analysisは、両バリアントに100万トークンのコンテキストウィンドウがあると記載しています。Wonderについては、入力100万トークン当たり4ドル、キャッシュ済み入力100万トークン当たり0.20ドル、出力100万トークン当たり20ドルと報告しています。同サイトによるIntelligence Indexタスク当たり4.52ドルという推定値は、評価に固有のコストであり、あらゆるユーザーリクエストに適用される固定価格ではありません。

情報源は、公開されたオープンウェイト版がないことも批判しています。確認した発表内容およびアクセス説明のいずれにも、ダウンロード可能なWonderの重みの公開は記載されていないため、開発者はローカルでのセルフホスティングが可能だと想定すべきではありません。

インフラストラクチャとパーソナルエージェント構想

Metaによれば、Wonderはギガワット規模のPrometheusデータセンターでトレーニングされました。BAAIの記事は、この発表を、AIインフラ投資の規模や、商取引におけるパーソナルエージェントの役割に関するMark Zuckerberg氏とWang氏の発言と結び付けています。

これらの発言は、より広範な戦略を説明するものです。特定のこのモデルについて検証済みのトレーニングコストの数値に置き換えるべきではありません。同様に、エージェントがサービスを交渉または購入する例は、製品の振る舞いに関するビジョンであり、そうしたすべてのワークフローが導入済みである証拠ではありません。

次に有用なのは、再現可能なテストです。要件を固定し、バリアントと推論設定を特定し、環境を記録し、完了した作業を測定します。これにより、単一の見出しスコアや印象的な1件の失敗よりも、強みと弱みの両方を信頼性高く明らかにできます。

FAQ

報告されたゲームデモの失敗は、Muse Wonderが不正をした証拠ですか？

いいえ。実演されたタスクでの性能が低かったことは示せますが、ベンチマーク不正を証明するには、評価手法、データ、または操作された結果に関する別個の証拠が必要です。

WonderとWonder Fullで結果が異なるのはなぜですか？

両者はモデルファミリー内の別個の提供形態であり、発表時のアクセス経路も異なります。Artificial Analysisは、Intelligence Index v4.3における最大推論強度で、Wonderを52、Fullを56と報告しています。

Wonder FullはコーディングでOpus 5.5より優れていますか？

引用した表は、コーディング評価ごとに異なる答えを示しています。FullはDeepSWE 1.1および報告されたSWE-Marathon設定で優位である一方、OpusはTerminal-Bench 4.0-AAおよびProgramBenchで優位です。

SWE-Marathonのスコアを純粋なモデルテストとして比較できますか？

設定に関する留保を付ける場合に限られます。Metaのモデルカードでは、競合モデルがそれぞれのコーディング製品を使用していると説明されているため、基礎モデルに加えて、エージェントの振る舞いやツールの違いも結果に影響する可能性があります。

Muse Wonder APIの料金はいくらですか？

Artificial Analysisの発表時レポートでは、入力100万トークン当たり4ドル、キャッシュ済み入力100万トークン当たり0.20ドル、出力100万トークン当たり20ドルとされています。本番利用を決定する前に、最新のプロバイダー課金条件を確認してください。

Muse Wonderはローカル環境向けにダウンロードできますか？

確認した発表資料からは、公開された重みのダウンロードは確認できませんでした。文書化されたアクセス経路は、WonderについてはAPIおよびMuse Code、FullについてはMuse Codeのサブスクリプションアクセスです。

関連ツール

• Muse Wonder：Metaのモデルファミリーは、個人向けおよびプロフェッショナル向けのエージェントタスクをサポートします。
• Artificial Analysis：独立したインテリジェンス、性能、コスト比較を提供するプラットフォームです。
• Muse Spark：先行するモデルファミリーであり、Metaのスケーリングに関する主張を理解するための参照点になります。

関連リンク

• BAAI Hubの元記事：新智元による発表スコアおよび開発者デモへの批判を確認できます。
• Meta公式のMuse Wonder発表：同社による能力の定義および汎化分析を確認できます。
• Artificial Analysisによる発表時評価：独立したスコア、アクセス上の違い、報告された価格を確認できます。
• Artificial Analysisの方法論：Intelligence Benchmarkingの評価フレームワークを理解できます。
• Muse Wonder Fullの評価ページ：モデル固有の評価記録を確認できます。
• MetaのMuse Spark発表：Wonderが基盤とするスケーリングアプローチについての先行説明を確認できます。

まとめ

Muse Wonderの発表結果は、強力なエージェントおよびソフトウェアエンジニアリングのスコア、コーディングカテゴリごとのばらつき、そして通常版とFull版で異なるアクセス経路を持つモデルファミリーを示しています。

有用な結論はタスクごとに異なります。万能の勝利という主張も不正という非難も受け入れる前に、正確なモデルを確認し、完了した作業をテストしてください。