For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ja/articles/kimi-k3-vllm-optimization-nvidia-s-1-68-d-139bcc7e.md.
NVIDIAは、Kimi K3向けの専用デコード実装をvLLMに提供しました。これは、既存ハードウェア上でソフトウェアが推論速度を向上させる事例の一つです。IT Homeが紹介した10月18日付のSemiAnalysisの投稿によると、2.8兆パラメーターのモデルで**ユーザーあ...
NVIDIAは、Kimi K3向けの専用デコード実装をvLLMに提供しました。これは、既存ハードウェア上でソフトウェアが推論速度を向上させる事例の一つです。IT Homeが紹介した10月18日付のSemiAnalysisの投稿によると、2.8兆パラメーターのモデルでユーザーあたり毎秒423トークン、同一のGB300 NVL72ハードウェア上で1.68倍の高速化が報告されています。
ここで重要なのは、指標の意味を正しく捉えることです。掲載チャートの横軸には、ユーザーあたり毎秒トークン数（tok/s/user）で表すP90インタラクティビティと記されています。これはユーザーごとのストリーミング性能を示す指標であり、ラック全体のトークン出力数でも、あらゆるリクエストで保証される値でも、サービングパイプラインのすべての部分が68%改善するという意味でもありません。
SemiAnalysisの画像では、10月18日と9月15日の日付が付いたDynamo vLLMと記載されたGB300 NVL72構成が比較されています。ユーザーあたりのインタラクティビティ指標と、総所有コスト（TCO）の推定値に対する総トークン数が示されています。
IT Homeが転載したSemiAnalysisの結果とチャート。
この記事のために確認したInferenceXのライブダッシュボードでは、Kimi K3 2.8T、Agentic、FP4が選択され、10月18日の実行結果が表示されていました。表には、GB300 NVL72のP90インタラクティビティの最高値として424 tok/s/userが示されていました。これは後から確認できたライブ表示であり、元の投稿にある423という数値を黙って変更する根拠にはなりません。
ダッシュボードでは、チップあたりのスループットも別項目として報告されています。これらの列を混同したり、互いに置き換えたりしてはいけません。個々のストリームを高速化するよう最適化された構成では、集約スループットが犠牲になる場合があります。一方、スループット重視の構成では、ユーザーごとのストリーミングが遅くなることがあります。
投稿で強調されたデータポイントの正確な同時実行数、およびプロンプトと出力の長さは、確認した資料では特定できませんでした。特に、ダッシュボードの初期静的HTMLでは汎用的な8K/1Kの選択が表示されていた一方、ページの読み込み完了後にはAgenticが選択されていました。静的ページの初期設定を、報告結果のワークロード仕様として提示すべきではありません。
SemiAnalysisの投稿では、NVIDIAのCentMLエンジニアであるBenjaminが、CuTe DSLを用いた約12,000行のメガカーネル開発に取り組んだとされています。上流実装は、vLLMのプルリクエスト#61867 *Kimi K3 Specialized Decode: CuTeDSL Optimized GB300 (1.5–2x)*から直接確認できます。
このプルリクエストでは、NVIDIAが開発したGB300向け実装が説明されており、10月16日にマージされました。Kimi K3の重みを変更するのではなく、モデル固有の専用ランタイムを追加するものです。NVIDIAのCUTLASSプロジェクトでは、CuTe DSLを、CuTeのレイアウト、テンソル、ハードウェア抽象化を使ってGPUカーネルを記述するための、Pythonネイティブな低レベル手法と説明しています。
技術的な考え方は、特定のモデルとハードウェアの組み合わせに合わせて、デコード時の演算と実行パターンを最適化することです。これは、あらゆるアクセラレーター上でモデルのすべての処理段階を高速化することとは対象範囲が異なります。プルリクエストでサポートされる経路には、テンソル並列度8または16と、選択された投機的・非投機的デコード構成が含まれます。
このプルリクエストには、短いニュース記事よりも明確なテスト条件が記載されています。非投機的テストの一つでは、GB300上のTP16、入力シーケンス長1、出力長1,024、グリーディデコードを使用し、FP8のKVキャッシュ、FP32のSSMキャッシュ、モデル提供元の重みを用いています。
デコードステップの時間は、プレフィルを除外したトークン間レイテンシーの中央値で、指定された実行中リクエスト数ちょうどで測定されています。作成者は、各バッチ設定で4つのプロンプトを使って3回実行し、グラフリプレイによる計測とも照合したと報告しています。
| 実行中のリクエスト数 | 専用デコードステップ | 標準デコードステップ | 報告されたステップ高速化率 |
|---|---|---|---|
| 1 | 3.90 ms | 7.38 ms | 1.89倍 |
| 2 | 4.58 ms | 8.79 ms | 1.92倍 |
| 4 | 5.75 ms | 10.33 ms | 1.80倍 |
| 8 | 6.82 ms | 12.19 ms | 1.79倍 |
これらは別途行われた開発者テストであり、423 tok/s/userというダッシュボード上のデータポイントを再現したり、その正確な内容を説明したりするものではありません。これらのテストの価値は、同時実行数、シーケンス長、測定対象の処理段階が明示されている点にあります。
プルリクエストには投機的デコードのテストも含まれています。一部の性能測定では、合成または強制的に設定したドラフト受け入れ長が使用されており、あらゆるワークロードで自然に達成される受け入れ値と混同してはいけません。DSpark DL7を用い、合成した受け入れ値3.78、デコードのコンテキスト並列化を有効にした32K入力のテストでは、報告されたデコードのみの向上幅は、他のリクエストのプレフィル処理を含む出力スループットの向上幅より大きくなっています。この比較では、初回トークン生成時間は同等だったと作成者は報告しています。
プルリクエストでは、オプトイン引数--additional-config '{"decode_backend": "latency_specialized"}'を使ってこの経路を有効にします。これは、マージされた変更で文書化された設定を示すものであり、完全なサーバー起動コマンドではありません。また、リリース済みのvLLMパッケージすべてにすでに含まれているという意味でもありません。
アイデアを一文で入力するだけで、We0 AI が紹介サイト、ページ、CMS を生成し、公開後の顧客獲得と流入拡大を支援します。
無料登録で完全なプロジェクトを 1 つ生成
1 つの完全な生成フローを試し、最初のプロジェクトのドラフトをすぐに確認するのに最適です。
専用ランタイムは、プレフィル、混合バッチ、大規模バッチでは標準のvLLM実行にフォールバックできます。そのため、デコードのみの高速化が、長いプロンプトの取り込み、混在するトラフィック、あらゆる同時実行数にそのまま適用されると想定すべきではありません。
開発者は、AIME25、GPQA-Diamond、GSM8K、MRCR v2などのタスクで評価を行い、数値的な検証も実施したと報告しています。これらの検証は、公開された条件下で実装を比較する際の裏付けになりますが、すべてのサンプリング実行で同一のテキストが生成されることや、あらゆるアプリケーションで動作が変わらないことを証明するものではありません。
元の報告によると、NVIDIAはDeepSeek V4.1やその他のモデル向けのvLLM最適化にも取り組んでいます。この記述は、進行中の作業として扱う必要があります。Kimi K3の結果は、他のモデルにも同じ改善が実現したことや、同じ導入要件が適用されることを示す証拠ではありません。
掲載されたSemiAnalysisのチャートでは、ユーザーあたり毎秒トークン数で表すP90インタラクティビティとして示されています。これはストリーミング性能の指標であり、システム全体のスループットや初回トークン生成時間とは異なります。
報告された比較では、同一のGB300 NVL72ハードウェアが使われています。向上はソフトウェア経路によるものとされていますが、そのハードウェア上のあらゆるワークロードが同じ割合で改善するという意味ではありません。
確認したプルリクエスト#61867は10月16日にマージされました。ただし、導入には、この変更を含むビルドを使用し、実装でサポートされるモデル、ハードウェア、設定の要件を満たす必要があります。
今回の貢献は、専用のデコード実装です。説明によると、プレフィル、混合バッチ、大規模バッチでは標準経路を使用できます。そのため、デコードステップの測定値をパイプライン全体の高速化として宣伝すべきではありません。
正確に同等であることは確認されていません。プルリクエストの公開済みマイクロテストではシーケンス長と同時実行数が明示されていますが、SemiAnalysisで強調されたデータポイントの完全なワークロード条件は、ここでは確認できていません。
いいえ。ドラフトの受け入れ率、コンテキスト長、同時実行数、プレフィルのトラフィックが結果に影響します。また、プルリクエスト内の一部の性能テストでは合成した受け入れ値が使われています。結果を一般化する前に、該当するテスト手順を使い、実際のワークロードで評価してください。
NVIDIAがマージしたCuTeDSLによる貢献により、Kimi K3はGB300向けの専用デコード経路を利用できるようになりました。開発者テストでは、明示された条件下で有意なレイテンシー改善が示されています。これとは別に、SemiAnalysisは同一ハードウェア上で1.68倍の改善と423 tok/s/userを報告しています。
数値を示す際は、対象の処理段階と指標を明記してください。ユーザーあたりのデコード・インタラクティビティは、システム全体のスループットでも、汎用的なエンドツーエンドの高速化でもありません。
ひとことから始めて、数分で完全なサイトを手に入れましょう。
