For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ja/articles/priming-convert-transformers-into-faster-f8cc4784.md.
AIエージェントは、より長時間稼働し、より自律的になり、より多くの計算資源を必要とするようになっています。
AIエージェントは、より長時間稼働し、より自律的になり、より多くの計算資源を必要とするようになっています。
基盤となるトランスフォーマーアーキテクチャには、依然として基本的なコストがあります。コンテキストが増大するにつれて、キー・バリューキャッシュも増大するのです。そのため、長時間のエージェントセッション、大規模なコードベース、長い推論トレースは、GPUメモリと推論スループットにますます大きな負荷をかけます。
研究者はこれに対応し、異なる記憶メカニズムを組み合わせるハイブリッドアーキテクチャを増やしてきました。
これには以下が含まれます。
問題は、本格的な規模で新しいアーキテクチャを検証するには、従来はゼロから学習する必要があったことです。
これには数兆トークンと数十万GPU時間が必要になる場合があります。
Amazon Web Servicesの研究者は、論文**「Priming: Hybrid State Space Models From Pre-trained Transformers」**で異なるアプローチを提案しています。
すべてを再学習する代わりに、Primingは既存の事前学習済みトランスフォーマーの知識を新しいハイブリッドアーキテクチャへ転移します。
完全なパイプラインで使用するトークン予算は、元モデルの事前学習トークン予算の0.5%未満です。これにより、アーキテクチャ探索のコストを99%以上削減できます。
研究者はこの手法を、以下を横断して適用しました。
最も優れた長コンテキストサービング結果では、トランスフォーマーの一部をGated KalmaNet状態空間層に置き換えることで、KVキャッシュのフットプリントを削減し、デコードスループットを大幅に高めています。
32Bのプライミング済みハイブリッドは、元のQwen3トランスフォーマーよりも速くAIME精度のしきい値に到達します。
この結果は、単にモデルを高速化するものではありません。
Primingは、アーキテクチャ設計を完全事前学習の問題から、知識転移の問題へと変えます。
Primingが機能する理由を理解するには、まず通常のトランスフォーマーアテンションから始めると役立ちます。
アテンションは、次の3つの学習済み射影を使用します。
各トークンについて、モデルはそのクエリを過去トークンのキーと比較します。
より強く一致するトークンほど、そのバリューが出力に大きく寄与します。
自己回帰型言語モデルは一度に1トークンずつ生成するため、コンテキストは増え続けます。
毎ステップで過去すべてのキーおよびバリュー射影を再計算するのは無駄なので、トランスフォーマーはそれらをKVキャッシュに保存します。
このキャッシュは非常に有用です。
同時に、重要なメモリコストの原因でもあります。
入力シーケンスが長くなるほど、キャッシュは増大します。
短い会話では問題にならないかもしれません。
しかし、128Kトークンの推論実行、長大なコードベース、永続的なエージェントでは、バッチサイズとサービング効率を制約する主要因の一つになります。
Amazonチームは、完全アテンションをエイデティックメモリの一形態として説明しています。
アテンション層は、原理上、コンテキストウィンドウ内に残る任意のトークンの正確な表現を再訪できます。
この逐語的アクセスという性質が、数多くの有用な動作を可能にします。
ただし、すべてのトランスフォーマー層が履歴全体への完全なアクセスを必要とするわけではありません。
一部の層は、主に局所的な操作を行います。
こうした層では、過去を正確に保存する必要はない場合があります。
固定サイズの圧縮状態で十分なことがあります。
著者らはこれをフェーディングメモリと呼んでいます。
したがって、ハイブリッドモデルは役割を分担できます。
| メモリの種類 | 典型的な層 | メモリの振る舞い |
|---|---|---|
| エイデティック | アテンション | 保存された過去トークンへ正確にアクセス。キャッシュはコンテキストとともに増大する |
| フェーディング | 状態空間モデル | 履歴を固定サイズの状態へ圧縮する |
目標は、アテンションを完全に取り除くことではありません。
モデルが実際に恩恵を受ける箇所だけに、高コストなエイデティックメモリを残すことです。
Primingの中心的な洞察は、事前学習済みの知識を、それを最初に学習した厳密なアーキテクチャに縛り付ける必要はないということです。
トランスフォーマーと状態空間モデルは、動作上は異なって見えますが、共通の数学的視点で捉えられます。
どちらも、バリューのシーケンスに混合演算を適用すると理解できます。
アテンション層は、クエリとキーの射影から混合行列を構築します。
状態空間層は、固定次元の再帰状態を通じて関連する形の混合を生成します。
SSMが特定のアテンション層の振る舞いを十分近似できれば、既存トランスフォーマーが学習した構造の多くを再利用できます。
これには、元の層が学習した射影も含まれます。
新しいモデルが主に学習する必要があるのは、状態空間ダイナミクスに固有のパラメータです。
すべてのアテンション層が、変換に同じように適しているわけではありません。
複雑な長距離検索を行う層では、本当に完全なエイデティックアクセスが必要かもしれません。
主に局所的に振る舞う層の方が、はるかに良いSSM候補です。
研究者は、低コストの経験的プロキシを使用します。
性能の変化が非常に小さければ、その層は長距離の正確な想起に大きく依存していない可能性があります。
そのため、固定状態のSSM層に変換する有望な候補となります。
このプロキシは、層の混合行列のハンケルランクと呼ばれる力学系の量に関連しています。
簡単に言えば、ハンケルランクは、層の入出力挙動を正確に再現するのにどれだけの状態が必要かを表します。
時間的な振る舞いがより単純な層は、より小さな状態ボトルネックで表現できることが多いのです。
完全なPrimingパイプラインには、主に3つの段階があります。
大きな品質低下を引き起こさずに、固定サイズの状態表現へ圧縮できるアテンション層を特定します。
長距離の正確な検索を必要とするように見えるアテンション層は維持します。
置換するトランスフォーマー層の重みを用いて、各SSMを初期化します。
次に短い蒸留フェーズを実行し、SSMが元の層の振る舞いを再現できるようにします。
完全なハイブリッドモデルを、次トークン予測または意図するダウンストリームレシピでファインチューニングします。
この段階で、アテンション層とSSM層は一つのモデルとして協調適応できます。
Primingは局所的なアテンション層を選び、その射影をSSM層へ転移し、蒸留によって振る舞いを整列させた後、完全なハイブリッドをファインチューニングします。
プロセス全体で使用するトークンは、元モデルの事前学習トークン予算の0.5%未満です。
これにより、制御されたアーキテクチャ実験が実用的になります。
候補設計ごとに完全な事前学習を行う代わりに、研究者はすべてのバリエーションを同じ強力な事前学習済み初期化から開始できます。
アーキテクチャ変換が低コストになると、別の問いも研究しやすくなります。
データ、学習予算、ハイブリッド比率を一定にした場合、どのSSM層が最も優れているのか？
論文では3つの状態空間設計を比較しています。
Mamba-2は、その状態に対して比較的均一な減衰メカニズムを使用します。
新しい情報が到着すると、モデルは状態を更新する一方、古い情報は薄れていきます。
このメカニズムはシンプルで効率的ですが、忘却プロセスは比較的無差別です。
Gated DeltaNetは、より標的を絞った更新を加えます。
すべてを均一に減衰させる代わりに、特定のキーに関連付けられたバリューを選択的に消去または書き換えられます。
これにより、何を保持するかをより表現力豊かに制御できます。
Gated KalmaNetはさらに進みます。
その更新は現在のキーだけでなく、履歴全体にわたって蓄積された統計にも依存します。
この層は、カルマンフィルタリングに着想を得た反復オンラインリッジ回帰の定式化を基盤としています。
これによりGKAは、新しい情報が状態をどのように更新すべきかを判断する、より履歴認識的なメカニズムを持ちます。
制御された8Bハイブリッド実験では、GKAが概してGDNをリードし、GDNは一貫してMamba-2を上回ります。
実証結果は、理論的な表現力の序列とおおむね一致しています。
GKA > GDN > Mamba-2
長コンテキスト推論タスクでは、圧縮メモリの品質がより重要になるため、その差は大きくなります。
32B規模では、ハイブリッドGKAモデルは、同じデータでポストトレーニングされた同等のトランスフォーマーに対しておよそ1%以内の性能を維持しつつ、KVキャッシュを約半分に抑えます。
より直感に反する発見の一つは、SSMとスライディングウィンドウアテンションの比較から得られます。
スライディングウィンドウアテンションは、最も新しいトークンの正確な表現だけを保持します。
一見すると、これは魅力的に思えます。
ウィンドウ内の情報は圧縮も損失もされないからです。
しかし、このウィンドウは固定スパンより古いすべての情報を捨てます。
SSMはその逆です。
損失を伴う固定サイズの状態に、履歴全体を圧縮します。
著者らは、この損失を伴う全履歴の要約が、しばしばより有効に機能することを発見しました。
アイデアを一文で入力するだけで、We0 AI が紹介サイト、ページ、CMS を生成し、公開後の顧客獲得と流入拡大を支援します。
無料登録で完全なプロジェクトを 1 つ生成
1 つの完全な生成フローを試し、最初のプロジェクトのドラフトをすぐに確認するのに最適です。
SSMベースのハイブリッドは、報告された長コンテキストタスク全体で一貫してスライディングウィンドウハイブリッドを上回ります。
この研究では、すべてのSSMベースのハイブリッドが、長コンテキストベンチマークでSWAの対応モデルを上回りました。
これは、スライディングウィンドウアテンションに状態空間層の約2倍から4倍のメモリを与えた場合でも同様でした。
この結果は、有用な原則を示唆します。
過去全体のコンパクトな要約は、直近の過去だけの完全な記録より役に立つ場合がある。
これは、古いコンテキストに重要な情報が含まれている可能性がある永続的エージェントにとって重要です。たとえそれが直近の情報でなくなっていても同様です。
GKAには、Mamba-2とGDNには同様の形で存在しない別の特性があります。推論時に計算量を変えられることです。
Mamba-2とGDNは、各トークンに対して基本的に同じ計算予算を適用します。
GKAは内部の回帰問題を反復的に解きます。
反復回数はサービング時に変更できます。
再学習は必要ありません。
GKAの反復回数を変えると、モデルはサービング時の速度と精度のフロンティア上を移動します。
論文のAIME 2025実験では、GKAを通常の30反復から10反復へ変更すると、おおよそ次の結果になります。
デコードが約10%高速化
精度は約1%低下
これは、学習済みの単一モデルで異なるレイテンシ階層をサポートできることを意味します。
サービングシステムでは、以下のように使い分けられます。
これにより、推論時の計算量は学習時に固定された特性ではなく、実行時の制御項目になります。
生のトークンスループットは誤解を招くことがあります。
トークンを高速に生成するモデルでも、正答に到達するまでに非常に長い推論トレースが必要なら、全体として時間がかかる可能性があります。
そのため研究者は、目標精度に到達するまでの実時間も測定しています。
同じ推論レシピを用い、32BのGKAプライミング済みハイブリッドを、そのQwen3-32B元モデルと比較しています。
両システムは、同程度の長さの推論トレースを生成します。
ハイブリッドが勝つ理由は、より少ない思考で済むからではありません。
同程度の推論トレースを、より高いスループットで処理できるからです。
現実的な同時実行レベルでは、32Bハイブリッドは目標精度のしきい値に、以下の速度で到達します。
主な理由はメモリです。
アテンション層の半分を固定状態SSM層で置き換えると、シーケンスあたりのKVキャッシュ負荷はおよそ半分になります。
これにより、サービングシステムは同じハードウェア上でより多くのシーケンスを同時に実行できます。
コンテキストが長くなり、KVキャッシュの負荷が増すほど、スループット上の優位性は大きくなります。
10回のGKA反復を使用する32Bモデルでは、報告されたデコードスループットの向上はおおよそ次のとおりです。
| コンテキスト長 | 元のトランスフォーマー比の高速化 |
|---|---|
| 16K | 1.50倍 |
| 32K | 1.59倍 |
| 64K | 1.95倍 |
| 128K | 2.06倍 |
8Bモデルではさらに大きな向上が見られ、16Kで約1.94倍から、128Kでは2.29倍まで上昇します。
そのため、論文のarXiv要旨では、より広い結果を最大約2.3倍高いデコードスループットと要約しています。
スループットの向上は、強化学習のポストトレーニングでも重要になり得ます。
ポリシーが単位時間あたりにより多くのロールアウトを生成できれば、学習パイプラインは同じGPU予算でより多くの有用な軌跡を収集できます。
Amazonは、テスト条件下でRL学習データレートが20%から100%増加したと報告しています。
これはRLアルゴリズム自体を変えるものではありません。
RLプロセスが必要とするデータを、モデルがどれだけ速く生成できるかを変えるものです。
公開されたハイブリッドモデルは、速度だけに最適化されているわけではありません。
論文では、推論品質についても元のQwen3トランスフォーマーと比較しています。
プライミング済みGKAハイブリッドは、報告された推論ベンチマークで元のトランスフォーマーと競争力を維持するか、それを上回ります。
論文のarXiv要旨によると、32BのGKAハイブリッドは、元のQwen3-32Bチェックポイントに対して平均推論スコアを3.8ポイント改善しつつ、同じデータでポストトレーニングされたトランスフォーマーの1%以内に収まっています。
重要な方法論上の点は、このハイブリッドアーキテクチャが、独立した完全事前学習後に評価されているわけではないことです。
既存モデルから知識の大半を継承し、比較的少量のアラインメントおよび適応学習だけを受けています。
プライミング済みハイブリッドは、ネイティブで128Kトークンをサポートします。
しかし、実際のエージェントセッション、大規模リポジトリ、長大な法務文書や技術文書は、これを超えることがあります。
通常、コンテキストの拡張には別の長コンテキスト学習が必要になる可能性があります。
研究者は代わりに、以前のPICASO研究のアイデアを応用しています。
純粋なトランスフォーマーでは、YaRNのような位置スケーリング手法を使用できます。
純粋なSSMでは、再帰状態を合成できます。
ハイブリッドモデルには、両方があります。
両方のメモリシステムを同時に拡張しなければなりません。
提案された手法は次のとおりです。
長い入力は独立したチャンクとして処理されます。アテンションキャッシュは連結され、SSM状態はマージされます。
これにより、プライミング済みハイブリッドモデルは次のように拡張されます。
128Kのネイティブコンテキスト
↓
256Kの合成コンテキスト
追加学習は必要ありません。
論文では、以下において十分な精度が保持されることが報告されています。
拡張後も同じ表現力の序列が確認できます。
GKA > GDN > Mamba-2
Primingの主要な価値は、単一のベンチマークを超えるものかもしれません。
Priming以前は、新しいハイブリッドアーキテクチャを大規模に評価するには、完全な事前学習実行が必要になる場合がありました。
そのため、次のような問いは非常に高コストでした。
Primingは、すべての候補が同じ事前学習済み基盤から始められるため、これらの実験を大幅に低コスト化します。
Amazonは実装を、Apache 2.0ライセンスの下でHybrid Model Factoryとして公開しました。
公開内容には次が含まれます。
リポジトリは現在、Qwen、Llamaファミリー、Mistralファミリー、高密度アーキテクチャ、MoEバリアントを含む、複数の事前学習済みトランスフォーマーファミリーとモデルクラスをサポートしています。
長コンテキストサービングにおける実務上の考え方は、シンプルです。
正確な想起が重要な場所にはアテンションを残す
+
不要な場所には固定状態メモリを使う
↓
KVキャッシュを小さくする
↓
同時実行シーケンスを増やす
↓
スループットを高める
アーキテクチャ研究における利点は異なります。
強力な事前学習済みトランスフォーマー
↓
多数のハイブリッドバリアントを低コストでプライミングする
↓
制御された条件下でアーキテクチャを比較する
共通するテーマは、メモリアーキテクチャが変わっても、知識は再利用できるということです。
Primingは、事前学習済みトランスフォーマーから新しいハイブリッドAttention-SSMアーキテクチャを初期化する手法です。モデル知識のすべてをゼロから再学習する代わりに、既存の重みを転移し、置換SSM層を整列させた後、短いエンドツーエンド適応を実行します。
論文によると、完全なPrimingパイプラインで必要な量は、元モデルの事前学習トークン予算の0.5%未満です。これは、新しいアーキテクチャをゼロから開始する場合と比べ、事前学習規模のデータ要件を99%以上削減することに相当します。
いいえ。この手法はハイブリッドモデル向けに設計されています。正確な長距離検索が有用な箇所にはアテンション層を残し、圧縮されたフェーディングメモリで十分な選択層を固定状態SSM層で置き換えます。
制御された実験では、Gated KalmaNetが概して最も高い性能を示し、次いでGated DeltaNet、Mamba-2の順でした。この差は、長コンテキスト推論タスクでより重要になります。
報告された向上幅は、モデルサイズ、コンテキスト長、GKAの反復回数によって異なります。32Bモデルでは、10回のGKA反復で128Kコンテキストにおけるデコードスループットが元のトランスフォーマーの約2.06倍に達し、8Bモデルでは最大約2.29倍に達します。
Priming自体はハイブリッドモデルを構築する手法であり、別のハイブリッド状態合成手法によって追加学習なしでコンテキストを拡張できます。論文では、アテンションKVキャッシュとSSM状態を合成することで、ネイティブ128Kコンテキストから256Kへ拡張することを実証しています。
はい。Amazonは、学習コード、モデルチェックポイント、最適化カーネル、シーケンス並列ツール、およびvLLMサービングプラグインとともに、Hybrid Model FactoryをApache 2.0ライセンスで公開しました。
はい。Hybrid Model Factoryには、カスタムハイブリッドアーキテクチャを本番環境でサービングするためのvLLMプラグインが含まれています。リポジトリでは、継続的バッチ処理、テンソル並列化、プレフィックスキャッシュ、Dockerベースのデプロイメントについて説明しています。
Primingは、ハイブリッドモデル研究を完全事前学習の問題から知識転移の問題へ変えます。既存のトランスフォーマーの重みを出発点とし、選択したアテンション層をSSM層へ変換し、短いアラインメントと適応プロセスによって、元の事前学習トークン予算の0.5%未満でモデル品質を回復します。
得られるハイブリッドは、正確な想起が有用な箇所にアテンションを残しながら、KVキャッシュの負荷を低減します。報告された実験では、Gated KalmaNetが最も強いフェーディングメモリ性能を示し、実行時の速度と精度の制御を可能にし、大きな長コンテキストスループット向上を実現します。
同じアーキテクチャは、ネイティブの学習ウィンドウを超えて拡張することもできます。状態合成では、アテンションキャッシュと再帰SSM状態を組み合わせることで、追加学習なしに128Kハイブリッドを256Kへ拡張します。
重要な考え方はシンプルです。モデルが学習した知識は、それを最初に学習したアーキテクチャに固定される必要はありません。
ひとことから始めて、数分で完全なサイトを手に入れましょう。
