For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/zh-HK/articles/priming-convert-transformers-into-faster-f8cc4784.md.
AI Agent 的運行時間愈來愈長、自主性愈來愈高，對運算資源的需求也愈來愈大。
底層的 Transformer 架構仍存在一項基本成本：隨著上下文增長，鍵值快取（key-value cache，KV cache）也會隨之擴大。因此，長時間的 Agent 工作階段、大型程式碼庫與延長的推理軌跡，正對 GPU 記憶體與推論吞吐量造成愈來愈大的壓力。
研究人員因此提出一系列持續增長的混合式架構，結合不同的記憶機制。
其中包括：
問題在於，若要以嚴謹規模測試新架構，傳統上通常必須從頭開始訓練。
這可能需要數兆個詞元及數十萬 GPU 小時。
Amazon Web Services 的研究人員在論文 **「Priming: Hybrid State Space Models From Pre-trained Transformers」**中提出了不同的方法。
Priming 並非重新學習一切，而是將既有預訓練 Transformer 的知識遷移至新的混合式架構。
完整流程所使用的詞元預算，不到來源模型原始預訓練詞元預算的 0.5%，使架構探索成本降低超過 99%。
研究人員將此方法應用於：
在最強的長上下文服務結果中，將部分 Transformer 替換為 Gated KalmaNet 狀態空間層，可降低 KV 快取占用量，並顯著提升解碼吞吐量。
一個 32B 的 Priming 混合模型，比其來源 Qwen3 Transformer 更快達到 AIME 準確率門檻。
這項成果不只是更快的模型。
Priming 將架構設計轉變為知識遷移問題，而不再是完整預訓練問題。
要理解 Priming 為何有效，先從一般 Transformer 注意力開始會很有幫助。
注意力使用三個已學習的投影：
對每個詞元而言，模型會將其查詢與過去詞元的鍵進行比較。
匹配程度較高的詞元，會將更多自身的值貢獻給輸出結果。
由於自回歸語言模型一次生成一個詞元，上下文會持續增長。
在每一步重新計算所有過去的鍵與值投影會造成浪費，因此 Transformer 會將它們儲存在 KV 快取中。
這個快取非常有用。
它同時也是一項重要記憶體成本的來源。
輸入序列愈長，快取就愈大。
對短對話來說，這或許仍可控。
但對於 128K 詞元的推理運行、長程式碼庫或持續運作的 Agent，它會成為批次大小與服務效率的主要限制之一。
Amazon 團隊將完整注意力描述為一種全像記憶（eidetic memory）。
原則上，注意力層可以重新存取仍位於上下文視窗內任一詞元的精確表徵。
這種逐字存取特性使許多實用能力成為可能：
但並非每一個 Transformer 層都需要完整存取全部歷史。
有些層主要執行局部操作：
對於這些層而言，儲存精確的過去可能並非必要。
固定大小的壓縮狀態就可能足夠。
作者將其稱為衰減記憶（fading memory）。
因此，混合模型可分配不同工作：
| 記憶類型 | 典型層 | 記憶行為 |
|---|---|---|
| 全像記憶 | 注意力 | 精確存取已儲存的過去詞元；快取隨上下文增長 |
| 衰減記憶 | 狀態空間模型 | 將歷史壓縮為固定大小的狀態 |
目標並不是完全移除注意力。
而是僅在模型確實受益的地方保留昂貴的全像記憶。
Priming 背後的核心洞見是，預訓練知識不必與最初學得該知識的特定架構綁定。
Transformer 與狀態空間模型在運作上不同，但可以透過共同的數學視角理解。
兩者都可以被視為對一系列值套用混合操作（mixing operation）。
注意力層會根據其查詢與鍵投影構建混合矩陣。
狀態空間層則透過固定維度的循環狀態，產生相關形式的混合。
若 SSM 能夠足夠接近地近似特定注意力層的行為，既有 Transformer 的大部分已學習結構便能被重用。
這包括來源層已學得的投影。
新模型接著主要只需要學習狀態空間動態所特有的參數。
並非每個注意力層都同樣適合轉換。
執行複雜長距離檢索的層，可能確實需要完整的全像存取能力。
主要呈現局部行為的層，則是更好的 SSM 候選對象。
研究人員使用一項低成本的實證代理指標：
若效能幾乎沒有改變，該層可能不太依賴長距離的精確回憶。
這使其成為轉換為固定狀態 SSM 層的理想候選。
此代理指標與動態系統中的一項量——該層混合矩陣的 Hankel 秩——相關。
簡單來說，Hankel 秩反映了精確重現某層輸入輸出行為所需的狀態量。
具有較簡單時間行為的層，通常可以用更小的狀態瓶頸表示。
完整的 Priming 流程分為三個主要階段。
找出可壓縮為固定大小狀態表徵、且不會造成顯著品質損失的注意力層。
看似需要長距離精確檢索的注意力層則予以保留。
使用被替換之 Transformer 層的權重，初始化每個替代 SSM。
接著執行短暫的蒸餾階段，使 SSM 學習重現原始層的行為。
在下一詞元預測或目標下游訓練配方上，微調完整混合模型。
此時，注意力與 SSM 層能作為單一模型共同調適。
Priming 選擇局部注意力層，將其投影遷移至 SSM 層，透過蒸餾對齊行為，然後微調完整混合模型。
整個過程消耗的詞元預算不到來源模型原始預訓練詞元預算的 0.5%。
這使受控架構實驗成為可行之事。
研究人員不必為每個候選設計進行完整預訓練，而能從相同的強大預訓練初始化出發，測試每個變體。
當架構轉換變得低成本後，另一個問題也更容易研究：
在資料、訓練預算與混合比例皆保持不變時，哪一種 SSM 層表現最佳？
論文比較了三種狀態空間設計。
Mamba-2 對其狀態採用相對一致的衰減機制。
當新資訊進入時，模型會更新狀態，同時讓較舊資訊衰減。
此機制簡單且高效，但遺忘過程相對不具選擇性。
Gated DeltaNet 新增了更有針對性的更新機制。
它不是讓所有內容一致衰減，而是可以選擇性地抹除或重寫與特定鍵相關聯的值。
這使其對保留內容具備更強的表達控制能力。
Gated KalmaNet 更進一步。
其更新不僅取決於目前鍵，也取決於跨歷史累積的統計資料。
該層建構於受 Kalman filtering 啟發的迭代式線上 ridge-regression 公式之上。
這使 GKA 在決定新資訊應如何更新狀態時，具備更能感知歷史的機制。
在受控的 8B 混合實驗中，GKA 整體領先 GDN，而 GDN 又持續優於 Mamba-2。
實證結果大致符合理論上的表達能力排序：
GKA > GDN > Mamba-2
在長上下文推理任務上，差異會更為明顯，因為壓縮記憶的品質變得更加重要。
在 32B 規模下，混合 GKA 模型與使用相同資料後訓練的可比較 Transformer 相差約 1% 以內，同時使用約一半的 KV 快取。
其中一項較違反直覺的發現，來自 SSM 與滑動視窗注意力的比較。
滑動視窗注意力僅保留最新詞元的精確表徵。
乍看之下，這似乎很有吸引力。
視窗內的內容不會被壓縮或遺失。
但視窗會丟棄固定跨度以前的所有內容。
SSM 則正好相反。
它會將完整歷史壓縮至有損的固定大小狀態。
作者發現，這種有損的全歷史摘要往往效果更好。
輸入一句想法，We0 AI 即可生成展示站、頁面與 CMS。發佈上線後並幫你獲取客戶和流量。
用戶註冊贈送一次完整項目生成
適合先體驗一次完整生成流程，快速看到專案初稿。
在報告中的各項長上下文任務上，基於 SSM 的混合模型持續優於滑動視窗混合模型。
研究中的每個基於 SSM 的混合模型，在長上下文基準測試中都優於相對應的 SWA 模型。
即使滑動視窗注意力獲得約為狀態空間層 兩到四倍 的記憶體，結果仍然如此。
這項結果提出了一個有用原則：
整個過去的緊湊摘要，可能比只記錄近期過去的完美紀錄更有用。
這對持續運作的 Agent 很重要，因為較早的上下文即使已不再是近期內容，仍可能包含關鍵資訊。
GKA 還有一項 Mamba-2 與 GDN 無法以相同方式提供的特性：推論時的可變運算量。
Mamba-2 與 GDN 對每個詞元基本採用相同的運算預算。
GKA 則以迭代方式求解內部回歸問題。
其迭代次數可在服務時變更。
不需要重新訓練。
改變 GKA 的迭代次數，可讓模型在服務期的速度與準確率權衡前緣上移動。
在論文的 AIME 2025 實驗中，將 GKA 從通常的 30 次迭代改為 10 次，大約可得到：
約快 10% 的解碼速度
約 1% 的準確率損失
這表示一個訓練完成的模型可以支援不同的延遲等級。
服務系統可以採用：
這讓推論投入成為執行期控制項，而非訓練階段固定的特性。
單純的詞元吞吐量可能產生誤導。
一個快速生成詞元的模型，若需要長得多的推理軌跡才能得到正確答案，最終仍可能花費更長時間。
因此，研究人員也測量了達到目標準確率的實際時間。
他們使用相同的推理配方，比較一個 32B GKA-Priming 混合模型與其 Qwen3-32B 來源模型。
兩個系統產生的推理軌跡長度相近：
混合模型的勝出並非因為它思考得更少。
而是因為它可以以更高吞吐量處理這些相近的推理軌跡。
在符合實際情況的並行程度下，32B 混合模型達到目標準確率門檻的速度：
主要原因是記憶體。
將一半的注意力層替換為固定狀態 SSM 層，約可將每序列的 KV 快取負擔減半。
這讓服務系統能在相同硬體上同時執行更多序列。
隨著上下文變長、KV 快取壓力增大，吞吐量優勢也會提升。
對使用 10 次 GKA 迭代的 32B 模型而言，報告中的解碼吞吐量提升約為：
| 上下文長度 | 相較於來源 Transformer 的加速比 |
|---|---|
| 16K | 1.50× |
| 32K | 1.59× |
| 64K | 1.95× |
| 128K | 2.06× |
8B 模型展現了更大的增益，從 16K 時約 1.94× 上升至 128K 時的 2.29×。
因此，論文的 arXiv 摘要將整體結果概括為最高約 2.3× 更高的解碼吞吐量。
吞吐量提升也可能影響強化學習後訓練。
若策略能在單位時間內生成更多 rollout，訓練流程就能以相同 GPU 預算收集更多有用的軌跡。
Amazon 報告指出，在測試條件下，RL 訓練資料速率提高了 20% 到 100%。
這並不會改變 RL 演算法本身。
它改變的是模型生成 RL 流程所需資料的速度。
已發布的混合模型不只是針對速度最佳化。
論文也將其推理品質與來源 Qwen3 Transformer 進行比較。
Priming GKA 混合模型在報告的推理基準測試中，保持與來源 Transformer 相當的競爭力，或優於來源 Transformer。
論文的 arXiv 摘要指出，32B GKA 混合模型相較其來源 Qwen3-32B checkpoint，平均推理分數提升 3.8 分；同時，與以相同資料後訓練的 Transformer 相比，仍維持在 1% 差距以內。
重要的方法論重點是，混合架構並非在獨立的完整預訓練後才被評估。
它從既有模型繼承大部分知識，只接受相對少量的對齊與調適訓練。
Priming 後的混合模型原生支援 128K 詞元。
但實際的 Agent 工作階段、大型儲存庫，以及長篇法律或技術文件，都可能超過這個長度。
通常，延伸上下文可能需要再進行一輪長上下文訓練。
研究人員改為調整其早期 PICASO 工作中的概念。
純 Transformer 可使用如 YaRN 的位置縮放方法。
純 SSM 可以組合循環狀態。
混合模型同時具備：
這兩種記憶系統都必須一併延伸。
提出的方法如下：
長輸入會作為獨立區塊處理；注意力快取會被串接，SSM 狀態則會被合併。
這使 Priming 混合模型能從：
128K 原生上下文
↓
256K 組合式上下文
延伸至更長上下文，且無須額外訓練。
論文指出，在以下任務上保留了可觀的準確率：
相同的表達能力排序在延伸後依然可見：
GKA > GDN > Mamba-2
Priming 的主要價值，可能超越任何單一基準測試。
在 Priming 之前，要以大規模評估新的混合架構，可能需要一次完整預訓練。
這使下列問題的研究成本極高：
Priming 讓這些實驗的成本大幅降低，因為每個候選模型都能從相同的預訓練基礎開始。
Amazon 已將實作以 Apache 2.0 License 發布為 Hybrid Model Factory。
此發布內容包括：
該儲存庫目前支援多種預訓練 Transformer 系列與模型類別，包括 Qwen、Llama 系列模型、Mistral 系列模型、稠密架構與 MoE 變體。
對長上下文服務來說，實務上的概念很直接：
在精確回憶重要的地方保留注意力
+
在不需要精確回憶的地方使用固定狀態記憶
↓
更小的 KV 快取
↓
更多並行序列
↓
更高的吞吐量
對架構研究而言，效益則不同：
強大的預訓練 Transformer
↓
以低成本 Priming 多種混合變體
↓
在受控條件下比較架構
共同主題是：即使記憶架構改變，知識仍可被重用。
Priming 是一種從預訓練 Transformer 初始化新混合式注意力—SSM 架構的方法。它不會從頭重新學習所有模型知識，而是遷移既有權重、對齊替代 SSM 層，然後進行短暫的端到端調適。
論文指出，完整 Priming 流程使用的詞元預算不到來源模型原始預訓練詞元預算的 0.5%。相較於從頭開始訓練新架構，這相當於預訓練規模資料需求減少超過 99%。
不會。此方法專為混合模型設計。它會在精確長距離檢索有用的地方保留注意力層，並在壓縮式衰減記憶已足夠的地方，以固定狀態 SSM 層替換選定層。
在受控實驗中，Gated KalmaNet 的整體表現最佳，其次是 Gated DeltaNet，再來是 Mamba-2。在長上下文推理任務上，這項差距更為重要。
報告的增益取決於模型大小、上下文長度與 GKA 迭代次數。對 32B 模型而言，在 128K 上下文且使用 10 次 GKA 迭代時，解碼吞吐量約為來源 Transformer 的 2.06×；8B 模型最高可達約 2.29×。
Priming 本身用於建立混合模型；另一種獨立的混合狀態組合方法，可在無須額外訓練下延伸其上下文。論文展示了透過組合注意力 KV 快取與 SSM 狀態，將原生 128K 上下文延伸至 256K。
是。Amazon 已依 Apache 2.0 License 發布 Hybrid Model Factory，其中包含訓練程式碼、模型 checkpoints、最佳化 kernels、序列平行工具與 vLLM 服務外掛程式。
可以。Hybrid Model Factory 包含一個 vLLM 外掛程式，專為其自訂混合架構的生產服務而設計。儲存庫文件說明了連續批次處理、張量平行、前綴快取與以 Docker 為基礎的部署。
Priming 將混合模型研究從完整預訓練問題，轉變為知識遷移問題。既有 Transformer 權重提供起點，選定的注意力層會被轉換為 SSM 層，而短暫的對齊與調適流程能以不到原始預訓練詞元預算 0.5% 的成本恢復模型品質。
產生的混合模型可降低 KV 快取壓力，同時在精確回憶有用的地方保留注意力。在報告的實驗中，Gated KalmaNet 提供最強的衰減記憶結果，具備執行期速度與準確率控制能力，並帶來顯著的長上下文吞吐量增益。
相同架構也可被推進至超出其原生訓練視窗的範圍：狀態組合透過結合注意力快取與循環 SSM 狀態，可在無須額外訓練下將 128K 混合模型延伸至 256K。
核心概念很簡單：模型學得的知識，不必被鎖定在最初學得它的架構之中。
從一句話開始，幾分鐘內拿到完整網站。
