For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/zh/articles/priming-convert-transformers-into-faster-f8cc4784.md.
AI 智能体正变得运行时间更长、自主性更高，也更消耗计算资源。
底层的 Transformer 架构仍然存在一项基础成本：随着上下文增长，键值缓存（KV cache）也会随之增长。因此，长时间运行的智能体会话、大型代码库和延展的推理轨迹，都会给 GPU 内存和推理吞吐量带来越来越大的压力。
研究人员对此提出了一个不断扩展的混合架构家族，将不同的记忆机制结合起来。
其中包括：
问题在于，以严肃的规模测试新架构，传统上意味着要从头训练。
这可能需要数万亿 token 和数十万 GPU 小时。
Amazon Web Services 的研究人员在论文 “Priming: Hybrid State Space Models From Pre-trained Transformers” 中提出了一种不同的方法。
Priming 并非重新学习一切，而是将现有预训练 Transformer 中的知识迁移到新的混合架构中。
完整流程使用的 token 数不足源模型原始预训练 token 预算的 0.5%，将架构探索成本降低了超过 99%。
研究人员将该方法应用于以下模型和系统：
在最强的长上下文服务结果中，用 Gated KalmaNet 状态空间层替换部分 Transformer，可显著降低 KV 缓存占用并提升解码吞吐量。
经 Priming 的 320 亿参数混合模型，比其源 Qwen3 Transformer 更快达到 AIME 准确率阈值。
这项成果不只是让模型更快。
Priming 将架构设计从一个完整预训练问题转变为一个知识迁移问题。
要理解 Priming 为什么有效，先从普通 Transformer 注意力开始会更容易。
注意力使用三个学习到的投影：
对于每个 token，模型会将它的查询与过去 token 的键进行比较。
匹配更强的 token 会向输出贡献更多自己的值。
由于自回归语言模型一次生成一个 token，上下文会持续增长。
在每一步都重新计算过去所有键和值的投影会造成浪费，因此 Transformer 会将它们存储在KV 缓存中。
这一缓存非常有用。
但它也是一项重要内存成本的来源。
随着输入序列变长，缓存也会增长。
对于短对话，这可能尚可管理。
但对于 128K token 的推理运行、长代码库或持续运行的智能体，它会成为限制批处理规模和服务效率的主要因素之一。
Amazon 团队将完整注意力描述为一种映像记忆（eidetic memory）。
原则上，注意力层可以重新访问仍在上下文窗口内任意 token 的精确表示。
这种逐字访问特性使许多实用能力成为可能：
但并非每个 Transformer 层都需要完全访问整个历史记录。
一些层主要执行局部操作：
对于这些层，存储精确的过去可能并不必要。
固定大小的压缩状态可能已经足够。
作者将其称为衰减记忆（fading memory）。
因此，混合模型可以分配不同工作：
| 记忆类型 | 典型层 | 记忆行为 |
|---|---|---|
| 映像记忆 | 注意力 | 精确访问已存储的历史 token；缓存随上下文增长 |
| 衰减记忆 | 状态空间模型 | 将历史压缩为固定大小的状态 |
目标不是完全移除注意力。
而是只在模型确实能够从中受益的地方保留昂贵的映像记忆。
Priming 背后的核心洞见是，预训练知识不必被绑定在最初学习它的确切架构上。
Transformer 和状态空间模型在操作上看起来不同，但可以通过一个共同的数学视角来理解。
两者都可以被视为对一系列值执行混合操作。
注意力层通过其查询和键投影构造混合矩阵。
状态空间层则通过固定维度的循环状态，产生一种相关形式的混合。
如果 SSM 能够足够接近地近似某个特定注意力层的行为，现有 Transformer 的大部分已学习结构就可以复用。
其中包括源层已经学习到的投影。
新模型主要只需学习状态空间动态所特有的参数。
并非每个注意力层都同样适合转换。
执行复杂长程检索的层，可能确实需要完整的映像访问能力。
主要表现为局部行为的层，则是更适合 SSM 的候选对象。
研究人员使用了一种低成本的经验代理方法：
如果性能变化很小，该层可能并不高度依赖远距离精确回忆。
这使其成为转换为固定状态 SSM 层的有前景候选对象。
该代理指标与一个称为该层混合矩阵**汉克尔秩（Hankel rank）**的动力系统量相关。
通俗地说，汉克尔秩描述了要精确复现该层输入输出行为所需的状态量。
具有较简单时间行为的层，通常可以用更小的状态瓶颈来表示。
完整的 Priming 流程包含三个主要阶段。
识别可以被压缩为固定大小状态表示、且不会造成较大质量损失的注意力层。
那些看起来需要长程精确检索的注意力层会被保留。
使用被替换 Transformer 层的权重来初始化每个替换 SSM。
随后运行一个简短的蒸馏阶段，让 SSM 学习复现原始层的行为。
在下一个 token 预测任务或目标下游训练方案上，微调整个混合模型。
在这一阶段，注意力层和 SSM 层可以作为同一个模型共同适配。
Priming 选择局部注意力层，将其投影迁移至 SSM 层，通过蒸馏对齐行为，然后微调整个混合模型。
整个过程消耗的 token 数不足源模型原始预训练 token 预算的 0.5%。
这使受控架构实验变得切实可行。
研究人员无需为每种候选设计投入一次完整预训练，而是可以让每个变体都从同一个强大的预训练初始化开始。
一旦架构转换成本降低，另一个问题也更容易研究：
如果数据、训练预算和混合比例保持不变，哪一种 SSM 层效果最好？
论文比较了三种状态空间设计。
Mamba-2 在其状态上使用相对统一的衰减机制。
当新信息到来时，模型更新状态，同时旧信息会逐渐衰减。
这种机制简单且高效，但遗忘过程相对缺乏区分性。
Gated DeltaNet 增加了更有针对性的更新。
它不会统一地衰减所有内容，而是可以选择性地擦除或重写与特定键关联的值。
这使它对保留内容拥有更强的表达控制能力。
Gated KalmaNet 更进一步。
它的更新不仅取决于当前键，还取决于历史上累积的统计信息。
该层围绕受卡尔曼滤波启发的迭代在线岭回归公式构建。
这使 GKA 在决定新信息应如何更新状态时，具有更了解历史的机制。
在受控的 80 亿参数混合实验中，GKA 通常领先于 GDN，而 GDN 又始终优于 Mamba-2。
经验结果大致符合理论表达能力的排序：
GKA > GDN > Mamba-2
在长上下文推理任务上，这种差异会进一步扩大，因为压缩记忆的质量变得更为重要。
在 320 亿参数规模上，混合 GKA 模型与在相同数据上后训练的可比 Transformer 相比，性能差距保持在约 1% 以内，同时使用约一半的 KV 缓存。
更具反直觉的发现之一，来自 SSM 与滑动窗口注意力的比较。
滑动窗口注意力只保留最近 token 的精确表示。
乍看之下，这似乎很有吸引力。
窗口内的任何内容都不会被压缩或丢失。
但窗口会丢弃超出其固定范围的所有旧内容。
SSM 则恰好相反。
它会将完整历史压缩为有损的固定大小状态。
作者发现，这种有损的全历史摘要通常效果更好。
输入一句想法，We0 AI 即可生成展示站、页面与 CMS。发布上线后并帮你获取客户和流量。
用户注册赠送一次完整项目生成
适合先体验一次完整生成流程，快速看到项目初稿。
在报告的各项长上下文任务中，基于 SSM 的混合模型始终优于滑动窗口混合模型。
研究中的每个基于 SSM 的混合模型，在长上下文基准测试中都优于其 SWA 对应模型。
即使滑动窗口注意力获得的内存大约是状态空间层的两到四倍，这一结果仍然成立。
这一结果表明了一个有用的原则：
对整个过去的紧凑摘要，可能比只对最近过去进行完美记录更有用。
这对于持续运行的智能体尤为重要，因为即使旧上下文已不再接近当前时刻，其中仍可能包含重要信息。
GKA 还具备 Mamba-2 和 GDN 无法以相同方式提供的一项属性：推理时的可变计算量。
Mamba-2 和 GDN 本质上会为每个 token 应用相同的计算预算。
GKA 则以迭代方式求解一个内部回归问题。
迭代次数可以在服务时改变。
无需重新训练。
改变 GKA 的迭代次数，会让模型沿着服务时的速度与准确率权衡前沿移动。
在论文的 AIME 2025 实验中，将 GKA 从常规的 30 次迭代改为 10 次迭代，大致会带来：
解码速度提高约 10%
准确率损失约 1%
这意味着一个训练好的模型可以支持不同的延迟等级。
服务系统可以使用：
这使推理工作量成为运行时控制项，而不是训练期间固定的属性。
原始 token 吞吐量可能会产生误导。
如果一个模型需要更长的推理轨迹才能得到正确答案，即使它生成 token 很快，也可能需要更长时间。
因此，研究人员还测量了达到目标准确率的实际耗时。
他们使用相同的推理方案，将一个经 GKA Priming 的 320 亿参数混合模型与其 Qwen3-32B 源模型进行比较。
两个系统生成的推理轨迹长度相近：
混合模型并非通过更少地思考来获胜。
它取胜是因为能够以更高的吞吐量处理这些可比的推理轨迹。
在现实的并发水平下，320 亿参数混合模型达到目标准确率阈值的速度为：
主要原因是内存。
用固定状态 SSM 层替换一半注意力层，可将每个序列的 KV 缓存负担大致减半。
这使服务系统能够在同样的硬件上并发运行更多序列。
随着上下文变长、KV 缓存压力增大，吞吐量优势也会扩大。
对于使用 10 次 GKA 迭代的 320 亿参数模型，报告的解码吞吐量提升约为：
| 上下文长度 | 相对于源 Transformer 的加速比 |
|---|---|
| 16K | 1.50× |
| 32K | 1.59× |
| 64K | 1.95× |
| 128K | 2.06× |
80 亿参数模型表现出更大的提升，从 16K 时的约 1.94× 上升至 128K 时的 2.29×。
因此，论文的 arXiv 摘要将更广泛的结果概括为：解码吞吐量最高可提升约 2.3×。
吞吐量提升同样可能影响强化学习后训练。
如果策略可以在单位时间内生成更多轨迹，训练流水线就能在相同 GPU 预算下收集更多有效轨迹。
Amazon 报告称，在测试条件下，强化学习训练数据速率提高了 20% 到 100%。
这不会改变强化学习算法本身。
它改变的是模型生成强化学习过程所需数据的速度。
发布的混合模型并非只为速度优化。
论文还将其推理质量与源 Qwen3 Transformer 进行了比较。
在报告的推理基准测试中，经 Priming 的 GKA 混合模型保持了与源 Transformer 相当的竞争力，或表现得更好。
论文的 arXiv 摘要报告称，320 亿参数 GKA 混合模型相较其源 Qwen3-32B 检查点，平均推理得分提高了 3.8 分；同时，与在相同数据上后训练的 Transformer 相比，性能差距仍在 1% 以内。
重要的方法论要点在于，混合架构并不是在独立完成一次完整预训练后才被评估。
它从现有模型中继承了大部分知识，只接受了相对少量的对齐和适配训练。
经 Priming 的混合模型原生支持 128K token。
但现实中的智能体会话、大型代码仓库以及较长的法律或技术文档，可能超出这一范围。
通常，扩展上下文可能需要再进行一轮长上下文训练。
研究人员则采用了其早期 PICASO 工作中的一个思路。
纯 Transformer 可以使用 YaRN 等位置缩放方法。
纯 SSM 可以组合循环状态。
混合模型则同时具有：
两种记忆系统都必须一起扩展。
提出的方法如下：
长输入被处理为独立块；注意力缓存被拼接，SSM 状态被合并。
这会将经 Priming 的混合模型从：
128K 原生上下文
↓
256K 组合上下文
扩展至 256K，且无需额外训练。
论文报告称，在以下任务上保留了较高准确率：
扩展后仍可观察到同样的表达能力排序：
GKA > GDN > Mamba-2
Priming 的主要价值可能比任何单一基准测试更广泛。
在 Priming 出现之前，以大规模评估一种新的混合架构，可能需要完整的预训练运行。
这使以下问题的研究成本极高：
Priming 使这些实验的成本大幅降低，因为每种候选方案都可以从同一个预训练基础开始。
Amazon 已以 Apache 2.0 许可证发布实现，名称为 Hybrid Model Factory。
该发布包括：
该仓库目前支持多个预训练 Transformer 家族和模型类别，包括 Qwen、Llama 系列模型、Mistral 系列模型、稠密架构和 MoE 变体。
对于长上下文服务，其实用思路很直接：
在精确回忆重要之处保留注意力
+
在不需要精确回忆之处使用固定状态记忆
↓
更小的 KV 缓存
↓
更多并发序列
↓
更高吞吐量
对于架构研究，其收益则不同：
强大的预训练 Transformer
↓
低成本地为众多混合变体执行 Priming
↓
在受控条件下比较架构
共同主题在于：即使记忆架构发生变化，知识仍可以被复用。
Priming 是一种从预训练 Transformer 初始化新混合注意力–SSM 架构的方法。它不会从头重新学习所有模型知识，而是迁移现有权重，对替换的 SSM 层进行对齐，然后进行简短的端到端适配。
论文报告称，完整 Priming 流程使用的 token 数不足源模型原始预训练 token 预算的 0.5%。与从头开始训练新架构相比，这相当于将预训练规模的数据需求降低了 99% 以上。
不会。该方法专为混合模型设计。它会在精确长程检索有用的地方保留注意力层，并在压缩的衰减记忆已足够的地方，用固定状态 SSM 层替换选定层。
在受控实验中，Gated KalmaNet 通常表现最佳，其次是 Gated DeltaNet，最后是 Mamba-2。在长上下文推理任务中，这一差距会变得更重要。
报告的提升取决于模型大小、上下文长度和 GKA 迭代次数。对于 320 亿参数模型，在使用 10 次 GKA 迭代时，128K 上下文下的解码吞吐量达到源 Transformer 的约 2.06×；80 亿参数模型最高可达约 2.29×。
Priming 本身用于构建混合模型，而另一种混合状态组合方法可以在无需额外训练的情况下扩展其上下文。论文演示了通过组合注意力 KV 缓存和 SSM 状态，将原生 128K 上下文扩展到 256K。
是的。Amazon 以 Apache 2.0 许可证发布了 Hybrid Model Factory，其中包括训练代码、模型检查点、优化内核、序列并行工具和 vLLM 服务插件。
可以。Hybrid Model Factory 包含一个 vLLM 插件，专为其自定义混合架构的生产服务而设计。仓库文档介绍了连续批处理、张量并行、前缀缓存和基于 Docker 的部署。
Priming 将混合模型研究从一个完整预训练问题转变为一个知识迁移问题。现有 Transformer 权重提供起点，选定注意力层被转换为 SSM 层，而简短的对齐加适配过程可使用不足原始预训练 token 预算 0.5% 的数据恢复模型质量。
由此产生的混合模型在保留精确回忆所需注意力的同时，降低了 KV 缓存压力。在报告的实验中，Gated KalmaNet 提供了最强的衰减记忆结果，支持运行时速度与准确率控制，并实现了显著的长上下文吞吐量提升。
同一架构还可以被推至超出其原生训练窗口的范围：通过结合注意力缓存和循环 SSM 状态，状态组合能在无需额外训练的情况下，将 128K 混合模型扩展到 256K。
核心思想很简单：模型学到的知识不必被锁定在最初学习它的架构中。
从一句话开始，几分钟内拿到完整网站。
