For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ko/articles/priming-convert-transformers-into-faster-f8cc4784.md.
AI 에이전트는 더 오래 실행되고, 더 자율적으로 작동하며, 더 많은 컴퓨팅 자원을 요구하고 있습니다.
AI 에이전트는 더 오래 실행되고, 더 자율적으로 작동하며, 더 많은 컴퓨팅 자원을 요구하고 있습니다.
기반이 되는 Transformer 아키텍처에는 여전히 근본적인 비용이 있습니다. 컨텍스트가 길어질수록 키-값 캐시도 함께 커집니다. 따라서 긴 에이전트 세션, 대규모 코드베이스, 확장된 추론 트레이스는 GPU 메모리와 추론 처리량에 점점 더 큰 부담을 줍니다.
연구자들은 서로 다른 메모리 메커니즘을 결합하는 하이브리드 아키텍처 계열을 통해 이에 대응해 왔습니다.
여기에는 다음이 포함됩니다.
문제는 새로운 아키텍처를 의미 있는 규모에서 검증하려면 전통적으로 처음부터 학습해야 했다는 점입니다.
이는 수조 개의 토큰과 수십만 GPU 시간이 필요할 수 있습니다.
Amazon Web Services 연구진은 “Priming: Hybrid State Space Models From Pre-trained Transformers” 논문에서 다른 접근법을 제안합니다.
모든 것을 다시 학습하는 대신, Priming은 기존 사전 학습 Transformer의 지식을 새로운 하이브리드 아키텍처로 이전합니다.
전체 파이프라인은 원본 모델의 초기 사전 학습 토큰 예산 중 0.5% 미만을 사용하며, 아키텍처 탐색 비용을 99% 이상 절감합니다.
연구진은 다음 범위에서 이 방법을 적용했습니다.
가장 강력한 장문 컨텍스트 서빙 결과에서 Transformer의 일부를 Gated KalmaNet 상태 공간 레이어로 대체하면 KV 캐시 사용량이 줄고 디코딩 처리량이 크게 증가합니다.
32B 프라이밍 하이브리드는 원본 Qwen3 Transformer보다 AIME 정확도 임계값에 더 빠르게 도달합니다.
이 결과는 단순히 더 빠른 모델을 의미하지 않습니다.
Priming은 아키텍처 설계를 완전한 사전 학습 문제가 아닌 지식 전이 문제로 바꿉니다.
Priming이 작동하는 이유를 이해하려면 일반적인 Transformer 어텐션부터 살펴보는 것이 좋습니다.
어텐션은 세 가지 학습된 프로젝션을 사용합니다.
각 토큰에 대해 모델은 자신의 쿼리를 과거 토큰의 키와 비교합니다.
일치도가 높은 토큰일수록 해당 값이 출력에 더 많이 기여합니다.
자기회귀 언어 모델은 한 번에 하나의 토큰을 생성하므로 컨텍스트는 계속 증가합니다.
매 단계마다 과거의 모든 키와 값 프로젝션을 다시 계산하는 것은 비효율적이므로, Transformer는 이를 KV 캐시에 저장합니다.
이 캐시는 매우 유용합니다.
하지만 중요한 메모리 비용의 원인이기도 합니다.
입력 시퀀스가 길어질수록 캐시도 커집니다.
짧은 대화에서는 관리 가능할 수 있습니다.
그러나 128K 토큰 추론 실행, 긴 코드베이스 또는 지속형 에이전트에서는 배치 크기와 서빙 효율을 제한하는 주요 요인 중 하나가 됩니다.
Amazon 연구팀은 전체 어텐션을 **에이데틱 메모리(eidetic memory)**의 한 형태로 설명합니다.
어텐션 레이어는 원칙적으로 컨텍스트 윈도우 안에 남아 있는 모든 토큰의 정확한 표현을 다시 참조할 수 있습니다.
이러한 원문 수준 접근 특성은 다음과 같은 유용한 동작을 가능하게 합니다.
그러나 모든 Transformer 레이어가 전체 이력에 완전하게 접근할 필요는 없습니다.
일부 레이어는 주로 국소적인 연산을 수행합니다.
이러한 레이어에서는 정확한 과거 정보를 저장할 필요가 없을 수 있습니다.
고정 크기의 압축 상태만으로 충분할 수 있습니다.
저자들은 이를 **페이딩 메모리(fading memory)**라고 부릅니다.
따라서 하이브리드 모델은 작업을 분리할 수 있습니다.
| 메모리 유형 | 일반적 레이어 | 메모리 동작 |
|---|---|---|
| 에이데틱 | 어텐션 | 저장된 과거 토큰에 정확하게 접근하며, 캐시는 컨텍스트에 따라 증가 |
| 페이딩 | 상태 공간 모델 | 이력을 고정 크기 상태로 압축 |
목표는 어텐션을 완전히 제거하는 것이 아닙니다.
모델이 실제로 이점을 얻는 위치에만 비용이 큰 에이데틱 메모리를 유지하는 것입니다.
Priming의 핵심 통찰은 사전 학습된 지식이 처음 학습된 정확한 아키텍처에 계속 묶여 있을 필요가 없다는 것입니다.
Transformer와 상태 공간 모델은 작동 방식이 다르지만 공통적인 수학적 관점에서 볼 수 있습니다.
둘 다 값의 시퀀스에 혼합 연산을 적용하는 것으로 이해할 수 있습니다.
어텐션 레이어는 쿼리와 키 프로젝션으로부터 혼합 행렬을 구성합니다.
상태 공간 레이어는 고정 차원의 순환 상태를 통해 이와 관련된 형태의 혼합을 생성합니다.
SSM이 특정 어텐션 레이어의 동작을 충분히 가깝게 근사할 수 있다면, 기존 Transformer가 학습한 구조의 상당 부분을 재사용할 수 있습니다.
여기에는 원본 레이어가 학습한 프로젝션이 포함됩니다.
새 모델은 이후 주로 상태 공간 동역학에 특화된 매개변수만 학습하면 됩니다.
모든 어텐션 레이어가 변환에 동일하게 적합한 것은 아닙니다.
복잡한 장거리 검색을 수행하는 레이어는 실제로 완전한 에이데틱 접근이 필요할 수 있습니다.
대부분 국소적으로 동작하는 레이어는 SSM 후보로 훨씬 더 적합합니다.
연구진은 비용이 낮은 경험적 대리 지표를 사용합니다.
성능 변화가 매우 작다면, 해당 레이어는 장거리의 정확한 회상에 크게 의존하지 않을 가능성이 높습니다.
따라서 고정 상태 SSM 레이어로 전환하기에 유망한 후보가 됩니다.
이 대리 지표는 레이어 혼합 행렬의 Hankel rank라는 동역학 시스템 개념과 연결됩니다.
비공식적으로 Hankel rank는 레이어의 입력-출력 동작을 정확히 재현하기 위해 필요한 상태의 양을 나타냅니다.
시간적 동작이 더 단순한 레이어는 종종 더 작은 상태 병목으로 표현할 수 있습니다.
전체 Priming 파이프라인은 세 가지 주요 단계로 구성됩니다.
큰 품질 손실 없이 고정 크기 상태 표현으로 압축할 수 있는 어텐션 레이어를 식별합니다.
장거리의 정확한 검색이 필요한 것으로 보이는 어텐션 레이어는 유지합니다.
대체되는 Transformer 레이어의 가중치를 사용해 각 SSM을 초기화합니다.
그런 다음 짧은 증류 단계를 실행해 SSM이 원래 레이어의 동작을 재현하도록 학습합니다.
전체 하이브리드 모델을 다음 토큰 예측 또는 의도한 다운스트림 학습 방식에 맞춰 미세 조정합니다.
이 단계에서 어텐션과 SSM 레이어는 하나의 모델로 함께 적응할 수 있습니다.
Priming은 국소 어텐션 레이어를 선택하고, 해당 프로젝션을 SSM 레이어로 이전하며, 증류를 통해 동작을 정렬한 뒤 전체 하이브리드를 미세 조정합니다.
전체 과정은 원본 모델의 초기 사전 학습 토큰 예산 중 0.5% 미만을 소비합니다.
이 점이 통제된 아키텍처 실험을 실용적으로 만드는 이유입니다.
연구자는 후보 설계마다 완전한 사전 학습을 수행하는 대신, 동일하게 강력한 사전 학습 초기화에서 모든 변형을 시작할 수 있습니다.
아키텍처 전환 비용이 낮아지면 또 다른 질문도 더 쉽게 연구할 수 있습니다.
데이터, 학습 예산, 하이브리드 비율을 동일하게 유지할 때 어떤 SSM 레이어가 가장 잘 작동하는가?
논문은 세 가지 상태 공간 설계를 비교합니다.
Mamba-2는 상태 전반에 비교적 균일한 감쇠 메커니즘을 사용합니다.
새 정보가 들어오면 모델은 상태를 갱신하고 이전 정보는 점차 희미해집니다.
이 메커니즘은 단순하고 효율적이지만, 망각 과정은 비교적 비선별적입니다.
Gated DeltaNet은 보다 표적화된 업데이트를 추가합니다.
모든 정보를 균일하게 감쇠시키는 대신, 특정 키와 연결된 값을 선택적으로 지우거나 다시 쓸 수 있습니다.
이는 보존할 정보를 더 표현력 있게 제어할 수 있게 합니다.
Gated KalmaNet은 한 단계 더 나아갑니다.
이 업데이트는 현재 키뿐 아니라 전체 이력에 걸쳐 축적된 통계에도 의존합니다.
이 레이어는 Kalman 필터링에서 영감을 받은 반복적 온라인 릿지 회귀 정식화를 중심으로 구성됩니다.
이를 통해 GKA는 새 정보가 상태를 어떻게 갱신해야 하는지 결정하는 데 더 이력 인식적인 메커니즘을 갖게 됩니다.
통제된 8B 하이브리드 실험에서 GKA는 일반적으로 GDN보다 앞서며, GDN은 일관되게 Mamba-2를 능가합니다.
경험적 결과는 이론적 표현력 순서와 대체로 일치합니다.
GKA > GDN > Mamba-2
압축 메모리의 품질이 더 중요해지는 장문 컨텍스트 추론 작업에서 그 차이는 더 커집니다.
32B 규모에서 하이브리드 GKA 모델은 KV 캐시를 약 절반만 사용하면서 동일한 데이터로 사후 학습된 유사 Transformer의 성능 차이를 약 1% 이내로 유지합니다.
더 직관에 반하는 발견 중 하나는 SSM과 슬라이딩 윈도우 어텐션의 비교에서 나옵니다.
슬라이딩 윈도우 어텐션은 가장 최근 토큰의 정확한 표현만 유지합니다.
첫인상으로는 매력적으로 보일 수 있습니다.
윈도우 내의 정보는 압축되거나 손실되지 않습니다.
하지만 윈도우는 고정 범위를 벗어난 모든 오래된 정보를 버립니다.
SSM은 반대로 작동합니다.
전체 이력을 손실이 있는 고정 크기 상태로 압축합니다.
저자들은 손실이 있는 전체 이력 요약이 종종 더 잘 작동한다는 사실을 발견했습니다.
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
SSM 기반 하이브리드는 보고된 장문 컨텍스트 작업 전반에서 슬라이딩 윈도우 하이브리드를 일관되게 능가합니다.
연구에서 모든 SSM 기반 하이브리드는 장문 컨텍스트 벤치마크에서 해당 SWA 모델보다 높은 성능을 보였습니다.
슬라이딩 윈도우 어텐션에 상태 공간 레이어보다 약 2배에서 4배 더 많은 메모리를 할당했을 때도 이러한 결과는 유지되었습니다.
이 결과는 유용한 원칙을 시사합니다.
전체 과거에 대한 압축된 요약은 최근 과거만 완벽히 기록한 정보보다 더 유용할 수 있습니다.
오래된 컨텍스트에도 더 이상 최근 정보는 아니지만 중요한 내용이 남아 있을 수 있는 지속형 에이전트에서 이는 특히 중요합니다.
GKA에는 Mamba-2와 GDN이 같은 방식으로 제공하지 않는 또 다른 특성이 있습니다. 바로 추론 시점의 가변 계산입니다.
Mamba-2와 GDN은 본질적으로 각 토큰에 동일한 계산 예산을 적용합니다.
GKA는 내부 회귀 문제를 반복적으로 풉니다.
반복 횟수는 서빙 시점에 바꿀 수 있습니다.
재학습은 필요하지 않습니다.
GKA의 반복 횟수를 변경하면 모델은 서빙 시점 속도-정확도 프런티어 위에서 이동합니다.
논문의 AIME 2025 실험에서 GKA의 일반적인 30회 반복을 10회로 변경하면 대략 다음과 같습니다.
약 10% 더 빠른 디코딩
약 1%의 정확도 손실
이는 하나의 학습된 모델이 서로 다른 지연 시간 등급을 지원할 수 있음을 의미합니다.
서빙 시스템은 다음과 같이 운영할 수 있습니다.
이로써 추론 노력은 학습 중에 고정되는 속성이 아니라 런타임 제어 기능이 됩니다.
순수 토큰 처리량은 오해를 불러일으킬 수 있습니다.
토큰을 빠르게 생성하는 모델도 정답에 도달하기 위해 훨씬 긴 추론 트레이스가 필요하다면 더 오래 걸릴 수 있습니다.
따라서 연구진은 목표 정확도까지의 실제 경과 시간도 측정합니다.
동일한 추론 레시피를 사용해 32B GKA 프라이밍 하이브리드를 원본 Qwen3-32B 모델과 비교합니다.
두 시스템은 비슷한 길이의 추론 트레이스를 생성합니다.
하이브리드가 더 적게 생각해서 이기는 것이 아닙니다.
유사한 추론 트레이스를 더 높은 처리량으로 처리할 수 있기 때문에 우수한 결과를 보입니다.
현실적인 동시성 수준에서 32B 하이브리드는 목표 정확도 임계값에 다음과 같이 도달합니다.
주요 원인은 메모리입니다.
어텐션 레이어의 절반을 고정 상태 SSM 레이어로 대체하면 시퀀스당 KV 캐시 부담이 대략 절반으로 줄어듭니다.
그 결과 서빙 시스템은 동일한 하드웨어에서 더 많은 시퀀스를 동시에 실행할 수 있습니다.
컨텍스트가 길어지고 KV 캐시 부담이 커질수록 처리량 이점도 증가합니다.
10회 GKA 반복을 사용하는 32B 모델에서 보고된 디코딩 처리량 향상은 대략 다음과 같습니다.
| 컨텍스트 길이 | 원본 Transformer 대비 속도 향상 |
|---|---|
| 16K | 1.50배 |
| 32K | 1.59배 |
| 64K | 1.95배 |
| 128K | 2.06배 |
8B 모델은 더 큰 향상을 보이며, 16K에서 약 1.94배에서 128K에서 2.29배까지 증가합니다.
따라서 논문의 arXiv 초록은 더 넓은 결과를 최대 약 2.3배 높은 디코딩 처리량으로 요약합니다.
처리량 향상은 강화학습 사후 학습에서도 중요할 수 있습니다.
정책이 단위 시간당 더 많은 롤아웃을 생성할 수 있다면, 학습 파이프라인은 동일한 GPU 예산으로 더 많은 유용한 궤적을 수집할 수 있습니다.
Amazon은 테스트 조건에서 RL 학습 데이터 속도가 20%~100% 증가했다고 보고합니다.
이는 RL 알고리즘 자체를 바꾸지 않습니다.
RL 프로세스에 필요한 데이터를 모델이 얼마나 빠르게 생성할 수 있는지를 바꿉니다.
공개된 하이브리드 모델은 속도만을 위해 최적화된 것이 아닙니다.
논문은 이 모델들의 추론 품질을 원본 Qwen3 Transformer와도 비교합니다.
프라이밍된 GKA 하이브리드는 보고된 추론 벤치마크에서 원본 Transformer와 경쟁력 있는 성능을 유지하거나 이를 능가합니다.
논문의 arXiv 초록은 32B GKA 하이브리드가 원본 Qwen3-32B 체크포인트보다 평균 추론 점수 3.8포인트 향상을 보였으며, 동시에 동일한 데이터로 사후 학습된 Transformer와의 차이를 1% 이내로 유지했다고 보고합니다.
중요한 방법론적 요점은 하이브리드 아키텍처가 완전히 독립적인 사전 학습 실행 후에 평가된 것이 아니라는 점입니다.
기존 모델에서 지식 대부분을 상속받고, 상대적으로 적은 양의 정렬 및 적응 학습만 수행합니다.
프라이밍된 하이브리드는 기본적으로 128K 토큰을 지원합니다.
하지만 실제 에이전트 세션, 대규모 리포지토리, 긴 법률 문서나 기술 문서는 이를 초과할 수 있습니다.
일반적으로 컨텍스트 확장에는 또 한 번의 장문 컨텍스트 학습이 필요할 수 있습니다.
대신 연구진은 이전의 PICASO 연구에서 제안한 아이디어를 적용합니다.
순수 Transformer는 YaRN과 같은 위치 리스케일링 방식을 사용할 수 있습니다.
순수 SSM은 순환 상태를 조합할 수 있습니다.
하이브리드 모델에는 다음 두 요소가 모두 있습니다.
두 메모리 시스템을 함께 확장해야 합니다.
제안된 방법은 다음과 같습니다.
긴 입력은 독립된 청크로 처리되며, 어텐션 캐시는 연결되고 SSM 상태는 병합됩니다.
이를 통해 프라이밍 하이브리드 모델의 컨텍스트는 다음과 같이 확장됩니다.
기본 128K 컨텍스트
↓
조합된 256K 컨텍스트
추가 학습 없이 확장됩니다.
논문은 다음 작업에서 상당한 정확도 유지 성능을 보고합니다.
확장 후에도 동일한 표현력 순서가 나타납니다.
GKA > GDN > Mamba-2
Priming의 주요 가치는 특정 벤치마크 하나보다 더 넓을 수 있습니다.
Priming 이전에는 대규모에서 새로운 하이브리드 아키텍처를 평가하려면 완전한 사전 학습 실행이 필요할 수 있었습니다.
그 때문에 다음과 같은 질문은 매우 비쌌습니다.
Priming은 모든 후보가 동일한 사전 학습 기반에서 출발할 수 있게 하므로 이러한 실험 비용을 크게 낮춥니다.
Amazon은 Apache 2.0 라이선스 하에 Hybrid Model Factory로 구현체를 공개했습니다.
공개된 구성에는 다음이 포함됩니다.
현재 리포지토리는 Qwen, Llama 계열 모델, Mistral 계열 모델, 밀집형 아키텍처, MoE 변형을 포함한 여러 사전 학습 Transformer 계열 및 모델 클래스를 지원합니다.
장문 컨텍스트 서빙에서 실용적인 아이디어는 간단합니다.
정확한 회상이 중요한 곳에는 어텐션 유지
+
그렇지 않은 곳에는 고정 상태 메모리 사용
↓
더 작은 KV 캐시
↓
더 많은 동시 시퀀스
↓
더 높은 처리량
아키텍처 연구에서 이점은 다릅니다.
강력한 사전 학습 Transformer
↓
여러 하이브리드 변형을 저비용으로 프라이밍
↓
통제된 조건에서 아키텍처 비교
공통된 주제는 메모리 아키텍처가 바뀌더라도 지식은 재사용될 수 있다는 것입니다.
Priming은 사전 학습 Transformer로부터 새로운 하이브리드 어텐션-SSM 아키텍처를 초기화하는 방법입니다. 모델 지식을 처음부터 다시 학습하는 대신 기존 가중치를 이전하고, 대체 SSM 레이어를 정렬한 뒤, 짧은 엔드투엔드 적응을 수행합니다.
논문은 전체 Priming 파이프라인이 원본 모델의 초기 사전 학습 토큰 예산 중 0.5% 미만을 사용한다고 보고합니다. 이는 새 아키텍처를 처음부터 시작할 때와 비교해 사전 학습 규모의 데이터 요구량을 99% 이상 줄이는 것에 해당합니다.
아니요. 이 방법은 하이브리드 모델을 위해 설계되었습니다. 장거리의 정확한 검색이 유용한 곳에는 어텐션 레이어를 유지하고, 압축된 페이딩 메모리로 충분한 선택 레이어만 고정 상태 SSM 레이어로 대체합니다.
통제된 실험에서 Gated KalmaNet이 일반적으로 가장 높은 성능을 보였고, 그다음은 Gated DeltaNet, Mamba-2 순이었습니다. 장문 컨텍스트 추론 작업에서는 그 차이가 더 중요해집니다.
보고된 향상 폭은 모델 크기, 컨텍스트 길이, GKA 반복 횟수에 따라 다릅니다. 32B 모델은 10회 GKA 반복으로 128K 컨텍스트에서 원본 Transformer 대비 약 2.06배의 디코딩 처리량에 도달하며, 8B 모델은 최대 약 2.29배에 도달합니다.
Priming 자체는 하이브리드 모델을 구축하는 방법이며, 별도의 하이브리드 상태 조합 방식이 추가 학습 없이 컨텍스트를 확장합니다. 논문은 어텐션 KV 캐시와 SSM 상태를 조합하여 기본 128K 컨텍스트를 256K로 확장하는 방법을 제시합니다.
예. Amazon은 Apache 2.0 라이선스 하에 Hybrid Model Factory를 공개했으며, 학습 코드, 모델 체크포인트, 최적화 커널, 시퀀스 병렬 도구 및 vLLM 서빙 플러그인을 함께 제공합니다.
예. Hybrid Model Factory에는 커스텀 하이브리드 아키텍처의 프로덕션 서빙을 위해 설계된 vLLM 플러그인이 포함되어 있습니다. 리포지토리에서는 연속 배칭, 텐서 병렬화, 접두사 캐싱, Docker 기반 배포를 문서화합니다.
Priming은 하이브리드 모델 연구를 완전한 사전 학습 문제에서 지식 전이 문제로 전환합니다. 기존 Transformer 가중치가 출발점이 되고, 선택된 어텐션 레이어는 SSM 레이어로 변환되며, 짧은 정렬 및 적응 과정은 원래 사전 학습 토큰 예산의 0.5% 미만만 사용해 모델 품질을 회복합니다.
그 결과 생성된 하이브리드는 정확한 회상이 유용한 곳에 어텐션을 유지하면서 KV 캐시 부담을 줄입니다. 보고된 실험에서 Gated KalmaNet은 가장 강력한 페이딩 메모리 성능을 제공하고, 런타임 속도-정확도 제어 기능을 제공하며, 장문 컨텍스트에서 큰 처리량 향상을 달성합니다.
동일한 아키텍처는 기본 학습 윈도우를 넘어 확장할 수도 있습니다. 상태 조합은 어텐션 캐시와 순환 SSM 상태를 결합해 추가 학습 없이 128K 하이브리드를 256K로 확장합니다.
핵심 아이디어는 간단합니다. 모델이 학습한 지식은 처음 그 지식을 학습한 아키텍처에 고정될 필요가 없습니다.
한 문장에서 시작해 몇 분 안에 완전한 웹사이트를 받아보세요.
