For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/pt/articles/priming-convert-transformers-into-faster-f8cc4784.md.
Os agentes de IA estão se tornando mais duradouros, mais autônomos e mais exigentes em computação.
Os agentes de IA estão se tornando mais duradouros, mais autônomos e mais exigentes em computação.
A arquitetura Transformer subjacente ainda tem um custo básico: à medida que o contexto cresce, o cache de chave-valor também cresce. Longas sessões de agentes, grandes bases de código e trilhas de raciocínio extensas, portanto, exercem pressão crescente sobre a memória de GPU e a capacidade de processamento de inferência.
Pesquisadores responderam com uma família crescente de arquiteturas híbridas que combinam diferentes mecanismos de memória.
Elas incluem:
O problema é que testar uma nova arquitetura em escala relevante tradicionalmente significava treiná-la do zero.
Isso pode exigir trilhões de tokens e centenas de milhares de horas de GPU.
Pesquisadores da Amazon Web Services propõem uma abordagem diferente no artigo “Priming: Hybrid State Space Models From Pre-trained Transformers.”
Em vez de reaprender tudo, o Priming transfere conhecimento de um Transformer pré-treinado existente para uma nova arquitetura híbrida.
O pipeline completo usa menos de 0,5% do orçamento original de tokens de pré-treinamento do modelo de origem, reduzindo o custo de exploração de arquiteturas em mais de 99%.
Os pesquisadores aplicam o método em:
Nos resultados mais fortes de serving com contexto longo, substituir parte de um Transformer por camadas de espaço de estados Gated KalmaNet reduz a ocupação do cache KV e aumenta substancialmente a capacidade de decodificação.
Um híbrido preparado de 32B atinge limiares de precisão AIME mais rapidamente que seu Transformer Qwen3 de origem.
O resultado não é simplesmente um modelo mais rápido.
O Priming transforma o design de arquitetura em um problema de transferência de conhecimento, e não em um problema de pré-treinamento completo.
Para entender por que o Priming funciona, é útil começar com a atenção comum de Transformers.
A atenção usa três projeções aprendidas:
Para cada token, o modelo compara sua query com as keys dos tokens anteriores.
Tokens com uma correspondência mais forte contribuem com uma parcela maior de seus values para a saída.
Como modelos de linguagem autorregressivos geram um token de cada vez, o contexto continua crescendo.
Recalcular todas as projeções de key e value anteriores a cada etapa seria desperdício, então os Transformers as armazenam em um cache KV.
Esse cache é extremamente útil.
Ele também é a origem de um importante custo de memória.
À medida que a sequência de entrada fica mais longa, o cache cresce.
Em conversas curtas, isso pode ser administrável.
Em execuções de raciocínio de 128K tokens, grandes bases de código ou agentes persistentes, torna-se um dos principais limites para o tamanho de lote e a eficiência de serving.
A equipe da Amazon descreve a atenção completa como uma forma de memória eidética.
Uma camada de atenção pode, em princípio, revisitar a representação exata de qualquer token que ainda esteja dentro da janela de contexto.
Essa propriedade de acesso literal permite muitos comportamentos úteis:
Mas nem toda camada Transformer precisa de acesso completo a todo o histórico.
Algumas camadas executam principalmente operações locais:
Para essas camadas, armazenar o passado exato pode ser desnecessário.
Um estado comprimido de tamanho fixo pode ser suficiente.
Os autores chamam isso de memória dissipativa.
Um modelo híbrido pode, portanto, dividir o trabalho:
| Tipo de memória | Camada típica | Comportamento da memória |
|---|---|---|
| Eidética | Atenção | Acesso exato a tokens passados armazenados; o cache cresce com o contexto |
| Dissipativa | Modelo de espaço de estados | Comprime o histórico em um estado de tamanho fixo |
O objetivo não é remover inteiramente a atenção.
É manter a memória eidética cara apenas onde o modelo realmente se beneficia dela.
A percepção central por trás do Priming é que o conhecimento pré-treinado não precisa permanecer vinculado à arquitetura exata que o aprendeu originalmente.
Um Transformer e um modelo de espaço de estados parecem diferentes operacionalmente, mas podem ser vistos por meio de uma lente matemática comum.
Ambos podem ser entendidos como a aplicação de uma operação de mistura a uma sequência de values.
Uma camada de atenção constrói uma matriz de mistura a partir de suas projeções de query e key.
Uma camada de espaço de estados produz uma forma relacionada de mistura por meio de um estado recorrente com dimensionalidade fixa.
Se um SSM consegue aproximar suficientemente o comportamento de uma camada de atenção específica, grande parte da estrutura aprendida pelo Transformer existente pode ser reutilizada.
Isso inclui as projeções aprendidas da camada de origem.
O novo modelo então precisa aprender principalmente os parâmetros específicos da dinâmica de espaço de estados.
Nem toda camada de atenção é igualmente adequada para conversão.
Uma camada que executa recuperação complexa de longo alcance pode realmente precisar de acesso eidético completo.
Uma camada que se comporta majoritariamente de forma local é uma candidata muito melhor a SSM.
Os pesquisadores usam um indicador empírico de baixo custo:
Se o desempenho muda muito pouco, a camada provavelmente não depende fortemente de recuperação exata a longa distância.
Isso a torna uma candidata promissora para conversão em uma camada SSM de estado fixo.
O indicador está conectado a uma grandeza de sistemas dinâmicos chamada posto de Hankel da matriz de mistura da camada.
De modo informal, o posto de Hankel captura a quantidade de estado necessária para reproduzir exatamente o comportamento de entrada e saída da camada.
Uma camada com comportamento temporal mais simples pode frequentemente ser representada usando um gargalo de estado menor.
O pipeline completo de Priming possui três etapas principais.
Identificar camadas de atenção que podem ser comprimidas em representações de estado de tamanho fixo sem causar grande perda de qualidade.
As camadas de atenção que parecem precisar de recuperação exata de longo alcance são mantidas.
Inicializar cada SSM substituto usando pesos da camada Transformer que ele substitui.
Em seguida, executar uma curta fase de destilação para que o SSM aprenda a reproduzir o comportamento da camada original.
Fazer o ajuste fino do modelo híbrido completo em previsão do próximo token ou na receita downstream pretendida.
Nesta etapa, as camadas de atenção e SSM podem se coadaptar como um único modelo.
O Priming seleciona camadas de atenção locais, transfere suas projeções para camadas SSM, alinha o comportamento por meio de destilação e então faz o ajuste fino do híbrido completo.
Todo o processo consome menos de 0,5% do orçamento original de tokens de pré-treinamento do modelo de origem.
Isso é o que torna práticos os experimentos controlados de arquitetura.
Em vez de gastar uma execução completa de pré-treinamento em cada design candidato, os pesquisadores podem iniciar cada variante a partir da mesma inicialização pré-treinada robusta.
Quando a conversão de arquitetura se torna barata, outra questão fica mais fácil de estudar:
Se os dados, o orçamento de treinamento e a proporção híbrida forem mantidos constantes, qual camada SSM funciona melhor?
O artigo compara três designs de espaço de estados.
O Mamba-2 usa um mecanismo de decaimento relativamente uniforme em seu estado.
Quando novas informações chegam, o modelo atualiza o estado enquanto informações mais antigas desaparecem gradualmente.
O mecanismo é simples e eficiente, mas o processo de esquecimento é comparativamente indiscriminado.
O Gated DeltaNet adiciona atualizações mais direcionadas.
Em vez de fazer tudo decair uniformemente, ele pode apagar ou reescrever seletivamente o value associado a uma key específica.
Isso lhe dá controle mais expressivo sobre o que é retido.
O Gated KalmaNet vai além.
Sua atualização depende não apenas da key atual, mas de estatísticas acumuladas ao longo do histórico.
A camada é construída em torno de uma formulação iterativa de regressão ridge online inspirada na filtragem de Kalman.
Isso dá à GKA um mecanismo mais consciente do histórico para decidir como novas informações devem atualizar o estado.
Em experimentos controlados de híbridos de 8B, a GKA geralmente lidera a GDN, que por sua vez supera consistentemente o Mamba-2.
Os resultados empíricos correspondem amplamente à ordem teórica de expressividade:
GKA > GDN > Mamba-2
A diferença aumenta em tarefas de raciocínio com contexto longo, nas quais a qualidade da memória comprimida se torna mais importante.
Na escala de 32B, o modelo híbrido GKA permanece dentro de cerca de 1% de um Transformer comparável pós-treinado nos mesmos dados, enquanto usa aproximadamente metade do cache KV.
Uma das descobertas mais contraintuitivas vem da comparação entre SSMs e atenção de janela deslizante.
A atenção de janela deslizante mantém representações exatas apenas dos tokens mais recentes.
À primeira vista, isso parece atraente.
Nada dentro da janela é comprimido ou perdido.
Mas a janela descarta tudo o que é mais antigo do que sua extensão fixa.
Um SSM faz o oposto.
Ele comprime todo o histórico em um estado de tamanho fixo com perdas.
Os autores descobriram que o resumo com perdas de todo o histórico frequentemente funciona melhor.
Descreva sua ideia uma vez e o We0 AI pode gerar um site de apresentacao, paginas e CMS, alem de ajudar a atrair clientes e trafego apos o lancamento.
Uma geração completa de projetos para registro gratuito
Melhor para experimentar um fluxo de geração completo e ver rapidamente um primeiro rascunho do projeto.
O híbrido baseado em SSM supera consistentemente o híbrido de janela deslizante em todas as tarefas de contexto longo relatadas.
Todos os híbridos baseados em SSM do estudo superaram suas contrapartes SWA nos benchmarks de contexto longo.
Isso permaneceu verdadeiro mesmo quando a atenção de janela deslizante recebeu aproximadamente duas a quatro vezes mais memória que a camada de espaço de estados.
O resultado sugere um princípio útil:
Um resumo compacto de todo o passado pode ser mais útil que um registro perfeito apenas do passado recente.
Isso importa para agentes persistentes, nos quais o contexto antigo ainda pode conter informações importantes, mesmo que já não seja recente.
A GKA possui outra propriedade que o Mamba-2 e a GDN não oferecem da mesma forma: computação variável em tempo de inferência.
Mamba-2 e GDN aplicam essencialmente o mesmo orçamento de computação a cada token.
A GKA resolve iterativamente um problema interno de regressão.
O número de iterações pode ser alterado no momento do serving.
Nenhum retreinamento é necessário.
Alterar a contagem de iterações da GKA desloca o modelo ao longo de uma fronteira de velocidade versus precisão no tempo de serving.
Nos experimentos AIME 2025 do artigo, alterar a GKA de suas habituais 30 iterações para 10 resulta aproximadamente em:
~10% de decodificação mais rápida
~1% de perda de precisão
Isso significa que um modelo treinado pode atender a diferentes níveis de latência.
Um sistema de serving poderia usar:
Isso transforma o esforço de inferência em um controle de tempo de execução, em vez de uma propriedade fixa durante o treinamento.
A capacidade bruta de tokens pode ser enganosa.
Um modelo que gera tokens rapidamente ainda pode levar mais tempo para chegar à resposta correta se precisar de uma trilha de raciocínio muito mais longa.
Por isso, os pesquisadores também medem o tempo de relógio até a precisão-alvo.
Eles comparam um híbrido preparado com GKA de 32B com seu modelo de origem Qwen3-32B usando a mesma receita de raciocínio.
Ambos os sistemas geram trilhas de raciocínio de comprimento semelhante:
O híbrido não vence por raciocinar menos.
Ele vence porque consegue processar essas trilhas de raciocínio comparáveis com maior capacidade de processamento.
Em níveis realistas de concorrência, o híbrido de 32B atinge os limiares de precisão-alvo:
A principal razão é a memória.
Substituir metade das camadas de atenção por camadas SSM de estado fixo reduz aproximadamente pela metade a carga de cache KV por sequência.
Isso permite que o sistema de serving execute mais sequências simultaneamente no mesmo hardware.
A vantagem de capacidade de processamento aumenta à medida que o contexto fica mais longo e a pressão sobre o cache KV aumenta.
Para o modelo de 32B usando 10 iterações GKA, os ganhos de capacidade de decodificação relatados são aproximadamente:
| Comprimento do contexto | Aceleração em relação ao Transformer de origem |
|---|---|
| 16K | 1,50× |
| 32K | 1,59× |
| 64K | 1,95× |
| 128K | 2,06× |
Os modelos de 8B mostram ganhos ainda maiores, subindo de cerca de 1,94× em 16K para 2,29× em 128K.
O resumo do artigo no arXiv, portanto, apresenta o resultado mais amplo como até aproximadamente 2,3× mais capacidade de decodificação.
O ganho de capacidade também pode importar durante o pós-treinamento com aprendizado por reforço.
Se uma política consegue gerar mais rollouts por unidade de tempo, o pipeline de treinamento pode coletar mais trajetórias úteis com o mesmo orçamento de GPU.
A Amazon relata um aumento de 20% a 100% na taxa de dados de treinamento de RL nas condições testadas.
Isso não altera o próprio algoritmo de RL.
Altera a rapidez com que o modelo pode produzir os dados de que o processo de RL precisa.
Os modelos híbridos lançados não são otimizados apenas para velocidade.
O artigo também compara sua qualidade de raciocínio com seus Transformers Qwen3 de origem.
Híbridos GKA preparados permanecem competitivos com ou superam seus Transformers de origem nos benchmarks de raciocínio relatados.
O resumo do artigo no arXiv informa que o híbrido GKA de 32B melhora em 3,8 pontos médios de raciocínio em relação ao seu checkpoint Qwen3-32B de origem, enquanto permanece dentro de 1% de um Transformer pós-treinado nos mesmos dados.
O ponto metodológico importante é que a arquitetura híbrida não está sendo avaliada após uma execução completa e independente de pré-treinamento.
Ela herda a maior parte de seu conhecimento de um modelo existente e recebe somente uma quantidade relativamente pequena de treinamento de alinhamento e adaptação.
Os híbridos preparados suportam nativamente 128K tokens.
Mas sessões reais de agentes, grandes repositórios e documentos jurídicos ou técnicos extensos podem ultrapassar esse limite.
Normalmente, estender o contexto pode exigir outra rodada de treinamento de contexto longo.
Os pesquisadores, em vez disso, adaptam uma ideia de seu trabalho anterior, PICASO.
Transformers puros podem usar métodos de reescalonamento posicional, como YaRN.
SSMs puros podem compor estados recorrentes.
Um modelo híbrido possui ambos:
Ambos os sistemas de memória precisam ser estendidos em conjunto.
O método proposto é:
Entradas longas são processadas como partes independentes; caches de atenção são concatenados e estados SSM são combinados.
Isso estende os modelos híbridos preparados de:
Contexto nativo de 128K
↓
Contexto composto de 256K
sem treinamento adicional.
O artigo relata retenção substancial de precisão em:
A mesma ordem de expressividade permanece visível após a extensão:
GKA > GDN > Mamba-2
O principal valor do Priming pode ser mais amplo que qualquer benchmark isolado.
Antes do Priming, avaliar uma nova arquitetura híbrida em escala poderia exigir uma execução completa de pré-treinamento.
Isso tornava perguntas como estas extremamente caras:
O Priming torna esses experimentos muito mais baratos porque cada candidato pode começar da mesma base pré-treinada.
A Amazon lançou a implementação como Hybrid Model Factory sob a licença Apache 2.0.
O lançamento inclui:
O repositório atualmente suporta várias famílias e classes de Transformers pré-treinados, incluindo Qwen, modelos da família Llama, modelos da família Mistral, arquiteturas densas e variantes MoE.
Para serving de contexto longo, a ideia prática é simples:
Manter a atenção onde a recuperação exata importa
+
Usar memória de estado fixo onde ela não importa
↓
Cache KV menor
↓
Mais sequências simultâneas
↓
Maior capacidade de processamento
Para pesquisa de arquitetura, o benefício é diferente:
Transformer pré-treinado robusto
↓
Preparar muitas variantes híbridas a baixo custo
↓
Comparar arquiteturas sob condições controladas
O tema comum é que o conhecimento pode ser reutilizado mesmo quando a arquitetura de memória muda.
Priming é um método para inicializar uma nova arquitetura híbrida de atenção–SSM a partir de um Transformer pré-treinado. Em vez de reaprender todo o conhecimento do modelo do zero, ele transfere os pesos existentes, alinha as camadas SSM substitutas e então realiza uma curta adaptação de ponta a ponta.
O artigo relata que o pipeline completo de Priming usa menos de 0,5% do orçamento original de tokens de pré-treinamento do modelo de origem. Isso corresponde a uma redução superior a 99% nos requisitos de dados em escala de pré-treinamento em comparação com iniciar uma nova arquitetura do zero.
Não. O método é projetado para modelos híbridos. Ele mantém camadas de atenção onde a recuperação exata de longo alcance é útil e substitui camadas selecionadas por SSMs de estado fixo onde a memória dissipativa comprimida é suficiente.
Nos experimentos controlados, a Gated KalmaNet geralmente apresenta o melhor desempenho, seguida por Gated DeltaNet e depois Mamba-2. A diferença se torna mais importante em tarefas de raciocínio com contexto longo.
O ganho relatado depende do tamanho do modelo, do comprimento do contexto e da contagem de iterações GKA. Para o modelo de 32B, a capacidade de decodificação chega a cerca de 2,06× a do Transformer de origem em contexto de 128K com 10 iterações GKA; os modelos de 8B chegam a até cerca de 2,29×.
O Priming em si cria o modelo híbrido, enquanto um método separado de composição de estados híbridos estende seu contexto sem treinamento adicional. O artigo demonstra extensão de um contexto nativo de 128K para 256K por meio da composição de caches KV de atenção e estados SSM.
Sim. A Amazon lançou a Hybrid Model Factory sob a licença Apache 2.0, juntamente com código de treinamento, checkpoints de modelos, kernels otimizados, ferramentas de paralelismo de sequências e um plugin de serving vLLM.
Sim. A Hybrid Model Factory inclui um plugin vLLM desenvolvido para serving de produção de suas arquiteturas híbridas personalizadas. O repositório documenta batching contínuo, paralelismo de tensor, cache de prefixo e implantação baseada em Docker.
O Priming transforma a pesquisa de modelos híbridos de um problema de pré-treinamento completo em um problema de transferência de conhecimento. Pesos existentes de Transformer fornecem o ponto de partida, camadas de atenção selecionadas são convertidas em camadas SSM, e um curto processo de alinhamento mais adaptação recupera a qualidade do modelo usando menos de 0,5% do orçamento original de tokens de pré-treinamento.
Os híbridos resultantes reduzem a pressão sobre o cache KV ao mesmo tempo que preservam a atenção onde a recuperação exata é útil. Nos experimentos relatados, a Gated KalmaNet oferece os resultados de memória dissipativa mais fortes, expõe um controle de velocidade versus precisão em tempo de execução e entrega grandes ganhos de capacidade de processamento em contexto longo.
A mesma arquitetura também pode ir além de sua janela de treinamento nativa: a composição de estados estende híbridos de 128K para 256K sem treinamento adicional, combinando caches de atenção e estados SSM recorrentes.
A ideia-chave é simples: o conhecimento aprendido por um modelo não precisa ficar preso à arquitetura que o aprendeu originalmente.
Comece com uma frase e tenha um site completo em minutos.
