For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/es/articles/priming-convert-transformers-into-faster-f8cc4784.md.
Los agentes de IA tienen ciclos de vida más largos, son más autónomos y demandan cada vez más capacidad de cómputo.
Los agentes de IA tienen ciclos de vida más largos, son más autónomos y demandan cada vez más capacidad de cómputo.
La arquitectura Transformer subyacente sigue teniendo un coste básico: a medida que crece el contexto, también crece la caché de claves y valores. Por ello, las sesiones largas de agentes, las grandes bases de código y las trazas de razonamiento extensas ejercen una presión creciente sobre la memoria de las GPU y el rendimiento de inferencia.
Los investigadores han respondido con una familia creciente de arquitecturas híbridas que combinan distintos mecanismos de memoria.
Entre ellas se incluyen:
El problema es que probar una nueva arquitectura a una escala significativa ha requerido tradicionalmente entrenarla desde cero.
Esto puede exigir billones de tokens y cientos de miles de horas de GPU.
Investigadores de Amazon Web Services proponen un enfoque diferente en el artículo “Priming: Hybrid State Space Models From Pre-trained Transformers.”
En vez de volver a aprenderlo todo, Priming transfiere conocimiento de un Transformer preentrenado existente a una nueva arquitectura híbrida.
La canalización completa utiliza menos del 0,5 % del presupuesto original de tokens de preentrenamiento del modelo fuente, lo que reduce el coste de explorar arquitecturas en más del 99 %.
Los investigadores aplican el método a:
En los resultados más sólidos de servicio con contexto largo, sustituir parte de un Transformer por capas de espacio de estados Gated KalmaNet reduce la huella de la caché KV y aumenta de forma sustancial el rendimiento de decodificación.
Un híbrido preparado de 32B alcanza los umbrales de precisión de AIME más rápido que su Transformer Qwen3 fuente.
El resultado no es simplemente un modelo más rápido.
Priming convierte el diseño de arquitecturas en un problema de transferencia de conocimiento en lugar de un problema de preentrenamiento completo.
Para comprender por qué funciona Priming, resulta útil comenzar con la atención convencional de Transformer.
La atención utiliza tres proyecciones aprendidas:
Para cada token, el modelo compara su consulta con las claves de tokens anteriores.
Los tokens con una coincidencia más fuerte aportan una mayor proporción de sus valores a la salida.
Como los modelos de lenguaje autorregresivos generan un token cada vez, el contexto sigue creciendo.
Recalcular todas las proyecciones pasadas de claves y valores en cada paso sería ineficiente, por lo que los Transformers las almacenan en una caché KV.
Esa caché es extremadamente útil.
También es la fuente de un importante coste de memoria.
A medida que la secuencia de entrada se alarga, la caché crece.
Para conversaciones cortas, esto puede ser manejable.
Para ejecuciones de razonamiento de 128K tokens, grandes bases de código o agentes persistentes, se convierte en uno de los principales límites del tamaño de lote y de la eficiencia de servicio.
El equipo de Amazon describe la atención completa como una forma de memoria eidética.
Una capa de atención puede, en principio, volver a consultar la representación exacta de cualquier token que siga dentro de la ventana de contexto.
Esta propiedad de acceso literal permite muchos comportamientos útiles:
Pero no todas las capas de Transformer necesitan acceso completo a todo el historial.
Algunas capas realizan principalmente operaciones locales:
Para esas capas, puede no ser necesario almacenar el pasado exacto.
Un estado comprimido de tamaño fijo puede ser suficiente.
Los autores denominan esto memoria evanescente.
Por ello, un modelo híbrido puede dividir el trabajo:
| Tipo de memoria | Capa típica | Comportamiento de memoria |
|---|---|---|
| Eidética | Atención | Acceso exacto a los tokens pasados almacenados; la caché crece con el contexto |
| Evanescente | Modelo de espacio de estados | Comprime el historial en un estado de tamaño fijo |
El objetivo no es eliminar la atención por completo.
Es mantener la costosa memoria eidética solo allí donde el modelo realmente se beneficia de ella.
La idea central de Priming es que el conocimiento preentrenado no tiene que permanecer ligado a la arquitectura exacta que lo aprendió originalmente.
Un Transformer y un modelo de espacio de estados se ven diferentes desde el punto de vista operativo, pero pueden analizarse desde una perspectiva matemática común.
Ambos pueden entenderse como la aplicación de una operación de mezcla a una secuencia de valores.
Una capa de atención construye una matriz de mezcla a partir de sus proyecciones de consulta y clave.
Una capa de espacio de estados produce una forma relacionada de mezcla mediante un estado recurrente con dimensionalidad fija.
Si un SSM puede aproximar con suficiente fidelidad el comportamiento de una capa de atención concreta, gran parte de la estructura aprendida por el Transformer existente puede reutilizarse.
Esto incluye las proyecciones aprendidas de la capa fuente.
El nuevo modelo necesita aprender principalmente los parámetros específicos de la dinámica del espacio de estados.
No todas las capas de atención son igual de adecuadas para la conversión.
Una capa que realiza recuperación compleja de largo alcance puede necesitar realmente acceso eidético completo.
Una capa que se comporta principalmente de forma local es una candidata mucho mejor para SSM.
Los investigadores utilizan un indicador empírico económico:
Si el rendimiento apenas cambia, la capa probablemente no depende de forma importante de la recuperación exacta a larga distancia.
Eso la convierte en una candidata prometedora para transformarse en una capa SSM de estado fijo.
El indicador está relacionado con una cantidad de sistemas dinámicos denominada rango de Hankel de la matriz de mezcla de la capa.
De manera informal, el rango de Hankel captura cuánto estado se necesita para reproducir exactamente el comportamiento de entrada y salida de la capa.
Una capa con un comportamiento temporal más simple a menudo puede representarse mediante un cuello de botella de estado más pequeño.
La canalización completa de Priming tiene tres etapas principales.
Identificar capas de atención que pueden comprimirse en representaciones de estado de tamaño fijo sin provocar una pérdida importante de calidad.
Las capas de atención que parecen necesitar recuperación exacta de largo alcance se conservan.
Inicializar cada SSM de sustitución utilizando pesos de la capa Transformer que reemplaza.
Después, ejecutar una breve fase de destilación para que el SSM aprenda a reproducir el comportamiento de la capa original.
Ajustar finamente el modelo híbrido completo mediante predicción del siguiente token o la receta descendente prevista.
En esta etapa, las capas de atención y SSM pueden coadaptarse como un único modelo.
Priming selecciona capas de atención locales, transfiere sus proyecciones a capas SSM, alinea el comportamiento mediante destilación y, después, ajusta finamente el híbrido completo.
Todo el proceso consume menos del 0,5 % del presupuesto original de tokens de preentrenamiento del modelo fuente.
Esto es lo que hace viables los experimentos controlados de arquitectura.
En vez de dedicar una ejecución completa de preentrenamiento a cada diseño candidato, los investigadores pueden iniciar cada variante a partir de la misma inicialización preentrenada sólida.
Una vez que la conversión de arquitectura se vuelve económica, otra cuestión es más fácil de estudiar:
Si se mantienen constantes los datos, el presupuesto de entrenamiento y la proporción híbrida, ¿qué capa SSM funciona mejor?
El artículo compara tres diseños de espacio de estados.
Mamba-2 utiliza un mecanismo de decaimiento relativamente uniforme sobre su estado.
Cuando llega nueva información, el modelo actualiza el estado mientras la información anterior se desvanece.
El mecanismo es sencillo y eficiente, pero el proceso de olvido es comparativamente indiscriminado.
Gated DeltaNet añade actualizaciones más específicas.
En lugar de degradarlo todo de forma uniforme, puede borrar o reescribir selectivamente el valor asociado a una clave concreta.
Esto le proporciona un control más expresivo sobre qué se conserva.
Gated KalmaNet va más allá.
Su actualización depende no solo de la clave actual, sino también de estadísticas acumuladas a lo largo del historial.
La capa se basa en una formulación iterativa de regresión ridge en línea inspirada en el filtrado de Kalman.
Esto proporciona a GKA un mecanismo más consciente del historial para decidir cómo debe actualizar el estado ante nueva información.
En experimentos controlados con híbridos de 8B, GKA generalmente lidera a GDN, que a su vez supera de forma consistente a Mamba-2.
Los resultados empíricos coinciden ampliamente con el orden teórico de expresividad:
GKA > GDN > Mamba-2
La diferencia aumenta en las tareas de razonamiento con contexto largo, donde la calidad de la memoria comprimida se vuelve más importante.
A escala de 32B, el modelo híbrido GKA se mantiene a aproximadamente un 1 % de un Transformer comparable posentrenado con los mismos datos, mientras utiliza aproximadamente la mitad de caché KV.
Uno de los hallazgos más contraintuitivos procede de comparar los SSM con la atención de ventana deslizante.
La atención de ventana deslizante conserva representaciones exactas únicamente de los tokens más recientes.
A primera vista, esto parece atractivo.
Nada dentro de la ventana se comprime ni se pierde.
Pero la ventana descarta todo lo que es anterior a su extensión fija.
Un SSM hace lo contrario.
Comprime todo el historial en un estado de tamaño fijo con pérdida.
Los autores observaron que el resumen con pérdida de todo el historial suele funcionar mejor.
Describe tu idea una vez y We0 AI puede generar un sitio de presentacion, paginas y CMS, y ayudarte a atraer clientes y trafico tras el lanzamiento.
Una generación completa de proyectos para registro gratuito
Lo mejor para probar un flujo de generación completo y ver rápidamente el primer borrador del proyecto.
El híbrido basado en SSM supera de forma consistente al híbrido de ventana deslizante en las tareas de contexto largo evaluadas.
Todos los híbridos basados en SSM del estudio superaron a sus equivalentes SWA en pruebas comparativas de contexto largo.
Esto siguió siendo cierto incluso cuando la atención de ventana deslizante recibió aproximadamente de dos a cuatro veces más memoria que la capa de espacio de estados.
El resultado sugiere un principio útil:
Un resumen compacto de todo el pasado puede ser más útil que una grabación perfecta de solo el pasado reciente.
Esto es importante para los agentes persistentes, donde el contexto antiguo aún puede contener información importante aunque ya no sea reciente.
GKA tiene otra propiedad que Mamba-2 y GDN no ofrecen de la misma forma: cómputo variable en tiempo de inferencia.
Mamba-2 y GDN aplican esencialmente el mismo presupuesto de cómputo a cada token.
GKA resuelve iterativamente un problema interno de regresión.
El número de iteraciones puede modificarse durante el servicio.
No se requiere reentrenamiento.
Cambiar el número de iteraciones de GKA desplaza el modelo a lo largo de una frontera de velocidad frente a precisión en tiempo de servicio.
En los experimentos AIME 2025 del artículo, reducir GKA de sus 30 iteraciones habituales a 10 proporciona aproximadamente:
~10 % de decodificación más rápida
~1 % de pérdida de precisión
Esto significa que un modelo entrenado puede admitir distintos niveles de latencia.
Un sistema de servicio podría utilizar:
Esto convierte el esfuerzo de inferencia en un control de ejecución en lugar de una propiedad fijada durante el entrenamiento.
El rendimiento bruto de tokens puede ser engañoso.
Un modelo que genera tokens rápidamente puede tardar más en llegar a la respuesta correcta si necesita una traza de razonamiento mucho más larga.
Por ello, los investigadores también miden el tiempo de reloj hasta alcanzar la precisión objetivo.
Comparan un híbrido preparado GKA de 32B con su modelo fuente Qwen3-32B utilizando la misma receta de razonamiento.
Ambos sistemas generan trazas de razonamiento de longitud similar:
El híbrido no gana por razonar menos.
Gana porque puede procesar esas trazas de razonamiento comparables con un rendimiento mayor.
A niveles de concurrencia realistas, el híbrido de 32B alcanza los umbrales de precisión objetivo:
La razón principal es la memoria.
Sustituir la mitad de las capas de atención por capas SSM de estado fijo reduce aproximadamente a la mitad la carga de caché KV por secuencia.
Esto permite que el sistema de servicio ejecute más secuencias simultáneamente en el mismo hardware.
La ventaja de rendimiento aumenta a medida que el contexto se alarga y crece la presión de la caché KV.
Para el modelo de 32B que utiliza 10 iteraciones de GKA, las mejoras de rendimiento de decodificación comunicadas son aproximadamente:
| Longitud del contexto | Aceleración frente al Transformer fuente |
|---|---|
| 16K | 1,50× |
| 32K | 1,59× |
| 64K | 1,95× |
| 128K | 2,06× |
Los modelos de 8B muestran ganancias incluso mayores, pasando de aproximadamente 1,94× a 16K hasta 2,29× a 128K.
Por ello, el resumen del artículo en arXiv describe el resultado más amplio como hasta aproximadamente 2,3× más rendimiento de decodificación.
La ganancia de rendimiento también puede importar durante el posentrenamiento de aprendizaje por refuerzo.
Si una política puede generar más recorridos por unidad de tiempo, la canalización de entrenamiento puede recopilar más trayectorias útiles con el mismo presupuesto de GPU.
Amazon informa de un aumento del 20 % al 100 % en la tasa de datos de entrenamiento de RL bajo las condiciones evaluadas.
Esto no cambia el algoritmo de RL en sí.
Cambia la velocidad a la que el modelo puede producir los datos que necesita el proceso de RL.
Los modelos híbridos publicados no están optimizados únicamente para la velocidad.
El artículo también compara su calidad de razonamiento con la de sus Transformers Qwen3 fuente.
Los híbridos GKA preparados siguen siendo competitivos o superan a sus Transformers fuente en las pruebas comparativas de razonamiento comunicadas.
El resumen del artículo en arXiv informa de que el híbrido GKA de 32B mejora en 3,8 puntos promedio de razonamiento respecto a su punto de control fuente Qwen3-32B, mientras se mantiene dentro de un 1 % de un Transformer posentrenado con los mismos datos.
El punto metodológico importante es que la arquitectura híbrida no se evalúa después de una ejecución de preentrenamiento independiente completa.
Hereda la mayor parte de su conocimiento de un modelo existente y recibe solo una cantidad relativamente pequeña de entrenamiento de alineación y adaptación.
Los híbridos preparados admiten de forma nativa 128K tokens.
Pero las sesiones reales de agentes, los repositorios grandes y los documentos jurídicos o técnicos extensos pueden superar esa cifra.
Normalmente, ampliar el contexto puede requerir otra ronda de entrenamiento de contexto largo.
En su lugar, los investigadores adaptan una idea de su trabajo anterior PICASO.
Los Transformers puros pueden utilizar métodos de reescalado posicional como YaRN.
Los SSM puros pueden componer estados recurrentes.
Un modelo híbrido tiene ambos:
Ambos sistemas de memoria deben ampliarse de forma conjunta.
El método propuesto es:
Las entradas largas se procesan como fragmentos independientes; las cachés de atención se concatenan y los estados SSM se fusionan.
Esto amplía los modelos híbridos preparados desde:
Contexto nativo de 128K
↓
Contexto compuesto de 256K
sin entrenamiento adicional.
El artículo informa de una conservación sustancial de precisión en:
El mismo orden de expresividad sigue siendo visible después de la ampliación:
GKA > GDN > Mamba-2
El principal valor de Priming puede ser más amplio que cualquier prueba comparativa individual.
Antes de Priming, evaluar una nueva arquitectura híbrida a escala podía requerir una ejecución completa de preentrenamiento.
Esto hacía extremadamente costosas preguntas como las siguientes:
Priming hace estos experimentos mucho más económicos porque cada candidato puede partir de la misma base preentrenada.
Amazon ha publicado la implementación como Hybrid Model Factory bajo la licencia Apache 2.0.
La publicación incluye:
El repositorio admite actualmente múltiples familias y clases de Transformers preentrenados, incluidos Qwen, modelos de la familia Llama, modelos de la familia Mistral, arquitecturas densas y variantes MoE.
Para el servicio de contexto largo, la idea práctica es sencilla:
Mantener la atención donde importa la recuperación exacta
+
Utilizar memoria de estado fijo donde no importa
↓
Caché KV más pequeña
↓
Más secuencias simultáneas
↓
Mayor rendimiento
Para la investigación de arquitecturas, el beneficio es diferente:
Transformer preentrenado sólido
↓
Preparar económicamente muchas variantes híbridas
↓
Comparar arquitecturas en condiciones controladas
El tema común es que el conocimiento puede reutilizarse incluso cuando cambia la arquitectura de memoria.
Priming es un método para inicializar una nueva arquitectura híbrida de atención y SSM a partir de un Transformer preentrenado. En lugar de volver a aprender todo el conocimiento del modelo desde cero, transfiere los pesos existentes, alinea las capas SSM de sustitución y, después, realiza una breve adaptación de extremo a extremo.
El artículo informa de que la canalización completa de Priming utiliza menos del 0,5 % del presupuesto original de tokens de preentrenamiento del modelo fuente. Esto equivale a una reducción superior al 99 % en los requisitos de datos a escala de preentrenamiento frente a iniciar una nueva arquitectura desde cero.
No. El método está diseñado para modelos híbridos. Mantiene capas de atención donde la recuperación exacta de largo alcance es útil y sustituye capas seleccionadas por capas SSM de estado fijo donde la memoria evanescente comprimida es suficiente.
En los experimentos controlados, Gated KalmaNet suele ofrecer el mejor rendimiento, seguida de Gated DeltaNet y después Mamba-2. La diferencia se vuelve más importante en tareas de razonamiento con contexto largo.
La ganancia comunicada depende del tamaño del modelo, la longitud del contexto y el número de iteraciones de GKA. Para el modelo de 32B, el rendimiento de decodificación alcanza aproximadamente 2,06× el del Transformer fuente con un contexto de 128K y 10 iteraciones de GKA; los modelos de 8B alcanzan hasta aproximadamente 2,29×.
Priming construye el modelo híbrido, mientras que un método independiente de composición de estados híbridos amplía su contexto sin entrenamiento adicional. El artículo demuestra una ampliación desde un contexto nativo de 128K a 256K mediante la composición de cachés KV de atención y estados SSM.
Sí. Amazon publicó Hybrid Model Factory bajo la licencia Apache 2.0, junto con código de entrenamiento, puntos de control de modelos, kernels optimizados, herramientas de paralelismo por secuencias y un complemento de servicio para vLLM.
Sí. Hybrid Model Factory incluye un complemento de vLLM diseñado para el servicio de producción de sus arquitecturas híbridas personalizadas. El repositorio documenta procesamiento por lotes continuo, paralelismo de tensores, caché de prefijos y despliegue basado en Docker.
Priming transforma la investigación de modelos híbridos de un problema de preentrenamiento completo a un problema de transferencia de conocimiento. Los pesos existentes de Transformer proporcionan el punto de partida, las capas de atención seleccionadas se convierten en capas SSM y un breve proceso de alineación y adaptación recupera la calidad del modelo utilizando menos del 0,5 % del presupuesto original de tokens de preentrenamiento.
Los híbridos resultantes reducen la presión de la caché KV mientras conservan la atención donde es útil la recuperación exacta. En los experimentos comunicados, Gated KalmaNet ofrece los resultados de memoria evanescente más sólidos, proporciona un control de velocidad frente a precisión en tiempo de ejecución y logra grandes ganancias de rendimiento en contexto largo.
La misma arquitectura también puede llevarse más allá de su ventana de entrenamiento nativa: la composición de estados amplía los híbridos de 128K a 256K sin entrenamiento adicional mediante la combinación de cachés de atención y estados SSM recurrentes.
La idea clave es simple: el conocimiento aprendido por un modelo no tiene por qué estar ligado a la arquitectura que lo aprendió originalmente.
Empieza con una sola frase y obtén un sitio completo en minutos.
