For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/fr/articles/priming-convert-transformers-into-faster-f8cc4784.md.
Les agents IA deviennent plus persistants, plus autonomes et plus exigeants en calcul.
Les agents IA deviennent plus persistants, plus autonomes et plus exigeants en calcul.
L’architecture Transformer sous-jacente conserve un coût fondamental : à mesure que le contexte s’allonge, le cache clé-valeur augmente avec lui. Les longues sessions d’agents, les grandes bases de code et les traces de raisonnement étendues exercent donc une pression croissante sur la mémoire GPU et le débit d’inférence.
Les chercheurs ont répondu par une famille grandissante d’architectures hybrides qui combinent différents mécanismes de mémoire.
Elles comprennent :
Le problème est que tester une nouvelle architecture à une échelle sérieuse impliquait traditionnellement de l’entraîner depuis zéro.
Cela peut nécessiter des milliers de milliards de jetons et des centaines de milliers d’heures GPU.
Des chercheurs d’Amazon Web Services proposent une approche différente dans l’article « Priming: Hybrid State Space Models From Pre-trained Transformers ».
Au lieu de tout réapprendre, Priming transfère les connaissances d’un Transformer préentraîné existant vers une nouvelle architecture hybride.
Le pipeline complet utilise moins de 0,5 % du budget de jetons du préentraînement initial du modèle source, ce qui réduit de plus de 99 % le coût d’exploration des architectures.
Les chercheurs appliquent la méthode à :
Dans les résultats les plus solides de service en contexte long, le remplacement d’une partie d’un Transformer par des couches à espace d’état Gated KalmaNet réduit l’empreinte du cache KV et augmente sensiblement le débit de décodage.
Un hybride 32B primé atteint des seuils d’exactitude AIME plus vite que son Transformer Qwen3 source.
Le résultat ne se limite pas à un modèle plus rapide.
Priming transforme la conception d’architectures en un problème de transfert de connaissances plutôt qu’en un problème de préentraînement complet.
Pour comprendre pourquoi Priming fonctionne, il est utile de partir de l’attention Transformer classique.
L’attention utilise trois projections apprises :
Pour chaque jeton, le modèle compare sa requête aux clés des jetons précédents.
Les jetons qui correspondent davantage contribuent avec une part plus importante de leurs valeurs à la sortie.
Comme les modèles de langage autorégressifs génèrent un jeton à la fois, le contexte continue de croître.
Recalculer toutes les projections de clés et de valeurs antérieures à chaque étape serait inefficace ; les Transformers les stockent donc dans un cache KV.
Ce cache est extrêmement utile.
Il est aussi à l’origine d’un coût mémoire important.
À mesure que la séquence d’entrée s’allonge, le cache augmente.
Pour de courtes conversations, cela peut rester gérable.
Pour des exécutions de raisonnement à 128K jetons, de grandes bases de code ou des agents persistants, il devient l’une des principales limites pour la taille de lot et l’efficacité du service.
L’équipe d’Amazon décrit l’attention complète comme une forme de mémoire eidétique.
Une couche d’attention peut, en principe, revisiter la représentation exacte de n’importe quel jeton encore présent dans la fenêtre de contexte.
Cette propriété d’accès littéral rend possibles de nombreux comportements utiles :
Mais toutes les couches d’un Transformer n’ont pas besoin d’un accès complet à l’intégralité de l’historique.
Certaines couches effectuent principalement des opérations locales :
Pour ces couches, il peut être inutile de stocker le passé exact.
Un état compressé de taille fixe peut suffire.
Les auteurs appellent cela la mémoire déclinante.
Un modèle hybride peut ainsi répartir le travail :
| Type de mémoire | Couche typique | Comportement mémoire |
|---|---|---|
| Eidétique | Attention | Accès exact aux jetons passés stockés ; le cache augmente avec le contexte |
| Déclinante | Modèle à espace d’état | Compresse l’historique dans un état de taille fixe |
L’objectif n’est pas de supprimer entièrement l’attention.
Il consiste à ne conserver la coûteuse mémoire eidétique que là où le modèle en tire réellement profit.
L’idée centrale de Priming est que les connaissances préentraînées ne doivent pas rester liées à l’architecture exacte qui les a initialement acquises.
Un Transformer et un modèle à espace d’état fonctionnent différemment, mais ils peuvent être envisagés à travers une même grille mathématique.
Les deux peuvent être compris comme l’application d’une opération de mélange à une séquence de valeurs.
Une couche d’attention construit une matrice de mélange à partir de ses projections de requêtes et de clés.
Une couche à espace d’état produit une forme de mélange apparentée au moyen d’un état récurrent de dimension fixe.
Si un SSM peut approcher suffisamment fidèlement le comportement d’une couche d’attention particulière, une grande partie de la structure apprise du Transformer existant peut être réutilisée.
Cela comprend les projections apprises de la couche source.
Le nouveau modèle doit alors surtout apprendre les paramètres propres à la dynamique de l’espace d’état.
Toutes les couches d’attention ne se prêtent pas autant à la conversion.
Une couche qui effectue une récupération complexe à longue portée peut réellement nécessiter un accès eidétique complet.
Une couche dont le comportement est surtout local est une bien meilleure candidate pour un SSM.
Les chercheurs utilisent un indicateur empirique peu coûteux :
Si les performances changent très peu, la couche ne dépend probablement pas fortement d’un rappel exact à longue distance.
Elle devient alors une candidate prometteuse à la conversion en couche SSM à état fixe.
Cet indicateur est lié à une quantité issue des systèmes dynamiques, appelée le rang de Hankel de la matrice de mélange de la couche.
De manière informelle, le rang de Hankel capture la quantité d’état nécessaire pour reproduire exactement le comportement entrée-sortie de la couche.
Une couche au comportement temporel plus simple peut souvent être représentée par un goulot d’étranglement d’état plus petit.
Le pipeline Priming complet comporte trois étapes principales.
Identifier les couches d’attention qui peuvent être compressées dans des représentations d’état de taille fixe sans provoquer de perte de qualité importante.
Les couches d’attention qui semblent nécessiter une récupération exacte à longue portée sont conservées.
Initialiser chaque SSM de remplacement à l’aide des poids de la couche Transformer qu’il remplace.
Exécuter ensuite une courte phase de distillation afin que le SSM apprenne à reproduire le comportement de la couche d’origine.
Affiner le modèle hybride complet pour la prédiction du jeton suivant ou pour la recette aval prévue.
À cette étape, les couches d’attention et SSM peuvent se coadapter en tant que modèle unique.
Priming sélectionne les couches d’attention locales, transfère leurs projections vers des couches SSM, aligne leur comportement par distillation, puis affine l’hybride complet.
L’ensemble du processus consomme moins de 0,5 % du budget de jetons de préentraînement initial du modèle source.
C’est ce qui rend réalisables des expériences contrôlées sur les architectures.
Au lieu de consacrer un préentraînement complet à chaque conception candidate, les chercheurs peuvent démarrer chaque variante depuis la même initialisation préentraînée robuste.
Une fois la conversion d’architecture devenue peu coûteuse, une autre question devient plus facile à étudier :
Si les données, le budget d’entraînement et le ratio hybride restent constants, quelle couche SSM fonctionne le mieux ?
L’article compare trois conceptions à espace d’état.
Mamba-2 utilise un mécanisme de décroissance relativement uniforme sur son état.
Lorsque de nouvelles informations arrivent, le modèle met à jour l’état tandis que les informations plus anciennes s’estompent.
Le mécanisme est simple et efficace, mais le processus d’oubli est comparativement peu discriminant.
Gated DeltaNet ajoute des mises à jour plus ciblées.
Au lieu de faire décroître uniformément tout l’état, il peut effacer ou réécrire sélectivement la valeur associée à une clé particulière.
Cela lui donne un contrôle plus expressif sur ce qui est conservé.
Gated KalmaNet va plus loin.
Sa mise à jour dépend non seulement de la clé courante, mais aussi de statistiques accumulées dans l’historique.
La couche repose sur une formulation itérative de régression ridge en ligne inspirée du filtrage de Kalman.
Cela confère à GKA un mécanisme davantage conscient de l’historique pour décider comment les nouvelles informations doivent mettre à jour l’état.
Dans des expériences hybrides 8B contrôlées, GKA devance généralement GDN, qui surpasse à son tour systématiquement Mamba-2.
Les résultats empiriques correspondent globalement à l’ordre théorique d’expressivité :
GKA > GDN > Mamba-2
L’écart s’accroît sur les tâches de raisonnement à contexte long, où la qualité de la mémoire compressée devient plus importante.
À l’échelle 32B, le modèle hybride GKA se maintient à environ 1 % d’un Transformer comparable post-entraîné sur les mêmes données, tout en utilisant approximativement la moitié du cache KV.
L’une des conclusions les plus contre-intuitives vient de la comparaison des SSM avec l’attention à fenêtre glissante.
L’attention à fenêtre glissante conserve les représentations exactes des seuls jetons les plus récents.
À première vue, cela semble attrayant.
Rien dans la fenêtre n’est compressé ni perdu.
Mais la fenêtre abandonne tout ce qui est plus ancien que sa longueur fixe.
Un SSM fait l’inverse.
Il compresse l’historique complet dans un état fixe avec perte d’information.
Les auteurs ont constaté que ce résumé avec perte de l’historique intégral fonctionne souvent mieux.
Decrivez votre idee une fois, et We0 AI peut generer un site vitrine, des pages et un CMS, puis vous aider a attirer clients et trafic apres le lancement.
Une génération de projet complète pour une inscription gratuite
Idéal pour essayer un flux de génération complet et voir rapidement une première ébauche de projet.
L’hybride fondé sur les SSM dépasse systématiquement l’hybride à fenêtre glissante dans les tâches de contexte long rapportées.
Chaque hybride fondé sur les SSM de l’étude a surpassé son équivalent SWA dans les benchmarks de contexte long.
Cela reste vrai même lorsque l’attention à fenêtre glissante reçoit environ deux à quatre fois plus de mémoire que la couche à espace d’état.
Le résultat suggère un principe utile :
Un résumé compact de l’intégralité du passé peut être plus utile qu’un enregistrement parfait du seul passé récent.
C’est important pour les agents persistants, car un contexte ancien peut encore contenir des informations importantes, même s’il n’est plus récent.
GKA possède une autre propriété que Mamba-2 et GDN n’offrent pas de la même manière : le calcul variable au moment de l’inférence.
Mamba-2 et GDN appliquent essentiellement le même budget de calcul à chaque jeton.
GKA résout de manière itérative un problème interne de régression.
Le nombre d’itérations peut être modifié au moment du service.
Aucun réentraînement n’est nécessaire.
La modification du nombre d’itérations de GKA déplace le modèle le long d’un compromis entre vitesse et exactitude au moment du service.
Dans les expériences AIME 2025 de l’article, faire passer GKA de ses 30 itérations habituelles à 10 apporte approximativement :
~10 % de décodage plus rapide
~1 % de perte d’exactitude
Cela signifie qu’un même modèle entraîné peut prendre en charge différents niveaux de latence.
Un système de service pourrait utiliser :
L’effort d’inférence devient ainsi un contrôle d’exécution, plutôt qu’une propriété figée pendant l’entraînement.
Le débit brut de jetons peut être trompeur.
Un modèle qui génère rapidement des jetons peut tout de même mettre plus de temps à atteindre la bonne réponse s’il nécessite une trace de raisonnement beaucoup plus longue.
Les chercheurs mesurent donc également le temps réel nécessaire pour atteindre une exactitude cible.
Ils comparent un hybride GKA primé 32B à son modèle source Qwen3-32B, avec la même recette de raisonnement.
Les deux systèmes génèrent des traces de raisonnement de longueur similaire :
L’hybride ne gagne pas en raisonnant moins.
Il gagne parce qu’il peut traiter ces traces de raisonnement comparables avec un débit supérieur.
À des niveaux de concurrence réalistes, l’hybride 32B atteint les seuils d’exactitude cibles :
La raison principale est la mémoire.
Remplacer la moitié des couches d’attention par des couches SSM à état fixe réduit environ de moitié la charge de cache KV par séquence.
Cela permet au système de service d’exécuter davantage de séquences simultanément sur le même matériel.
L’avantage de débit augmente à mesure que le contexte s’allonge et que la pression sur le cache KV s’intensifie.
Pour le modèle 32B utilisant 10 itérations GKA, les gains de débit de décodage rapportés sont approximativement les suivants :
| Longueur du contexte | Accélération par rapport au Transformer source |
|---|---|
| 16K | 1,50× |
| 32K | 1,59× |
| 64K | 1,95× |
| 128K | 2,06× |
Les modèles 8B affichent des gains encore plus importants, passant d’environ 1,94× à 16K jusqu’à 2,29× à 128K.
Le résumé arXiv de l’article présente donc le résultat global comme un débit de décodage jusqu’à environ 2,3× plus élevé.
Le gain de débit peut également compter lors du post-entraînement par apprentissage par renforcement.
Si une politique peut générer davantage de rollouts par unité de temps, le pipeline d’entraînement peut recueillir davantage de trajectoires utiles avec le même budget GPU.
Amazon rapporte une augmentation de 20 % à 100 % du débit de données d’entraînement RL dans les conditions testées.
Cela ne modifie pas l’algorithme RL lui-même.
Cela modifie la vitesse à laquelle le modèle peut produire les données dont le processus RL a besoin.
Les modèles hybrides publiés ne sont pas optimisés uniquement pour la vitesse.
L’article compare également leur qualité de raisonnement avec celle de leurs Transformers Qwen3 sources.
Les hybrides GKA primés restent compétitifs par rapport à leurs Transformers sources, ou les surpassent, dans les benchmarks de raisonnement rapportés.
Le résumé arXiv de l’article indique que l’hybride GKA 32B progresse de 3,8 points de raisonnement moyens par rapport à son checkpoint Qwen3-32B source, tout en restant à moins de 1 % d’un Transformer post-entraîné sur les mêmes données.
Le point méthodologique important est que l’architecture hybride n’est pas évaluée après un préentraînement indépendant complet.
Elle hérite de l’essentiel de ses connaissances d’un modèle existant et ne reçoit qu’une quantité relativement faible d’entraînement d’alignement et d’adaptation.
Les hybrides primés prennent nativement en charge 128K jetons.
Mais les sessions d’agents réelles, les grands dépôts et les documents juridiques ou techniques longs peuvent dépasser cette limite.
Habituellement, étendre le contexte peut nécessiter un nouveau cycle d’entraînement en contexte long.
Les chercheurs adaptent plutôt une idée de leurs travaux antérieurs PICASO.
Les Transformers purs peuvent utiliser des méthodes de remise à l’échelle positionnelle telles que YaRN.
Les SSM purs peuvent composer des états récurrents.
Un modèle hybride possède les deux :
Les deux systèmes de mémoire doivent être étendus ensemble.
La méthode proposée consiste à :
Les entrées longues sont traitées comme des fragments indépendants ; les caches d’attention sont concaténés et les états SSM sont fusionnés.
Cette approche étend les modèles hybrides primés de :
Contexte natif de 128K
↓
Contexte composé de 256K
sans entraînement supplémentaire.
L’article rapporte une exactitude largement conservée sur :
Le même ordre d’expressivité reste visible après l’extension :
GKA > GDN > Mamba-2
La valeur principale de Priming est peut-être plus large que n’importe quel benchmark isolé.
Avant Priming, évaluer une nouvelle architecture hybride à grande échelle pouvait nécessiter un préentraînement complet.
Cela rendait des questions comme celles-ci extrêmement coûteuses :
Priming rend ces expériences bien moins coûteuses, car chaque candidat peut partir de la même fondation préentraînée.
Amazon a publié l’implémentation sous le nom de Hybrid Model Factory, sous licence Apache 2.0.
La publication comprend :
Le dépôt prend actuellement en charge plusieurs familles de Transformers préentraînés et catégories de modèles, dont Qwen, les modèles de la famille Llama, les modèles de la famille Mistral, les architectures denses et les variantes MoE.
Pour le service en contexte long, l’idée pratique est simple :
Conserver l’attention là où le rappel exact est important
+
Utiliser une mémoire à état fixe là où elle ne l’est pas
↓
Cache KV plus petit
↓
Davantage de séquences simultanées
↓
Débit supérieur
Pour la recherche sur les architectures, le bénéfice est différent :
Transformer préentraîné robuste
↓
Préparer à faible coût de nombreuses variantes hybrides
↓
Comparer les architectures dans des conditions contrôlées
Le thème commun est que les connaissances peuvent être réutilisées même lorsque l’architecture mémoire change.
Priming est une méthode permettant d’initialiser une nouvelle architecture hybride attention–SSM à partir d’un Transformer préentraîné. Au lieu de réapprendre l’ensemble des connaissances du modèle depuis zéro, elle transfère les poids existants, aligne les couches SSM de remplacement, puis réalise une courte adaptation de bout en bout.
L’article indique que le pipeline Priming complet utilise moins de 0,5 % du budget de jetons de préentraînement initial du modèle source. Cela correspond à une réduction de plus de 99 % des besoins en données à l’échelle du préentraînement, par rapport au démarrage d’une nouvelle architecture depuis zéro.
Non. La méthode est conçue pour les modèles hybrides. Elle conserve les couches d’attention là où une récupération exacte à longue portée est utile et remplace certaines couches par des couches SSM à état fixe là où une mémoire déclinante compressée est suffisante.
Dans les expériences contrôlées, Gated KalmaNet affiche généralement les meilleures performances, suivie de Gated DeltaNet puis de Mamba-2. L’écart devient plus important dans les tâches de raisonnement en contexte long.
Le gain rapporté dépend de la taille du modèle, de la longueur de contexte et du nombre d’itérations GKA. Pour le modèle 32B, le débit de décodage atteint environ 2,06× celui du Transformer source à un contexte de 128K avec 10 itérations GKA ; les modèles 8B atteignent jusqu’à environ 2,29×.
Priming lui-même construit le modèle hybride, tandis qu’une méthode distincte de composition d’états hybrides étend son contexte sans entraînement supplémentaire. L’article démontre une extension d’un contexte natif de 128K à 256K en composant les caches KV d’attention et les états SSM.
Oui. Amazon a publié Hybrid Model Factory sous licence Apache 2.0, avec le code d’entraînement, des checkpoints de modèles, des noyaux optimisés, des outils de parallélisme de séquence et un plugin de service vLLM.
Oui. Hybrid Model Factory inclut un plugin vLLM conçu pour le service en production de ses architectures hybrides personnalisées. Le dépôt documente le traitement par lots continu, le parallélisme tensoriel, la mise en cache des préfixes et le déploiement basé sur Docker.
Priming transforme la recherche sur les modèles hybrides d’un problème de préentraînement complet en un problème de transfert de connaissances. Les poids d’un Transformer existant servent de point de départ, certaines couches d’attention sont converties en couches SSM, et un court processus d’alignement et d’adaptation permet de retrouver la qualité du modèle avec moins de 0,5 % du budget initial de jetons de préentraînement.
Les hybrides obtenus réduisent la pression sur le cache KV tout en conservant l’attention là où le rappel exact est utile. Dans les expériences rapportées, Gated KalmaNet fournit les meilleurs résultats de mémoire déclinante, expose un contrôle d’exécution entre vitesse et exactitude, et apporte d’importants gains de débit en contexte long.
La même architecture peut également dépasser sa fenêtre d’entraînement native : la composition d’états étend les hybrides 128K à 256K sans entraînement supplémentaire en combinant les caches d’attention et les états SSM récurrents.
L’idée essentielle est simple : les connaissances apprises d’un modèle ne doivent pas être verrouillées dans l’architecture qui les a initialement apprises.
Partez d’une phrase et obtenez un site complet en quelques minutes.
