For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/de/articles/priming-convert-transformers-into-faster-f8cc4784.md.
KI-Agenten werden langlebiger, autonomer und rechenintensiver.
KI-Agenten werden langlebiger, autonomer und rechenintensiver.
Die zugrunde liegende Transformer-Architektur bringt weiterhin grundlegende Kosten mit sich: Mit wachsendem Kontext wächst auch der Key-Value-Cache. Lange Agentensitzungen, große Codebasen und ausgedehnte Reasoning-Traces erhöhen daher den Druck auf GPU-Speicher und Inferenzdurchsatz.
Forschende haben darauf mit einer wachsenden Familie hybrider Architekturen reagiert, die unterschiedliche Speichermechanismen kombinieren.
Dazu gehören:
Das Problem besteht darin, dass das Testen einer neuen Architektur in ernsthaftem Maßstab bislang in der Regel ein Training von Grund auf erforderte.
Das kann Billionen von Token und Hunderttausende GPU-Stunden beanspruchen.
Forschende von Amazon Web Services schlagen in der Arbeit „Priming: Hybrid State Space Models From Pre-trained Transformers“ einen anderen Ansatz vor.
Statt alles neu zu lernen, überträgt Priming Wissen aus einem bestehenden vortrainierten Transformer in eine neue Hybridarchitektur.
Die vollständige Pipeline verwendet weniger als 0,5 % des ursprünglichen Vortrainings-Tokenbudgets des Quellmodells und senkt die Kosten für die Architekturexploration um mehr als 99 %.
Die Forschenden wenden die Methode auf Folgendes an:
Bei den stärksten Serving-Ergebnissen für lange Kontexte reduziert das Ersetzen eines Teils eines Transformers durch Gated-KalmaNet-State-Space-Schichten den KV-Cache-Bedarf und steigert den Dekodierungsdurchsatz erheblich.
Ein geprimtes 32B-Hybridmodell erreicht AIME-Genauigkeitsschwellen schneller als sein Qwen3-Quell-Transformer.
Das Ergebnis ist nicht lediglich ein schnelleres Modell.
Priming macht Architekturdesign zu einem Wissenstransferproblem statt zu einem vollständigen Vortrainingsproblem.
Um zu verstehen, warum Priming funktioniert, hilft es, mit gewöhnlicher Transformer-Attention zu beginnen.
Attention verwendet drei gelernte Projektionen:
Für jedes Token vergleicht das Modell seine Query mit den Keys vergangener Token.
Token mit einer stärkeren Übereinstimmung tragen mehr ihrer Values zum Output bei.
Da autoregressive Sprachmodelle jeweils ein Token generieren, wächst der Kontext fortlaufend.
Alle vergangenen Key- und Value-Projektionen bei jedem Schritt neu zu berechnen, wäre ineffizient, daher speichern Transformer sie in einem KV-Cache.
Dieser Cache ist äußerst nützlich.
Er ist jedoch auch die Quelle erheblicher Speicherkosten.
Mit zunehmender Eingabesequenz wächst der Cache.
Bei kurzen Unterhaltungen kann das handhabbar sein.
Bei Reasoning-Läufen mit 128K Token, langen Codebasen oder persistenten Agenten wird er zu einer der zentralen Begrenzungen für Batch-Größe und Serving-Effizienz.
Das Amazon-Team beschreibt vollständige Attention als eine Form von eidetischem Gedächtnis.
Eine Attention-Schicht kann prinzipiell die exakte Repräsentation jedes noch im Kontextfenster befindlichen Tokens erneut aufrufen.
Diese Eigenschaft des wortgetreuen Zugriffs ermöglicht viele nützliche Verhaltensweisen:
Doch nicht jede Transformer-Schicht benötigt vollständigen Zugriff auf den gesamten Verlauf.
Einige Schichten führen vor allem lokale Operationen aus:
Für diese Schichten kann es unnötig sein, die exakte Vergangenheit zu speichern.
Ein komprimierter Zustand fester Größe kann ausreichen.
Die Autoren nennen dies verblassendes Gedächtnis.
Ein Hybridmodell kann die Arbeit daher aufteilen:
| Speichertyp | Typische Schicht | Speicherverhalten |
|---|---|---|
| Eidetisch | Attention | Exakter Zugriff auf gespeicherte vergangene Token; der Cache wächst mit dem Kontext |
| Verblassend | State-Space-Modell | Komprimiert den Verlauf in einen Zustand fester Größe |
Das Ziel besteht nicht darin, Attention vollständig zu entfernen.
Es geht darum, kostspieliges eidetisches Gedächtnis nur dort beizubehalten, wo das Modell tatsächlich davon profitiert.
Die zentrale Erkenntnis hinter Priming lautet, dass vortrainiertes Wissen nicht an die exakte Architektur gebunden bleiben muss, die es ursprünglich gelernt hat.
Ein Transformer und ein State-Space-Modell sehen in ihrer Funktionsweise unterschiedlich aus, können jedoch durch eine gemeinsame mathematische Perspektive betrachtet werden.
Beide lassen sich als Anwendung einer Mischoperation auf eine Folge von Values verstehen.
Eine Attention-Schicht erzeugt aus ihren Query- und Key-Projektionen eine Mischmatrix.
Eine State-Space-Schicht erzeugt über einen rekurrenten Zustand fester Dimensionalität eine verwandte Form der Mischung.
Wenn ein SSM das Verhalten einer bestimmten Attention-Schicht hinreichend genau annähern kann, kann ein großer Teil der gelernten Struktur des bestehenden Transformers wiederverwendet werden.
Dazu gehören die gelernten Projektionen der Quellschicht.
Das neue Modell muss dann hauptsächlich die für die State-Space-Dynamik spezifischen Parameter lernen.
Nicht jede Attention-Schicht ist gleichermaßen für die Umwandlung geeignet.
Eine Schicht, die komplexes Long-Range-Retrieval ausführt, benötigt möglicherweise tatsächlich vollständigen eidetischen Zugriff.
Eine Schicht, die sich überwiegend lokal verhält, ist ein deutlich besserer Kandidat für ein SSM.
Die Forschenden verwenden einen kostengünstigen empirischen Proxy:
Wenn sich die Leistung nur geringfügig verändert, hängt die Schicht wahrscheinlich nicht stark von exaktem Abruf über große Distanzen ab.
Das macht sie zu einem vielversprechenden Kandidaten für die Umwandlung in eine SSM-Schicht mit festem Zustand.
Der Proxy steht in Verbindung mit einer Größe aus der Theorie dynamischer Systeme, dem Hankel-Rang der Mischmatrix der Schicht.
Vereinfacht ausgedrückt erfasst der Hankel-Rang, wie viel Zustand erforderlich ist, um das Input-Output-Verhalten der Schicht exakt zu reproduzieren.
Eine Schicht mit einfacherem zeitlichem Verhalten kann oft mit einem kleineren Zustandsengpass dargestellt werden.
Die vollständige Priming-Pipeline besteht aus drei Hauptphasen.
Identifizierung von Attention-Schichten, die ohne großen Qualitätsverlust in Zustandsrepräsentationen fester Größe komprimiert werden können.
Attention-Schichten, die offenbar exaktes Long-Range-Retrieval benötigen, bleiben erhalten.
Initialisierung jedes Ersatz-SSM mit Gewichten aus der Transformer-Schicht, die es ersetzt.
Danach folgt eine kurze Distillationsphase, damit das SSM lernt, das Verhalten der Originalschicht zu reproduzieren.
Feinabstimmung des vollständigen Hybridmodells auf Next-Token-Prediction oder das vorgesehene Downstream-Rezept.
In dieser Phase können sich Attention- und SSM-Schichten als ein Modell gemeinsam anpassen.
Priming wählt lokale Attention-Schichten aus, überträgt ihre Projektionen in SSM-Schichten, richtet das Verhalten mittels Distillation aus und stimmt anschließend das vollständige Hybridmodell fein ab.
Der gesamte Prozess verbraucht weniger als 0,5 % des ursprünglichen Vortrainings-Tokenbudgets des Quellmodells.
Das macht kontrollierte Architekturversuche praktikabel.
Statt für jedes Kandidatendesign einen vollständigen Vortrainingslauf aufzuwenden, können Forschende jede Variante mit derselben starken vortrainierten Initialisierung beginnen.
Sobald die Architekturkonvertierung kostengünstig wird, lässt sich eine weitere Frage leichter untersuchen:
Wenn Daten, Trainingsbudget und Hybridanteil konstant gehalten werden, welche SSM-Schicht funktioniert am besten?
Die Arbeit vergleicht drei State-Space-Designs.
Mamba-2 verwendet einen relativ gleichförmigen Abklingmechanismus für seinen Zustand.
Wenn neue Informationen eintreffen, aktualisiert das Modell den Zustand, während ältere Informationen verblassen.
Der Mechanismus ist einfach und effizient, aber der Vergessensprozess ist vergleichsweise undifferenziert.
Gated DeltaNet ergänzt gezieltere Aktualisierungen.
Statt alles gleichmäßig abklingen zu lassen, kann es den einem bestimmten Key zugeordneten Value selektiv löschen oder überschreiben.
Das gibt ihm eine ausdrucksstärkere Kontrolle darüber, was erhalten bleibt.
Gated KalmaNet geht noch weiter.
Seine Aktualisierung hängt nicht nur vom aktuellen Key ab, sondern auch von über den Verlauf akkumulierten Statistiken.
Die Schicht basiert auf einer iterativen Online-Ridge-Regression, die durch Kalman-Filterung inspiriert ist.
Dadurch erhält GKA einen stärker verlaufsbewussten Mechanismus zur Entscheidung, wie neue Informationen den Zustand aktualisieren sollen.
In kontrollierten 8B-Hybridexperimenten liegt GKA im Allgemeinen vor GDN, das wiederum Mamba-2 durchgehend übertrifft.
Die empirischen Ergebnisse stimmen weitgehend mit der theoretischen Reihenfolge der Ausdrucksstärke überein:
GKA > GDN > Mamba-2
Der Unterschied nimmt bei Long-Context-Reasoning-Aufgaben zu, bei denen die Qualität des komprimierten Speichers wichtiger wird.
Im 32B-Maßstab bleibt das hybride GKA-Modell innerhalb von etwa 1 % eines vergleichbaren Transformers, der auf denselben Daten nachtrainiert wurde, und benötigt dabei ungefähr die Hälfte des KV-Cache.
Eine der kontraintuitiveren Erkenntnisse ergibt sich aus dem Vergleich von SSMs mit Sliding-Window-Attention.
Sliding-Window-Attention behält exakte Repräsentationen nur der jüngsten Token.
Auf den ersten Blick erscheint das attraktiv.
Innerhalb des Fensters wird nichts komprimiert oder verloren.
Doch das Fenster verwirft alles, was älter als seine feste Spannweite ist.
Ein SSM macht das Gegenteil.
Es komprimiert den vollständigen Verlauf in einen verlustbehafteten Zustand fester Größe.
Die Autoren stellten fest, dass die verlustbehaftete Zusammenfassung des gesamten Verlaufs häufig besser funktioniert.
Beschreibe deine Idee einmal, und We0 AI erstellt eine Showcase-Website, Seiten und ein CMS und hilft nach dem Launch bei Kunden und Traffic.
Eine komplette Projektgeneration zur kostenlosen Registrierung
Am besten geeignet, um einen vollständigen Generierungsablauf auszuprobieren und schnell einen ersten Projektentwurf zu sehen.
Das SSM-basierte Hybridmodell übertrifft das Sliding-Window-Hybridmodell durchgängig bei den berichteten Long-Context-Aufgaben.
Jedes SSM-basierte Hybridmodell in der Studie übertraf sein SWA-Gegenstück in Long-Context-Benchmarks.
Dies blieb auch dann zutreffend, wenn Sliding-Window-Attention ungefähr zwei- bis viermal so viel Speicher wie die State-Space-Schicht erhielt.
Das Ergebnis legt ein nützliches Prinzip nahe:
Eine kompakte Zusammenfassung der gesamten Vergangenheit kann nützlicher sein als eine perfekte Aufzeichnung nur der jüngsten Vergangenheit.
Das ist für persistente Agenten relevant, bei denen alter Kontext weiterhin wichtige Informationen enthalten kann, auch wenn er nicht mehr aktuell ist.
GKA besitzt eine weitere Eigenschaft, die Mamba-2 und GDN nicht in gleicher Weise bieten: variable Berechnung zur Inferenzzeit.
Mamba-2 und GDN wenden im Wesentlichen für jedes Token dasselbe Rechenbudget an.
GKA löst ein internes Regressionsproblem iterativ.
Die Anzahl der Iterationen kann zur Serving-Zeit geändert werden.
Ein erneutes Training ist nicht erforderlich.
Das Ändern der Iterationszahl von GKA verschiebt das Modell entlang einer Front für Geschwindigkeit gegenüber Genauigkeit zur Serving-Zeit.
In den AIME-2025-Experimenten der Arbeit führt die Änderung von GKA von den üblichen 30 auf 10 Iterationen ungefähr zu:
~10 % schnellerer Dekodierung
~1 % Genauigkeitsverlust
Das bedeutet, dass ein trainiertes Modell unterschiedliche Latenzstufen unterstützen kann.
Ein Serving-System könnte Folgendes verwenden:
Damit wird der Inferenzaufwand zu einem Laufzeitregler statt zu einer während des Trainings festgelegten Eigenschaft.
Der reine Token-Durchsatz kann irreführend sein.
Ein Modell, das Token schnell generiert, benötigt möglicherweise trotzdem länger bis zur richtigen Antwort, wenn es einen wesentlich längeren Reasoning-Trace braucht.
Die Forschenden messen deshalb auch die Wall-Clock-Zeit bis zur Zielgenauigkeit.
Sie vergleichen ein GKA-geprimtes 32B-Hybridmodell mit seinem Qwen3-32B-Quellmodell unter Verwendung desselben Reasoning-Rezepts.
Beide Systeme erzeugen Reasoning-Traces ähnlicher Länge:
Das Hybridmodell gewinnt nicht, weil es weniger nachdenkt.
Es gewinnt, weil es diese vergleichbaren Reasoning-Traces mit höherem Durchsatz verarbeiten kann.
Bei realistischen Parallelitätsniveaus erreicht das 32B-Hybridmodell Zielgenauigkeitsschwellen:
Der Hauptgrund ist der Speicher.
Das Ersetzen der Hälfte der Attention-Schichten durch SSM-Schichten mit festem Zustand halbiert ungefähr die KV-Cache-Last pro Sequenz.
Dadurch kann das Serving-System auf derselben Hardware mehr Sequenzen parallel ausführen.
Der Durchsatzvorteil wächst, wenn der Kontext länger wird und der Druck auf den KV-Cache zunimmt.
Für das 32B-Modell mit 10 GKA-Iterationen werden ungefähr die folgenden Verbesserungen beim Dekodierungsdurchsatz berichtet:
| Kontextlänge | Beschleunigung gegenüber dem Quell-Transformer |
|---|---|
| 16K | 1,50× |
| 32K | 1,59× |
| 64K | 1,95× |
| 128K | 2,06× |
Die 8B-Modelle zeigen noch größere Zugewinne, die von etwa dem 1,94-Fachen bei 16K auf das 2,29-Fache bei 128K steigen.
Der arXiv-Abstract der Arbeit fasst das breitere Ergebnis daher als bis zu ungefähr 2,3-mal höheren Dekodierungsdurchsatz zusammen.
Der Durchsatzgewinn kann auch beim Reinforcement-Learning-Nachtraining von Bedeutung sein.
Wenn eine Policy pro Zeiteinheit mehr Rollouts generieren kann, kann die Trainingspipeline mit demselben GPU-Budget mehr nützliche Trajektorien erfassen.
Amazon berichtet unter den getesteten Bedingungen von einer Steigerung der RL-Trainingsdatenrate um 20 % bis 100 %.
Das verändert nicht den RL-Algorithmus selbst.
Es verändert, wie schnell das Modell die Daten erzeugen kann, die der RL-Prozess benötigt.
Die veröffentlichten Hybridmodelle sind nicht nur auf Geschwindigkeit optimiert.
Die Arbeit vergleicht auch ihre Reasoning-Qualität mit ihren Qwen3-Quell-Transformern.
Geprimte GKA-Hybridmodelle bleiben im Vergleich mit ihren Quell-Transformern bei den berichteten Reasoning-Benchmarks wettbewerbsfähig oder übertreffen sie.
Der arXiv-Abstract der Arbeit berichtet, dass das 32B-GKA-Hybridmodell seinen Qwen3-32B-Quell-Checkpoint um durchschnittlich 3,8 Reasoning-Punkte verbessert, während es innerhalb von 1 % eines Transformers bleibt, der auf denselben Daten nachtrainiert wurde.
Der wichtige methodische Punkt ist, dass die Hybridarchitektur nicht nach einem vollständigen unabhängigen Vortrainingslauf bewertet wird.
Sie übernimmt den Großteil ihres Wissens aus einem bestehenden Modell und erhält nur eine relativ geringe Menge an Ausrichtungs- und Anpassungstraining.
Die geprimten Hybridmodelle unterstützen nativ 128K Token.
Doch reale Agentensitzungen, große Repositories und umfangreiche rechtliche oder technische Dokumente können diesen Wert überschreiten.
Normalerweise kann eine Kontexterweiterung eine weitere Runde von Long-Context-Training erfordern.
Die Forschenden passen stattdessen eine Idee aus ihrer früheren Arbeit PICASO an.
Reine Transformer können Methoden zur Positionsreskalierung wie YaRN verwenden.
Reine SSMs können rekurrente Zustände zusammensetzen.
Ein Hybridmodell besitzt beides:
Beide Speichersysteme müssen gemeinsam erweitert werden.
Das vorgeschlagene Verfahren lautet:
Lange Eingaben werden als unabhängige Chunks verarbeitet; Attention-Caches werden verkettet und SSM-Zustände zusammengeführt.
Dadurch werden die geprimten Hybridmodelle erweitert von:
128K nativer Kontext
↓
256K zusammengesetzter Kontext
ohne zusätzliches Training.
Die Arbeit berichtet eine beträchtlich erhaltene Genauigkeit bei:
Nach der Erweiterung bleibt dieselbe Reihenfolge der Ausdrucksstärke sichtbar:
GKA > GDN > Mamba-2
Der wichtigste Wert von Priming könnte über jeden einzelnen Benchmark hinausgehen.
Vor Priming konnte die Bewertung einer neuen Hybridarchitektur im großen Maßstab einen vollständigen Vortrainingslauf erfordern.
Das machte Fragen wie diese extrem kostspielig:
Priming macht diese Experimente wesentlich günstiger, weil jeder Kandidat auf derselben vortrainierten Grundlage starten kann.
Amazon hat die Implementierung als Hybrid Model Factory unter der Apache-2.0-Lizenz veröffentlicht.
Die Veröffentlichung enthält:
Das Repository unterstützt derzeit mehrere vortrainierte Transformer-Familien und Modellklassen, darunter Qwen, Modelle der Llama-Familie, Modelle der Mistral-Familie, dichte Architekturen und MoE-Varianten.
Für das Serving langer Kontexte ist die praktische Idee einfach:
Attention dort beibehalten, wo exakter Abruf wichtig ist
+
Speicher mit festem Zustand dort einsetzen, wo dies nicht der Fall ist
↓
Kleinerer KV-Cache
↓
Mehr parallele Sequenzen
↓
Höherer Durchsatz
Für die Architekturforschung ist der Nutzen ein anderer:
Starker vortrainierter Transformer
↓
Viele Hybridvarianten kostengünstig primen
↓
Architekturen unter kontrollierten Bedingungen vergleichen
Das gemeinsame Thema lautet, dass Wissen wiederverwendet werden kann, selbst wenn sich die Speicherarchitektur verändert.
Priming ist eine Methode zur Initialisierung einer neuen hybriden Attention-SSM-Architektur aus einem vortrainierten Transformer. Statt das gesamte Modellwissen von Grund auf neu zu lernen, überträgt sie bestehende Gewichte, richtet die Ersatz-SSM-Schichten aus und führt anschließend eine kurze End-to-End-Anpassung durch.
Die Arbeit berichtet, dass die vollständige Priming-Pipeline weniger als 0,5 % des ursprünglichen Vortrainings-Tokenbudgets des Quellmodells verwendet. Das entspricht gegenüber dem Training einer neuen Architektur von Grund auf einer Verringerung des Vortrainingsdatenbedarfs im großen Maßstab um mehr als 99 %.
Nein. Die Methode ist für Hybridmodelle konzipiert. Sie behält Attention-Schichten dort bei, wo exaktes Long-Range-Retrieval nützlich ist, und ersetzt ausgewählte Schichten durch SSM-Schichten mit festem Zustand, wo komprimiertes verblassendes Gedächtnis ausreicht.
In den kontrollierten Experimenten erzielt Gated KalmaNet im Allgemeinen die beste Leistung, gefolgt von Gated DeltaNet und anschließend Mamba-2. Der Abstand wird bei Long-Context-Reasoning-Aufgaben wichtiger.
Der berichtete Gewinn hängt von Modellgröße, Kontextlänge und der GKA-Iterationszahl ab. Beim 32B-Modell erreicht der Dekodierungsdurchsatz bei 128K Kontext mit 10 GKA-Iterationen etwa das 2,06-Fache des Quell-Transformers; die 8B-Modelle erreichen bis zu etwa das 2,29-Fache.
Priming selbst erstellt das Hybridmodell, während eine separate Methode zur Zusammensetzung hybrider Zustände seinen Kontext ohne zusätzliches Training erweitert. Die Arbeit demonstriert durch die Zusammensetzung von Attention-KV-Caches und SSM-Zuständen eine Erweiterung von einem nativen 128K-Kontext auf 256K.
Ja. Amazon hat Hybrid Model Factory unter der Apache-2.0-Lizenz veröffentlicht, einschließlich Trainingscode, Modell-Checkpoints, optimierter Kernels, Werkzeugen für Sequenzparallelismus und eines vLLM-Serving-Plugins.
Ja. Hybrid Model Factory enthält ein vLLM-Plugin, das für das produktive Serving seiner benutzerdefinierten Hybridarchitekturen konzipiert ist. Das Repository dokumentiert kontinuierliches Batching, Tensor-Parallelismus, Prefix-Caching und Docker-basierte Bereitstellung.
Priming macht die Forschung an Hybridmodellen aus einem vollständigen Vortrainingsproblem zu einem Wissenstransferproblem. Bestehende Transformer-Gewichte liefern den Ausgangspunkt, ausgewählte Attention-Schichten werden in SSM-Schichten umgewandelt, und ein kurzer Prozess aus Ausrichtung und Anpassung stellt die Modellqualität mit weniger als 0,5 % des ursprünglichen Vortrainings-Tokenbudgets wieder her.
Die resultierenden Hybridmodelle reduzieren den Druck auf den KV-Cache und behalten Attention dort bei, wo exakter Abruf nützlich ist. In den berichteten Experimenten liefert Gated KalmaNet die stärksten Ergebnisse für verblassendes Gedächtnis, bietet einen Laufzeitregler für Geschwindigkeit gegenüber Genauigkeit und erzielt große Durchsatzgewinne bei langen Kontexten.
Dieselbe Architektur kann außerdem über ihr natives Trainingsfenster hinaus erweitert werden: Die Zustandskomposition erweitert 128K-Hybridmodelle ohne zusätzliches Training auf 256K, indem Attention-Caches und rekurrente SSM-Zustände kombiniert werden.
Die zentrale Idee ist einfach: Das gelernte Wissen eines Modells muss nicht an die Architektur gebunden sein, die es ursprünglich gelernt hat.
Starte mit einem Satz und erhalte in wenigen Minuten eine vollständige Website.
