For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/de/articles/kimi-k3-vllm-optimization-nvidia-s-1-68-d-139bcc7e.md.
NVIDIA hat vLLM eine spezialisierte Kimi-K3-Decode-Implementierung beigesteuert. Sie ist ein weiteres Beispiel dafür, wie Software die Infer...
NVIDIA hat vLLM eine spezialisierte Kimi-K3-Decode-Implementierung beigesteuert. Sie ist ein weiteres Beispiel dafür, wie Software die Inferenzgeschwindigkeit auf vorhandener Hardware steigern kann. Ein Beitrag von SemiAnalysis vom 18. Oktober, über den IT Home berichtete, nennt für das Modell mit 2,8 Billionen Parametern 423 Tokens pro Sekunde und Nutzer sowie eine 1,68-fache Beschleunigung auf derselben GB300-NVL72-Hardware.
Die wichtigste Einschränkung betrifft die Kennzahl. Die zugehörige Grafik bezeichnet ihre horizontale Achse als P90-Interaktivität in Tok/s/Nutzer. Das beschreibt eine Streaming-Leistungskennzahl pro Nutzer – nicht die gesamte Token-Ausgabe eines Racks, eine Garantie für jede Anfrage oder eine Verbesserung um 68 Prozent in jedem Teil der Serving-Pipeline.
Die Abbildung von SemiAnalysis vergleicht GB300-NVL72-Konfigurationen mit der Bezeichnung Dynamo vLLM und den Datumsangaben 18. Oktober und 15. September. Sie setzt die Interaktivitätskennzahl pro Nutzer ins Verhältnis zu den gesamten Tokens pro Dollar der geschätzten Gesamtbetriebskosten.
Das Ergebnis und die Grafik von SemiAnalysis, wie von IT Home wiedergegeben.
Das für diesen Artikel geprüfte aktuelle InferenceX-Dashboard hatte Kimi K3 2.8T, Agentic, FP4 ausgewählt und zeigte einen Lauf vom 18. Oktober. In der Tabelle wurde für GB300 NVL72 ein höchster P90-Interaktivitätswert von 424 Tok/s/Nutzer angezeigt. Dabei handelt es sich um eine spätere Live-Anzeige; sie ist kein Grund, den ursprünglichen Wert von 423 aus dem Beitrag stillschweigend zu ändern.
Das Dashboard weist den Durchsatz pro Chip außerdem separat aus. Diese Spalten sollten weder zusammengeführt noch gegeneinander ausgetauscht werden: Eine auf einen schnellen individuellen Stream optimierte Konfiguration kann beim Gesamtdurchsatz Abstriche machen, während eine Konfiguration mit hohem Durchsatz pro Nutzer langsamer streamen kann.
Die genaue Parallelität sowie die Prompt- und Ausgabelängen des hervorgehobenen Messpunkts im Beitrag ließen sich anhand des geprüften Materials nicht feststellen. Insbesondere enthielt das anfängliche statische HTML des Dashboards eine allgemeine Auswahl von 8K/1K, während die vollständig geladene Seite „Agentic“ auswählte. Die statische Standardeinstellung sollte nicht als Workload-Spezifikation für das gemeldete Ergebnis ausgegeben werden.
Der Beitrag von SemiAnalysis schreibt dem NVIDIA-CentML-Ingenieur Benjamin eine Megakernel-Arbeit im Umfang von rund 12.000 Zeilen mit CuTe DSL zu. Die Implementierung lässt sich direkt zum vLLM-Pull-Request Nr. 61867 zurückverfolgen, der den Titel Kimi K3 Specialized Decode: CuTeDSL Optimized GB300 (1.5–2x) trägt.
Der Pull Request beschreibt eine von NVIDIA entwickelte Implementierung für GB300 und wurde am 16. Oktober zusammengeführt. Er ergänzt eine modellspezifische, spezialisierte Laufzeitumgebung, statt die Gewichte von Kimi K3 zu verändern. Das CUTLASS-Projekt von NVIDIA beschreibt CuTe DSL als eine Python-native, hardwarenahe Möglichkeit, GPU-Kernels mit den Layout-, Tensor- und Hardware-Abstraktionen von CuTe zu schreiben.
Die technische Idee besteht darin, die Operationen und Ausführungsmuster des Decodings für eine bestimmte Kombination aus Modell und Hardware zu optimieren. Das ist enger gefasst als eine Beschleunigung aller Modellphasen auf jedem Beschleuniger. Zu den unterstützten Pfaden des Pull Requests gehören Tensor-Parallelität mit einem Grad von 8 oder 16 sowie ausgewählte spekulative und nicht spekulative Decode-Konfigurationen.
Der Pull Request nennt genauere Testbedingungen als der kurze Nachrichtenbericht. Ein nicht spekulativer Test verwendet TP16 auf GB300, eine Eingabesequenzlänge von 1, eine Ausgabelänge von 1.024 und Greedy Decoding sowie einen FP8-KV-Cache, einen FP32-SSM-Cache und Modellanbieter-Gewichte.
Die Zeitmessung des Decode-Schritts ist die mediane Inter-Token-Latenz ohne Prefill. Sie wurde bei genau der angegebenen Zahl laufender Anfragen gemessen. Der Autor berichtet von drei Durchläufen mit jeweils vier Prompts pro Batch-Einstellung und einem Abgleich mit dem Timing bei Graph-Wiederholung.
| Laufende Anfragen | Spezialisierter Decode-Schritt | Standard-Decode-Schritt | Gemeldete Beschleunigung des Schritts |
|---|---|---|---|
| 1 | 3,90 ms | 7,38 ms | 1,89× |
| 2 | 4,58 ms | 8,79 ms | 1,92× |
| 4 | 5,75 ms | 10,33 ms | 1,80× |
| 8 | 6,82 ms | 12,19 ms | 1,79× |
Dabei handelt es sich um separate Entwicklertests, nicht um eine Reproduktion oder Erklärung des exakten Dashboard-Messpunkts von 423 Tok/s/Nutzer. Ihr Wert liegt darin, dass Parallelität, Sequenzlängen und gemessene Phase ausdrücklich angegeben sind.
Der Pull Request enthält auch Tests zum spekulativen Decoding. Bei einigen Leistungsmessungen werden synthetische oder erzwungene Draft-Akzeptanzlängen verwendet. Diese dürfen nicht mit einer Akzeptanz verwechselt werden, die in jedem Workload natürlich erreicht wird. Bei einem Test mit 32K Eingabetokens, DSpark DL7, einer synthetischen Akzeptanz von 3,78 und aktiviertem Decode-Context-Parallelismus sind die gemeldeten Gewinne beim reinen Decoding größer als die Zugewinne beim Ausgabedurchsatz, der auch die Prefill-Arbeit anderer Anfragen einschließt. Für diesen Vergleich berichtet der Autor von einer unveränderten Time to First Token.
Der Pull Request aktiviert den Pfad über das optionale Argument --additional-config '{"decode_backend": "latency_specialized"}'. Damit ist die in diesem zusammengeführten Beitrag dokumentierte Konfiguration gemeint; es handelt sich weder um einen vollständigen Server-Startbefehl noch um die Behauptung, dass sie bereits in jedem veröffentlichten vLLM-Paket enthalten ist.
Beschreibe deine Idee einmal, und We0 AI erstellt eine Showcase-Website, Seiten und ein CMS und hilft nach dem Launch bei Kunden und Traffic.
Eine komplette Projektgeneration zur kostenlosen Registrierung
Am besten geeignet, um einen vollständigen Generierungsablauf auszuprobieren und schnell einen ersten Projektentwurf zu sehen.
Die spezialisierte Laufzeitumgebung kann beim Prefill, bei gemischten Batches und bei großen Batches auf die Standardausführung von vLLM zurückgreifen. Nutzer sollten daher nicht davon ausgehen, dass eine Beschleunigung des Decodings unverändert auch für die Verarbeitung langer Prompts, gemischten Traffic oder jede Parallelitätsstufe gilt.
Der Entwickler berichtet von Evaluationen mit Aufgaben wie AIME25, GPQA-Diamond, GSM8K und MRCR v2 sowie von numerischen Prüfungen. Diese Prüfungen unterstützen den Vergleich der Implementierungen unter den veröffentlichten Bedingungen. Sie belegen jedoch weder, dass bei jedem Sampling-Durchlauf derselbe Text erzeugt wird, noch, dass sich das Verhalten in jeder Anwendung nicht verändert.
Der Quellbericht sagt außerdem, dass NVIDIA an vLLM-Optimierungen für DeepSeek V4.1 und weitere Modelle arbeitet. Diese Aussage sollte als Beschreibung laufender Arbeiten verstanden werden. Das Kimi-K3-Ergebnis ist kein Beleg dafür, dass diese anderen Modelle dieselbe Verbesserung erhalten haben oder dieselben Bereitstellungsanforderungen erfüllen.
Die zugehörige Grafik von SemiAnalysis bezeichnet die Kennzahl als P90-Interaktivität in Tokens pro Sekunde und Nutzer. Sie misst die Streaming-Leistung und unterscheidet sich vom Gesamtdurchsatz des Systems und der Time to First Token.
Für den gemeldeten Vergleich wurde dieselbe GB300-NVL72-Hardware verwendet. Der Zugewinn wird dem Softwarepfad zugeschrieben. Das bedeutet jedoch nicht, dass sich jeder Workload auf dieser Hardware im gleichen Maß verbessert.
Der geprüfte Pull Request Nr. 61867 wurde am 16. Oktober zusammengeführt. Die Bereitstellung hängt weiterhin davon ab, dass ein Build mit dieser Änderung verwendet wird und die Anforderungen der Implementierung an Modell, Hardware und Konfiguration erfüllt sind.
Der Beitrag enthält eine spezialisierte Decode-Implementierung. Laut Beschreibung können Prefill, gemischte Batches und große Batches den Standardpfad verwenden. Messwerte für Decode-Schritte sollten daher nicht als Beschleunigung der gesamten Pipeline beworben werden.
Eine genaue Übereinstimmung wurde nicht festgestellt. Der veröffentlichte Microbenchmark des Pull Requests nennt explizite Sequenzlängen und Parallelität, während die vollständigen Workload-Einstellungen des hervorgehobenen SemiAnalysis-Messpunkts hier nicht bestätigt werden konnten.
Nein. Draft-Akzeptanz, Kontextlänge, Parallelität und Prefill-Traffic beeinflussen das Ergebnis. Außerdem verwenden einige Leistungstests des Pull Requests synthetische Akzeptanzwerte. Bevor Sie daraus Schlüsse ziehen, sollten Sie das jeweils passende Testverfahren anwenden und reale Workloads auswerten.
Der zusammengeführte CuTeDSL-Beitrag von NVIDIA ergänzt Kimi K3 um einen spezialisierten Decode-Pfad für GB300. Entwicklertests zeigen unter genau beschriebenen Einstellungen deutliche Latenzverbesserungen. SemiAnalysis berichtet unabhängig davon von einer 1,68-fachen Verbesserung und 423 Tok/s/Nutzer auf derselben Hardware.
Die Phase und die Kennzahl müssen stets zusammen mit dem Wert genannt werden: Die Decode-Interaktivität pro Nutzer ist weder der Gesamtdurchsatz des Systems noch eine universelle Beschleunigung der gesamten Ende-zu-Ende-Pipeline.
Starte mit einem Satz und erhalte in wenigen Minuten eine vollständige Website.
