For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/es/articles/kimi-k3-vllm-optimization-nvidia-s-1-68-d-139bcc7e.md.
NVIDIA ha incorporado a vLLM una implementación especializada de decodificación para Kimi K3, otro ejemplo de cómo el software puede acelera...
NVIDIA ha incorporado a vLLM una implementación especializada de decodificación para Kimi K3, otro ejemplo de cómo el software puede acelerar la inferencia en el hardware existente. Una publicación de SemiAnalysis del 18 de octubre, recogida por IT Home, informa de 423 tokens por segundo por usuario para el modelo de 2,8 billones de parámetros y de una aceleración de 1,68× con el mismo hardware GB300 NVL72.
La principal salvedad está en la métrica. El eje horizontal del gráfico adjunto se identifica como interactividad P90 en tok/s/usuario. Se trata de una medida del rendimiento de transmisión por usuario, no de la producción total de tokens de un rack, de una garantía para cada solicitud ni de una mejora del 68 % en todas las partes del proceso de servicio.
La imagen de SemiAnalysis compara configuraciones GB300 NVL72 etiquetadas como Dynamo vLLM, con fechas del 18 de octubre y del 15 de septiembre. Relaciona la medida de interactividad por usuario con el total de tokens por dólar del coste total de propiedad estimado.
Resultado y gráfico de SemiAnalysis, reproducidos por IT Home.
El panel InferenceX en tiempo real consultado para este artículo tenía seleccionada la configuración Kimi K3 2.8T, Agentic, FP4, con una ejecución del 18 de octubre. La tabla mostraba un valor máximo de interactividad P90 de 424 tok/s/usuario en GB300 NVL72. Se trata de una visualización posterior en tiempo real, no de un motivo para modificar sin explicación la cifra de 423 de la publicación original.
El panel también informa por separado del rendimiento por chip. Estas columnas no deben combinarse ni sustituirse entre sí: una configuración optimizada para ofrecer una transmisión rápida a cada usuario puede sacrificar el rendimiento agregado, mientras que una configuración de alto rendimiento agregado puede transmitir más despacio a cada usuario.
En el material revisado no se confirmaron la concurrencia exacta ni las longitudes de entrada y salida del punto destacado en la publicación. En particular, el HTML estático inicial del panel mostraba una selección genérica de 8K/1K, mientras que la página, una vez cargada por completo, tenía seleccionada la opción Agentic. La selección predeterminada estática no debe presentarse como la especificación de la carga de trabajo del resultado publicado.
La publicación de SemiAnalysis atribuye el trabajo de un megakernel de aproximadamente 12.000 líneas a Benjamin, ingeniero de NVIDIA CentML, y señala que utiliza CuTe DSL. La implementación ascendente puede rastrearse directamente hasta la solicitud de incorporación de cambios n.º 61867 de vLLM, titulada Kimi K3 Specialized Decode: CuTeDSL Optimized GB300 (1.5–2x).
La solicitud describe una implementación desarrollada por NVIDIA para GB300 y se fusionó el 16 de octubre. Añade un entorno de ejecución especializado para el modelo, en lugar de modificar los pesos de Kimi K3. El proyecto CUTLASS de NVIDIA describe CuTe DSL como una forma nativa de Python y de bajo nivel para escribir kernels de GPU mediante las abstracciones de disposición, tensores y hardware de CuTe.
La idea de ingeniería consiste en optimizar las operaciones y los patrones de ejecución de la decodificación para una combinación concreta de modelo y hardware. El alcance es más limitado que acelerar todas las etapas del modelo en cualquier acelerador. Las rutas compatibles con la solicitud incluyen paralelismo de tensores de 8 o 16 y determinadas configuraciones de decodificación especulativa y no especulativa.
La solicitud de incorporación de cambios detalla las condiciones de prueba con más precisión que la noticia breve. Una prueba no especulativa utiliza TP16 en GB300, una longitud de secuencia de entrada de 1, una longitud de salida de 1.024 y decodificación codiciosa, con caché KV FP8, caché SSM FP32 y pesos del proveedor del modelo.
El tiempo del paso de decodificación se mide como la latencia mediana entre tokens, excluyendo el prellenado y con exactamente el número indicado de solicitudes activas. El autor informa de tres ejecuciones con cuatro prompts por configuración de lote y contrasta los resultados con los tiempos de reproducción de gráficos de ejecución.
| Solicitudes activas | Paso de decodificación especializado | Paso de decodificación estándar | Aceleración del paso indicada |
|---|---|---|---|
| 1 | 3,90 ms | 7,38 ms | 1,89× |
| 2 | 4,58 ms | 8,79 ms | 1,92× |
| 4 | 5,75 ms | 10,33 ms | 1,80× |
| 8 | 6,82 ms | 12,19 ms | 1,79× |
Son pruebas independientes realizadas por desarrolladores, no una reproducción ni una explicación del punto exacto de 423 tok/s/usuario del panel. Su valor reside en que especifican la concurrencia, las longitudes de secuencia y la etapa medida.
La solicitud también incluye pruebas de decodificación especulativa. Algunas mediciones de rendimiento utilizan longitudes de aceptación de borradores sintéticas o forzadas, que no deben confundirse con la aceptación que se obtiene de forma natural en todas las cargas de trabajo. En una prueba con una entrada de 32K, DSpark DL7, una aceptación sintética de 3,78 y paralelismo de contexto de decodificación habilitado, las mejoras indicadas solo para decodificación son superiores a las mejoras en el rendimiento de salida, que incluyen el trabajo de prellenado de otras solicitudes. El autor informa de que el tiempo hasta el primer token se mantuvo igual en esa comparación.
La solicitud habilita esta ruta mediante el argumento opcional --additional-config '{"decode_backend": "latency_specialized"}'. Esta es la configuración documentada en esa contribución fusionada; no es un comando completo para iniciar un servidor ni una afirmación de que todos los paquetes publicados de vLLM ya la incluyan.
Describe tu idea una vez y We0 AI puede generar un sitio de presentacion, paginas y CMS, y ayudarte a atraer clientes y trafico tras el lanzamiento.
Una generación completa de proyectos para registro gratuito
Lo mejor para probar un flujo de generación completo y ver rápidamente el primer borrador del proyecto.
El entorno de ejecución especializado puede recurrir a la ejecución estándar de vLLM para el prellenado, los lotes mixtos y los lotes grandes. Por tanto, los usuarios no deben dar por sentado que una mejora limitada a la decodificación se aplica sin cambios a la ingestión de prompts largos, al tráfico mixto o a todos los niveles de concurrencia.
El desarrollador informa de evaluaciones en tareas como AIME25, GPQA-Diamond, GSM8K y MRCR v2, además de comprobaciones numéricas. Estas comprobaciones respaldan la comparación entre implementaciones en las condiciones publicadas, pero no demuestran que se genere texto idéntico en cada ejecución de muestreo ni que el comportamiento permanezca inalterado en todas las aplicaciones.
La fuente también indica que NVIDIA está trabajando en optimizaciones de vLLM para DeepSeek V4.1 y otros modelos. Esa afirmación debe mantenerse como descripción de un trabajo en curso. El resultado de Kimi K3 no demuestra que esos otros modelos hayan recibido la misma mejora ni que tengan los mismos requisitos de implementación.
El gráfico de SemiAnalysis que acompaña al informe identifica la medida como interactividad P90 en tokens por segundo por usuario. Es una métrica de rendimiento de transmisión, distinta del rendimiento total del sistema y del tiempo hasta el primer token.
La comparación publicada utiliza el mismo hardware GB300 NVL72. Atribuye la mejora a la ruta de software, pero eso no significa que todas las cargas de trabajo en ese hardware mejoren en la misma medida.
La solicitud de incorporación de cambios n.º 61867 que se revisó se fusionó el 16 de octubre. La implementación sigue dependiendo de que se utilice una compilación que incluya ese cambio y se cumplan los requisitos de compatibilidad de modelo, hardware y configuración.
La contribución es una implementación especializada de decodificación. Su descripción indica que el prellenado, los lotes mixtos y los lotes grandes pueden utilizar la ruta estándar; por tanto, las mediciones del paso de decodificación no deben anunciarse como mejoras de todo el proceso.
No se estableció una equivalencia exacta. La microprueba publicada en la solicitud especifica las longitudes de secuencia y la concurrencia, mientras que aquí no se confirmaron todos los parámetros de carga de trabajo del punto destacado de SemiAnalysis.
No. La aceptación de borradores, la longitud del contexto, la concurrencia y el tráfico de prellenado influyen en el resultado, y algunas pruebas de rendimiento de la solicitud utilizan valores de aceptación sintéticos. Antes de extrapolar, utiliza la receta de prueba pertinente y evalúa las cargas de trabajo reales.
La contribución de CuTeDSL de NVIDIA, ya fusionada, ofrece a Kimi K3 una ruta de decodificación especializada para GB300, y las pruebas de desarrolladores muestran mejoras de latencia relevantes bajo condiciones explícitas. Por separado, SemiAnalysis informa de una mejora de 1,68× y de 423 tok/s/usuario en el mismo hardware.
Asocia siempre la etapa y la métrica a la cifra: la interactividad de decodificación por usuario no equivale al rendimiento total del sistema ni a una mejora universal de todo el proceso.
Empieza con una sola frase y obtén un sitio completo en minutos.
