For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/pt/articles/kimi-k3-vllm-optimization-nvidia-s-1-68-d-139bcc7e.md.
A NVIDIA contribuiu para o vLLM com uma implementação especializada de decodificação do Kimi K3, oferecendo mais um exemplo de como o softwa...
A NVIDIA contribuiu para o vLLM com uma implementação especializada de decodificação do Kimi K3, oferecendo mais um exemplo de como o software pode melhorar a velocidade de inferência no hardware existente. Uma publicação da SemiAnalysis de 18 de outubro, repercutida pelo IT Home, informa 423 tokens por segundo por usuário para o modelo de 2,8 trilhões de parâmetros e uma aceleração de 1,68× no mesmo hardware GB300 NVL72.
A principal ressalva está na métrica. O eixo horizontal do gráfico que acompanha a publicação é identificado como interatividade P90 em tok/s/usuário. Trata-se de uma medida de desempenho de streaming por usuário, não da produção total de tokens de um rack, de uma garantia para cada solicitação ou de uma melhoria de 68% em todas as etapas do pipeline de atendimento.
A imagem da SemiAnalysis compara configurações GB300 NVL72 identificadas como Dynamo vLLM, com datas de 18 de outubro e 15 de setembro. Ela relaciona a medida de interatividade por usuário ao total de tokens por dólar do custo total estimado de propriedade.
Resultado e gráfico da SemiAnalysis, reproduzidos pelo IT Home.
O painel ativo da InferenceX consultado para este artigo estava definido como Kimi K3 2.8T, Agentic, FP4, com uma execução de 18 de outubro. A tabela apresentava um valor máximo de interatividade P90 de 424 tok/s/usuário para GB300 NVL72. Essa é uma exibição ativa posterior, e não justifica alterar silenciosamente o valor original de 423 da publicação.
O painel também informa separadamente a vazão por chip. Essas colunas não devem ser combinadas nem substituídas umas pelas outras: uma configuração otimizada para um fluxo individual rápido pode sacrificar a vazão agregada, enquanto uma configuração de alta vazão pode transmitir mais lentamente para cada usuário.
Os materiais analisados não permitiram confirmar a concorrência exata nem os comprimentos de entrada e saída do ponto destacado na publicação. Em particular, o HTML estático inicial do painel apresentava uma seleção genérica de 8K/1K, enquanto a página totalmente carregada selecionava Agentic. O padrão estático não deve ser apresentado como especificação da carga de trabalho do resultado divulgado.
A publicação da SemiAnalysis atribui a iniciativa de megakernel, com cerca de 12.000 linhas e usando CuTe DSL, ao engenheiro Benjamin, da NVIDIA CentML. A implementação upstream pode ser rastreada diretamente até a solicitação de pull nº 61867 do vLLM, intitulada Kimi K3 Specialized Decode: CuTeDSL Optimized GB300 (1.5–2x).
A solicitação de pull descreve uma implementação desenvolvida pela NVIDIA para GB300 e mesclada em 16 de outubro. Ela adiciona um runtime especializado para o modelo, em vez de alterar os pesos do Kimi K3. O projeto CUTLASS da NVIDIA descreve o CuTe DSL como uma forma nativa de Python e de baixo nível para escrever kernels de GPU usando as abstrações de layout, tensor e hardware do CuTe.
A ideia de engenharia é otimizar as operações e os padrões de execução da decodificação para uma combinação específica de modelo e hardware. Esse escopo é mais restrito do que acelerar todas as etapas do modelo em todos os aceleradores. Os caminhos compatíveis descritos na solicitação de pull incluem paralelismo de tensores TP8 ou TP16 e configurações selecionadas de decodificação especulativa e não especulativa.
A solicitação de pull apresenta condições de teste mais explícitas do que a breve notícia. Um teste não especulativo usa TP16 em GB300, comprimento de sequência de entrada de 1, comprimento de saída de 1.024 e decodificação gulosa, com cache KV FP8, cache SSM FP32 e pesos do provedor do modelo.
A medição do tempo de cada etapa de decodificação corresponde à latência mediana entre tokens, excluindo o prefill, e foi feita com exatamente o número indicado de solicitações em execução. O autor informa três execuções com quatro prompts por configuração de lote e uma verificação cruzada com o tempo de reprodução do grafo.
| Solicitações em execução | Etapa de decodificação especializada | Etapa de decodificação padrão | Aceleração informada por etapa |
|---|---|---|---|
| 1 | 3,90 ms | 7,38 ms | 1,89× |
| 2 | 4,58 ms | 8,79 ms | 1,92× |
| 4 | 5,75 ms | 10,33 ms | 1,80× |
| 8 | 6,82 ms | 12,19 ms | 1,79× |
Esses são testes distintos realizados por desenvolvedores, não uma reprodução nem uma explicação do ponto exato de 423 tok/s/usuário do painel. Seu valor está em especificar a concorrência, os comprimentos de sequência e a etapa medida.
A solicitação de pull também inclui testes de decodificação especulativa. Algumas medições de desempenho usam comprimentos de aceitação de rascunho sintéticos ou forçados, que não devem ser confundidos com a aceitação obtida naturalmente em todas as cargas de trabalho. Em um teste com entrada de 32K, DSpark DL7, aceitação sintética de 3,78 e paralelismo de contexto de decodificação ativado, os ganhos informados apenas para decodificação são maiores do que os ganhos de vazão de saída que incluem o trabalho de prefill de outras solicitações. Nessa comparação, o autor informa que o tempo até o primeiro token ficou no mesmo nível.
A solicitação de pull habilita o caminho por meio do argumento opcional --additional-config '{"decode_backend": "latency_specialized"}'. Ele identifica a configuração documentada nessa contribuição mesclada; não é um comando completo para iniciar o servidor nem uma afirmação de que todos os pacotes lançados do vLLM já a incluem.
Descreva sua ideia uma vez e o We0 AI pode gerar um site de apresentacao, paginas e CMS, alem de ajudar a atrair clientes e trafego apos o lancamento.
Uma geração completa de projetos para registro gratuito
Melhor para experimentar um fluxo de geração completo e ver rapidamente um primeiro rascunho do projeto.
O runtime especializado pode recorrer à execução padrão do vLLM para prefill, lotes mistos e lotes grandes. Portanto, os usuários não devem presumir que o ganho restrito à decodificação se aplique sem alterações à ingestão de prompts longos, ao tráfego misto ou a todos os níveis de concorrência.
O desenvolvedor informa avaliações em tarefas que incluem AIME25, GPQA-Diamond, GSM8K e MRCR v2, além de verificações numéricas. Essas verificações dão suporte à comparação entre as implementações nas condições publicadas, mas não estabelecem que o texto será idêntico em todas as execuções de amostragem nem que o comportamento permanecerá inalterado em todas as aplicações.
A publicação de origem também afirma que a NVIDIA está trabalhando em otimizações do vLLM para o DeepSeek V4.1 e outros modelos. Essa afirmação deve permanecer uma descrição de trabalho em andamento. O resultado do Kimi K3 não é evidência de que esses outros modelos tenham recebido a mesma melhoria ou compartilhem os mesmos requisitos de implantação.
O gráfico da SemiAnalysis que acompanha o relatório identifica a medida como interatividade P90 em tokens por segundo por usuário. É uma métrica de desempenho de streaming, distinta da vazão total do sistema e do tempo até o primeiro token.
A comparação divulgada usa o mesmo hardware GB300 NVL72. Ela atribui o ganho ao caminho de software, mas isso não significa que todas as cargas de trabalho nesse hardware melhorem na mesma proporção.
A solicitação de pull analisada, nº 61867, foi mesclada em 16 de outubro. A implantação ainda depende do uso de uma versão que contenha essa alteração e do cumprimento dos requisitos compatíveis de modelo, hardware e configuração da implementação.
A contribuição é uma implementação especializada de decodificação. A descrição informa que o prefill, os lotes mistos e os lotes grandes podem usar o caminho padrão; portanto, as medições de cada etapa de decodificação não devem ser apresentadas como ganhos de velocidade em todo o pipeline.
Não foi estabelecida nenhuma equivalência exata. O microteste publicado na solicitação de pull especifica os comprimentos de sequência e a concorrência, enquanto as configurações completas da carga de trabalho do ponto destacado pela SemiAnalysis não foram confirmadas aqui.
Não. A aceitação de rascunhos, o comprimento do contexto, a concorrência e o tráfego de prefill influenciam o resultado, e alguns testes de desempenho da solicitação de pull usam valores de aceitação sintéticos. Use a receita de teste aplicável e avalie as cargas de trabalho reais antes de extrapolar.
A contribuição da NVIDIA com CuTeDSL, já mesclada, oferece ao Kimi K3 um caminho especializado de decodificação para GB300. Testes realizados por desenvolvedores mostram melhorias relevantes de latência em condições explícitas. Separadamente, a SemiAnalysis informa uma melhoria de 1,68× e 423 tok/s/usuário no mesmo hardware.
Sempre associe a métrica e a etapa ao número: a interatividade de decodificação por usuário não equivale à vazão total do sistema nem a um ganho universal em todo o pipeline.
Comece com uma frase e tenha um site completo em minutos.
