For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ko/articles/kimi-k3-vllm-optimization-nvidia-s-1-68-d-139bcc7e.md.
NVIDIA는 vLLM에 Kimi K3 전용 디코딩 구현을 기여했습니다. 이는 기존 하드웨어에서도 소프트웨어 개선으로 추론 속도를 높일 수 있음을 보여주는 또 다른 사례입니다. IT Home이 다룬 10월 18일자 SemiAnalysis 게시물에 따르...
NVIDIA는 vLLM에 Kimi K3 전용 디코딩 구현을 기여했습니다. 이는 기존 하드웨어에서도 소프트웨어 개선으로 추론 속도를 높일 수 있음을 보여주는 또 다른 사례입니다. IT Home이 다룬 10월 18일자 SemiAnalysis 게시물에 따르면, 2조 8천억 개 파라미터 모델에서 사용자당 초당 423토큰을 기록했으며 동일한 GB300 NVL72 하드웨어에서 속도가 1.68배 향상됐습니다.
다만 이 수치를 해석할 때는 측정 지표를 먼저 확인해야 합니다. 함께 제공된 차트의 가로축에는 사용자당 초당 토큰 수(tok/s/user) 기준 P90 상호작용성이라고 표시돼 있습니다. 이는 사용자별 스트리밍 성능을 나타내는 지표이지, 랙 전체의 총 토큰 출력량이나 모든 요청에서 보장되는 성능, 또는 서빙 파이프라인의 모든 단계에서 68% 개선됐다는 의미가 아닙니다.
SemiAnalysis의 이미지에는 10월 18일과 9월 15일 날짜가 표시된 Dynamo vLLM 구성의 GB300 NVL72 비교가 담겨 있습니다. 이 이미지는 사용자당 상호작용성 지표와 총소유비용 추정치를 기준으로 한 달러당 총 토큰 수를 비교합니다.
IT Home이 재게시한 SemiAnalysis의 결과 및 차트.
이 기사를 위해 확인한 실시간 InferenceX 대시보드에서는 Kimi K3 2.8T, Agentic, FP4 구성이 선택돼 있었고, 실행 날짜는 10월 18일이었습니다. 표에는 GB300 NVL72의 P90 상호작용성 값으로 사용자당 초당 424토큰이 표시됐습니다. 이는 나중에 확인한 실시간 대시보드의 값이며, 원 게시물에 나온 423이라는 수치를 별다른 설명 없이 변경할 근거는 아닙니다.
대시보드에는 칩당 처리량도 별도 항목으로 표시됩니다. 이 열들은 서로 합치거나 대체해서는 안 됩니다. 개별 스트림의 속도를 높이도록 최적화한 구성은 전체 처리량을 낮출 수 있고, 처리량이 높은 구성은 사용자별 스트리밍 속도가 더 느릴 수 있습니다.
확인한 자료만으로는 게시물에서 강조한 지점의 정확한 동시 요청 수와 프롬프트 및 출력 길이를 확인할 수 없었습니다. 특히 대시보드의 초기 정적 HTML에는 일반적인 8K/1K 선택값이 포함돼 있었지만, 페이지가 완전히 로드된 뒤에는 Agentic 구성이 선택돼 있었습니다. 정적 페이지의 기본값을 보고된 결과의 워크로드 사양으로 제시해서는 안 됩니다.
SemiAnalysis 게시물은 NVIDIA CentML 엔지니어 Benjamin이 CuTe DSL을 사용해 약 12,000줄 규모의 메가커널을 개발한 작업을 소개합니다. 업스트림 구현은 제목이 *Kimi K3 Specialized Decode: CuTeDSL Optimized GB300 (1.5–2x)*인 vLLM 풀 리퀘스트 #61867에서 직접 확인할 수 있습니다.
풀 리퀘스트(PR)는 NVIDIA가 개발한 GB300용 구현을 설명하며, 10월 16일에 병합됐습니다. Kimi K3의 가중치를 변경하는 대신 모델별 전용 런타임을 추가합니다. NVIDIA의 CUTLASS 프로젝트는 CuTe DSL을 CuTe의 레이아웃, 텐서, 하드웨어 추상화를 사용해 GPU 커널을 작성할 수 있는 Python 기반 저수준 도구로 설명합니다.
핵심 아이디어는 특정 모델과 하드웨어 조합에 맞춰 디코딩의 연산과 실행 패턴을 최적화하는 것입니다. 이는 모든 가속기에서 모델의 모든 단계를 빠르게 만드는 것보다 범위가 좁습니다. PR에서 지원하는 경로에는 텐서 병렬화 8 또는 16, 그리고 일부 추측 디코딩 및 비추측 디코딩 구성이 포함됩니다.
PR에는 짧은 뉴스 보도보다 구체적인 테스트 조건이 나와 있습니다. 비추측 디코딩 테스트 중 하나는 GB300에서 TP16, 입력 시퀀스 길이 1, 출력 길이 1,024, 탐욕적 디코딩을 사용하며, FP8 KV 캐시, FP32 SSM 캐시, 모델 제공업체의 가중치를 적용합니다.
디코딩 단계 시간은 프리필을 제외하고 실행 요청 수를 명시된 값으로 고정해 측정한 토큰 간 지연 시간의 중앙값입니다. 작성자는 각 배치 설정에서 프롬프트 4개로 세 차례 실행했으며, 그래프 재생 시간과 교차 확인했다고 보고합니다.
| 실행 중인 요청 수 | 전용 디코딩 단계 | 기본 디코딩 단계 | 보고된 단계별 속도 향상 |
|---|---|---|---|
| 1 | 3.90ms | 7.38ms | 1.89배 |
| 2 | 4.58ms | 8.79ms | 1.92배 |
| 4 | 5.75ms | 10.33ms | 1.80배 |
| 8 | 6.82ms | 12.19ms | 1.79배 |
이 수치는 별도의 개발자 테스트 결과이며, 대시보드에 표시된 사용자당 초당 423토큰을 재현하거나 그 정확한 측정 방식을 설명하는 결과는 아닙니다. 이 테스트의 가치는 동시 요청 수와 시퀀스 길이, 측정한 단계가 구체적으로 공개됐다는 데 있습니다.
PR에는 추측 디코딩 테스트도 포함돼 있습니다. 일부 성능 측정은 합성되거나 강제로 지정된 초안 토큰 수락 길이를 사용합니다. 이를 모든 워크로드에서 자연스럽게 달성되는 수락률로 오해해서는 안 됩니다. DSpark DL7, 합성 수락 길이 3.78, 디코딩 컨텍스트 병렬화를 사용한 32K 입력 테스트에서는 디코딩만 측정한 성능 향상이 다른 요청의 프리필 작업까지 포함하는 출력 처리량의 향상보다 크게 나타났습니다. 작성자는 해당 비교에서 첫 토큰 생성 시간은 동일한 수준이었다고 보고합니다.
PR에서는 옵트인 인수 --additional-config '{"decode_backend": "latency_specialized"}'를 사용해 이 경로를 활성화합니다. 이는 병합된 기여에서 문서화한 구성입니다. 완전한 서버 실행 명령이 아니며, 모든 릴리스 버전의 vLLM 패키지에 이미 포함돼 있다는 의미도 아닙니다.
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
전용 런타임은 프리필, 혼합 배치, 대규모 배치에서 표준 vLLM 실행 경로로 되돌아갈 수 있습니다. 따라서 사용자는 디코딩 전용 속도 향상이 긴 프롬프트 입력, 혼합 트래픽, 모든 동시 요청 수준에서도 똑같이 적용된다고 가정해서는 안 됩니다.
개발자는 AIME25, GPQA-Diamond, GSM8K, MRCR v2 등의 태스크 평가와 수치 검증을 보고합니다. 이러한 검증은 공개된 조건에서 구현을 비교하는 데 도움이 되지만, 모든 샘플링 실행에서 텍스트가 동일하거나 모든 애플리케이션에서 동작이 변하지 않는다는 점까지 입증하지는 않습니다.
원문 보도에는 NVIDIA가 DeepSeek V4.1 및 다른 모델을 위한 vLLM 최적화 작업도 진행 중이라고 나와 있습니다. 이 내용은 진행 중인 작업에 대한 설명으로만 다뤄야 합니다. Kimi K3 결과만으로 다른 모델에도 동일한 개선이 적용됐거나 동일한 배포 요건이 있다고 볼 수는 없습니다.
함께 제공된 SemiAnalysis 차트에는 이 측정값이 사용자당 초당 토큰 수 기준 P90 상호작용성으로 표시돼 있습니다. 이는 스트리밍 성능 지표이며, 시스템 전체 처리량이나 첫 토큰 생성 시간과는 다릅니다.
보고된 비교는 동일한 GB300 NVL72 하드웨어를 사용합니다. 성능 향상의 원인은 소프트웨어 경로로 제시돼 있지만, 그렇다고 해당 하드웨어의 모든 워크로드가 같은 정도로 개선된다는 뜻은 아닙니다.
확인한 풀 리퀘스트 #61867은 10월 16일에 병합됐습니다. 다만 배포하려면 해당 변경 사항이 포함된 빌드를 사용하고, 구현이 지원하는 모델, 하드웨어, 구성 요건을 충족해야 합니다.
이번 기여는 디코딩 전용 구현입니다. 설명에 따르면 프리필, 혼합 배치, 대규모 배치는 기본 경로를 사용할 수 있으므로, 디코딩 단계 측정값을 전체 파이프라인의 속도 향상으로 홍보해서는 안 됩니다.
두 결과가 정확히 같은 조건이라는 점은 확인되지 않았습니다. PR에 공개된 마이크로 테스트에는 시퀀스 길이와 동시 요청 수가 명시돼 있지만, SemiAnalysis에서 강조한 측정 지점의 전체 워크로드 설정은 여기서 확인되지 않았습니다.
아닙니다. 초안 토큰 수락률, 컨텍스트 길이, 동시 요청 수, 프리필 트래픽이 결과에 영향을 미칩니다. 또한 일부 PR 성능 테스트는 합성 수락 값을 사용합니다. 다른 조건으로 결과를 일반화하기 전에 해당 테스트 절차를 적용하고 실제 워크로드를 평가해야 합니다.
NVIDIA가 병합한 CuTeDSL 기여로 GB300에서 Kimi K3 전용 디코딩 경로를 사용할 수 있으며, 명시된 조건에서 진행한 개발자 테스트에서는 의미 있는 지연 시간 개선이 나타났습니다. 이와 별도로 SemiAnalysis는 동일한 하드웨어에서 1.68배 향상과 사용자당 초당 423토큰을 보고했습니다.
수치를 인용할 때는 측정 단계와 지표를 함께 밝혀야 합니다. 사용자별 디코딩 상호작용성은 시스템 전체 처리량도, 모든 단계에 보편적으로 적용되는 종단 간 속도 향상도 아닙니다.
한 문장에서 시작해 몇 분 안에 완전한 웹사이트를 받아보세요.
