For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ru/articles/kimi-k3-vllm-optimization-nvidia-s-1-68-d-139bcc7e.md.
NVIDIA внесла в vLLM специализированную реализацию декодирования Kimi K3 — еще один пример того, как программные оптимизации повышают скорос...
NVIDIA внесла в vLLM специализированную реализацию декодирования Kimi K3 — еще один пример того, как программные оптимизации повышают скорость инференса на уже имеющемся оборудовании. В публикации SemiAnalysis от 18 октября, о которой сообщил IT Home, указаны 423 токена в секунду на пользователя для модели с 2,8 трлн параметров и ускорение в 1,68 раза на том же оборудовании GB300 NVL72.
Главная оговорка касается метрики. На горизонтальной оси сопроводительной диаграммы указана интерактивность P90 в токенах в секунду на пользователя (tok/s/user). Это показатель потоковой производительности для отдельного пользователя, а не общий объем генерации токенов стойкой, не гарантия для каждого запроса и не улучшение на 68% для каждой части конвейера обслуживания.
На изображении SemiAnalysis сопоставлены конфигурации GB300 NVL72 с пометкой Dynamo vLLM и датами 18 октября и 15 сентября. Показатель интерактивности для отдельного пользователя соотносится с общим количеством токенов на доллар расчетной совокупной стоимости владения.
Результат и диаграмма SemiAnalysis в версии, опубликованной IT Home.
В открытой панели InferenceX, которую изучили для этой статьи, была выбрана конфигурация Kimi K3 2.8T, Agentic, FP4 с запуском от 18 октября. В таблице указано максимальное значение интерактивности P90 для GB300 NVL72 — 424 tok/s/user. Это более позднее отображение актуальных данных, но оно не дает оснований незаметно заменять исходное значение 423 в публикации.
Панель отдельно показывает пропускную способность на чип. Эти столбцы нельзя объединять или подменять друг другом: конфигурация, оптимизированная для быстрого потока отдельного пользователя, может уступать по совокупной пропускной способности, тогда как конфигурация с высокой пропускной способностью может медленнее передавать токены каждому пользователю.
В материалах, изученных для этой статьи, не удалось установить точные параметры одновременной нагрузки и длину входных и выходных последовательностей для выделенной в публикации точки. В частности, в исходном статическом HTML панели по умолчанию отображался выбор 8K/1K, а после полной загрузки страницы была выбрана конфигурация Agentic. Настройку по умолчанию в статической версии нельзя представлять как спецификацию нагрузки для заявленного результата.
В публикации SemiAnalysis авторство мегаядра объемом около 12 000 строк кода с использованием CuTe DSL приписывается инженеру NVIDIA CentML Бенджамину. Реализацию можно проследить до запроса на включение изменений № 61867 в vLLM, озаглавленного Kimi K3 Specialized Decode: CuTeDSL Optimized GB300 (1.5–2x).
В описании запроса указано, что реализация разработана NVIDIA для GB300; она была включена в основную ветку 16 октября. Добавляется специализированная среда выполнения для конкретной модели, а веса Kimi K3 не меняются. В проекте NVIDIA CUTLASS CuTe DSL описывается как низкоуровневый способ написания GPU-ядер на Python с использованием абстракций CuTe для размещения данных, тензоров и аппаратных возможностей.
Суть инженерного подхода — оптимизировать операции и схемы выполнения декодирования для конкретного сочетания модели и оборудования. Это более узкая задача, чем ускорение всех стадий модели на любом ускорителе. Среди поддерживаемых в запросе конфигураций — параллелизм по тензорам TP8 или TP16, а также отдельные режимы декодирования со спекулятивным декодированием и без него.
В запросе на включение изменений условия тестирования описаны подробнее, чем в кратком новостном сообщении. В одном из тестов без спекулятивного декодирования используются TP16 на GB300, длина входной последовательности 1, длина выходной последовательности 1 024 и жадное декодирование, кэш KV в FP8, кэш SSM в FP32 и веса от поставщика модели.
Время шага декодирования — это медианная задержка между токенами без учета предварительной обработки (prefill), измеренная при точно указанном количестве выполняющихся запросов. Автор сообщает о трех запусках с четырьмя промптами для каждой настройки пакета и о перекрестной проверке по времени выполнения с повторным воспроизведением графа.
| Выполняющиеся запросы | Шаг специализированного декодирования | Шаг стандартного декодирования | Заявленное ускорение шага |
|---|---|---|---|
| 1 | 3,90 мс | 7,38 мс | 1,89× |
| 2 | 4,58 мс | 8,79 мс | 1,92× |
| 4 | 5,75 мс | 10,33 мс | 1,80× |
| 8 | 6,82 мс | 12,19 мс | 1,79× |
Это отдельные тесты разработчика, а не воспроизведение или объяснение конкретной точки 423 tok/s/user на панели. Их ценность в том, что для них явно указаны конкурентность, длины последовательностей и измеряемая стадия.
В запросе также есть тесты спекулятивного декодирования. В некоторых измерениях производительности используются синтетические или принудительно заданные значения длины принятого чернового фрагмента. Их нельзя считать естественно достигаемыми при любом рабочем процессе. Для теста с входом длиной 32K, DSpark DL7, синтетическим принятием 3,78 и включенным параллелизмом контекста декодирования заявленное ускорение только декодирования выше, чем прирост пропускной способности генерации, учитывающий предварительную обработку запросов других пользователей. По словам автора, в этом сравнении время до первого токена осталось на прежнем уровне.
Этот путь включается необязательным аргументом --additional-config '{"decode_backend": "latency_specialized"}'. Так задается конфигурация, документированная в этом объединенном изменении; это не полная команда запуска сервера и не утверждение, что она уже есть в каждом выпущенном пакете vLLM.
Опишите идею одной фразой, и We0 AI создаст сайт-витрину, страницы и CMS, а после запуска поможет привлечь клиентов и трафик.
Одна полная генерация проекта для бесплатной регистрации
Лучше всего попробовать один полный поток генерации и быстро увидеть первый черновик проекта.
Специализированная среда выполнения может переключаться на стандартное выполнение vLLM для предварительной обработки, смешанных пакетов и больших пакетов. Поэтому пользователям не следует полагать, что ускорение только декодирования без изменений применимо к обработке длинных промптов, смешанному трафику или любому уровню конкурентности.
Разработчик сообщает об оценке на таких задачах, как AIME25, GPQA-Diamond, GSM8K и MRCR v2, а также о численных проверках. Эти проверки позволяют сопоставить реализации в опубликованных условиях, но не доказывают идентичность текста при каждом запуске с выборкой или неизменность поведения в любом приложении.
В исходном сообщении также говорится, что NVIDIA работает над оптимизациями vLLM для DeepSeek V4.1 и других моделей. Это следует рассматривать как описание текущей работы. Результат для Kimi K3 не доказывает, что такие же улучшения уже реализованы для других моделей или что требования к их развертыванию совпадают.
На сопроводительной диаграмме SemiAnalysis показатель обозначен как интерактивность P90 в токенах в секунду на пользователя. Это метрика потоковой производительности, отличная от общей пропускной способности системы и времени до первого токена.
Нет. В заявленном сравнении используется одно и то же оборудование GB300 NVL72. Улучшение связывают с программным путем, однако это не означает, что любая нагрузка на этом оборудовании ускорится в той же мере.
Изученный запрос на включение изменений № 61867 был объединен 16 октября. Для развертывания по-прежнему необходима сборка с этим изменением, а также соответствие требованиям реализации к поддерживаемым моделям, оборудованию и конфигурации.
Вклад добавляет специализированную реализацию декодирования. Согласно его описанию, для предварительной обработки, смешанных пакетов и больших пакетов может использоваться стандартный путь. Поэтому показатели шага декодирования не следует выдавать за ускорение всего конвейера.
Точное соответствие не установлено. В опубликованном микротесте из запроса указаны конкретные длины последовательностей и уровень конкурентности, тогда как полные настройки нагрузки для выделенной точки SemiAnalysis здесь не подтверждены.
Нет. На результат влияют доля принятых черновых токенов, длина контекста, конкурентность и трафик предварительной обработки. В некоторых тестах производительности из запроса используются синтетические значения принятия. Прежде чем делать выводы, примените соответствующий сценарий тестирования и оцените реальные нагрузки.
Объединенный вклад NVIDIA на основе CuTeDSL добавляет для Kimi K3 специализированный путь декодирования на GB300. Тесты разработчика показывают заметное снижение задержки при явно заданных настройках. Отдельно SemiAnalysis сообщает об улучшении в 1,68 раза и показателе 423 tok/s/user на том же оборудовании.
Всегда указывайте стадию обработки и метрику вместе с числом: интерактивность декодирования для отдельного пользователя — это не общая пропускная способность системы и не универсальное ускорение всего конвейера.
Начните с одной фразы и получите полноценный сайт за считанные минуты.
