Nemotron 3.5 Super VL: характеристики, бенчмарки и развертывание

Корпоративному агенту часто требуется больше, чем текстовый ответ. Обработка документа поставщика может включать чтение диаграммы, извлечение таблицы, применение внутренней политики и вызов бизнес-инструмента до возврата результата.

NVIDIA выпустила Nemotron 3.5 Super VL для задач, объединяющих эти требования. Модель принимает текст, изображения и видео, генерирует текст и объединяет визуальное понимание с рассуждениями, программированием и использованием инструментов в одной системе. Ее архитектура mixture-of-experts содержит 120 миллиардов общих параметров, из которых 12 миллиардов активируются для каждого токена.

Релиз включает базовые, постобученные и NVFP4-чекпойнты, а также ресурсы для обучения. Для команд, рассматривающих эту модель, практические вопросы заключаются в том, как ее кастомизировать, что именно измеряют сравнения производительности и какая конфигурация развертывания соответствует их оборудованию.

Возможности модели и основы развертывания

Официальная карточка модели NVFP4 описывает гибрид слоев Mamba-2, attention и mixture-of-experts, соединенных с визуальным энкодером C-RADIO. Такая архитектура поддерживает обработку языка с длинным контекстом вместе с визуальными входными данными.

Максимальный контекст распределяется между промптом, визуальным материалом, историей диалога, результатами инструментов и ответом. Конкретный рецепт сервинга может использовать меньшее окно, чтобы соответствовать ограничениям памяти и требованиям к параллелизму. Аналогично, приведенные примеры оборудования описывают поддерживаемые конфигурации, а не обещают, что любая нагрузка поместится при максимальном контексте.

В задачах с документами можно передавать страницы как изображения вместе с сопровождающим текстом. Карточка модели также описывает входные MP4-видео длительностью до двух минут; поддержку входного видео не следует путать с генерацией видео, поскольку эта модель выводит текст.

Где специализированные агенты могут ее применять

NVIDIA называет в числе целевых сценариев программирование, веб-исследования, интеллектуальную обработку документов, кибербезопасность и видеоанализ. Агент для работы с документами может сопоставлять диаграмму с таблицей на другой странице. Исследовательский агент может собирать доказательства из разных источников, а процесс в сфере безопасности — интерпретировать обнаруженные данные и приоритизировать последующие действия.

Модель также играет роль в более широкой линейке моделей. NVIDIA позиционирует Nemotron 3.5 Lightning для высокообъемных текстовых задач, Super VL — для специализированных задач, связанных с визуальными доказательствами и инструментами, а Nemotron 3 Ultra — для более требовательного планирования и оркестрации.

Источник: анонс NVIDIA с использованием сравнения Artificial Analysis. Диаграмма показывает, что Super VL достигает более 600 выходных токенов в секунду на endpoint Baseten, и выделяет приблизительно пятикратное сравнение скорости с Inkling Small. Сравнение относится к указанной конфигурации и условию с 100 000 входных токенов.

Быстрая генерация токенов помогает при повторяющихся вызовах агентов, но это лишь часть производительности задачи. Модель, которая делает ненужные вызовы инструментов или генерирует длинные цепочки рассуждений, все равно может выполнять работу дольше.

Кастомизация с помощью предметных данных и инструментов

Политики компании, схемы инструментов и предметная терминология определяют, сможет ли агент корректно завершить работу. Предложенный NVIDIA подход состоит в постобучении модели на смеси проприетарных примеров и релевантных опубликованных датасетов.

NeMo AutoModel поддерживает supervised fine-tuning и low-rank adaptation. NeMo RL и NeMo Gym предоставляют ресурсы для reinforcement learning и оценки на основе окружений. NeMo Data Designer включает рецепты для ответов на вопросы по диаграммам и понимания длинных документов.

В анонсе описаны несколько партнерских применений:

• Scale AI работала над обработкой кредитов поставщиков для Skydance, ожидая для этой нагрузки сокращение стоимости инференса в 40 раз и задержки в 5 раз.
• Ramp применяет модель к изображениям чеков и структурированным платежным данным, ожидая рост пропускной способности до 50% и десятикратное сокращение задержки.
• AI21 и Alice сообщили о повышении точности на 41% после постобучения для своего процесса в области безопасности.

Источник: NVIDIA и организации, указанные на рисунке. Это разные специализированные задачи с собственными настройками оценки, а не единый общий бенчмарк.

NVIDIA также выпускает данные для диалогов, использования инструментов, финансов, следования инструкциям, длинного контекста и справедливости, а также 40 vision-language датасетов. Их полезность зависит от целевого процесса и условий, применимых к каждому датасету.

Визуальные рассуждения и бенчмарки агентов

Визуальное обучение охватывает OCR, диаграммы, таблицы, многостраничные документы и видео. Двухэтапный pipeline supervised fine-tuning объединяет визуальные доказательства с рассуждениями, диалогами, безопасностью, примерами длинного контекста и траекториями агентов.

В анонсе NVIDIA сообщает результат 80,8% по рассуждениям на диаграммах CharXiv, который повышается до 84% при интерпретации Python-кода. В официальной карточке отдельно приведены результаты для конкретных чекпойнтов: 80,82 для BF16 и 79,88 для NVFP4 в рассуждениях CharXiv. Эти значения относятся к разным заявленным конфигурациям и должны рассматриваться только вместе с ними.

В статье о запуске также представлены следующие оценки агентов:

Источник: опубликованное NVIDIA сравнение. Результат в этих оценках не доказывает превосходство во всех задачах агентов.

Источник: NVIDIA. На рисунке используются NVFP4, четыре GPU B200 и целевой показатель 50 токенов в секунду на пользователя; выделенное четырехкратное сравнение времени завершения относится к этой конкретной конфигурации.

Для локального использования NVIDIA ссылается на оценку EXO Labs на DGX Spark. Опубликованный рисунок размещает Super VL на границе точности и времени выполнения задачи, что отражает компромисс между скоростью и качеством, а не наивысший возможный результат при любой задержке.

Источник: сравнение local.ai/EXO Labs, воспроизведенное NVIDIA. Ось времени выполнения задачи имеет логарифмическую шкалу.

Как модель сокращает объем работы при инференсе

Дистилляция и продолженное обучение

NVIDIA описывает дистилляцию от Nemotron 3 Ultra, за которой следует обучение, предназначенное для улучшения программирования, использования инструментов, визуальных рассуждений и языкового охвата. On-policy дистилляция с несколькими учителями позволяет специализированным учителям оценивать ответы, сгенерированные моделью, до объединения их возможностей.

Обучение программной инженерии включает репозитории, материалы по issues и pull requests, логи сборок и траектории агентов. В анонсе также описан вклад в индийские данные, разработанный совместно с IIT Madras и AI4Bharat: полный опубликованный набор составляет около 2,8 триллиона токенов на 22 индийских языках.

Источник: NVIDIA. На рисунке постобученная модель сравнивается с указанными чекпойнтами Sarvam и Gemma в показанных индийских оценках.

LiLiCorr и multi-token prediction

LiLiCorr оценивает совместимость кандидатов черновых токенов, чтобы спекулятивное декодирование могло предлагать более согласованные последовательности. NVIDIA рекомендует его для низколатентного инференса на DGX Spark и сообщает о генерации токенов до 2,3 раза быстрее, чем при декодировании без спекуляции.

Модель также включает головку multi-token prediction. Draft-модель предлагает несколько будущих токенов, а основная модель проверяет их совместно. Принятие нескольких токенов за один проход может уменьшить число дорогостоящих шагов верификации.

NVFP4 и смешанная точность

Квантизация уменьшает объем памяти модели, а дистилляция с учетом квантизации обучает сжатую модель следовать выходам модели BF16. NVIDIA сообщает, что рецепт использует 4-битные веса и активации на Blackwell, а на платформах, отличных от Blackwell, — 4-битные веса с 16-битными активациями, в соответствии с конфигурацией сервинга.

Чувствительные компоненты сохраняют более высокую точность. Карточка модели указывает BF16 для визуального энкодера, connector, сверток Mamba и embeddings, а для MoE router — FP32. Следовательно, «NVFP4» не означает, что каждый компонент работает с четырехбитной точностью.

Повторное использование контекста между ходами агента

Вызовы агентов многократно содержат одни и те же системные инструкции, определения инструментов и предыдущие сообщения. Кэширование префикса может повторно использовать эти вычисления.

Оптимизации сервинга сохраняют кэши attention и рекуррентные состояния Mamba. Дополнительные чекпойнты сокращают объем работы, воспроизводимой при спекулятивном декодировании и обработке промптов.

Промышленный сервинг с NIM и Dynamo

NVIDIA NIM объединяет оптимизированные движки инференса, валидированные конфигурации и стандартные API. Корпоративная поддержка доступна через NVIDIA AI Enterprise.

Dynamo поддерживает распределенный инференс с помощью маршрутизации с учетом кэша, управления KV-кэшем и раздельного сервинга. В опубликованном тесте на 16 GPU B200 при 50 токенах в секунду на пользователя NVIDIA сообщает, что рецепт с привязкой сессий и выгрузкой кэша обслуживал до восьми раз больше пользователей, одновременно сокращая время до первого токена на 85%.

Источник: NVIDIA. На рисунке указаны SWE-bench Pro на 16 GPU B200 и 50 токенов в секунду на пользователя.

Для первоначального развертывания выберите рецепт, соответствующий вашему оборудованию, из официального cookbook или карточки модели, подтвердите версию среды выполнения и установите базовый уровень на репрезентативных задачах. Измеряйте вместе точность завершения, общее число токенов, вызовы инструментов, задержку и память, прежде чем увеличивать параллелизм или длину контекста.

Часто задаваемые вопросы

Для чего используется Nemotron 3.5 Super VL?

Это vision-language модель для рассуждений, программирования, использования инструментов, понимания документов и видеоанализа. Она предназначена для специализированных агентов, которым необходимо объединять визуальные доказательства с текстом и многошаговыми действиями.

Генерирует ли модель изображения или видео?

Официальная карточка модели указывает текст, изображения и видео как входные данные, а текст — как выходные. Ее видеовозможности означают понимание переданного видео, а не создание нового видеоклипа.

Может ли Nemotron 3.5 Super VL работать на DGX Spark?

Да, NVIDIA публикует конфигурацию DGX Spark для чекпойнта NVFP4. Этот рецепт использует конкретные настройки параллелизма и спекулятивного декодирования, поэтому его поведение по памяти и производительности следует оценивать как целостную конфигурацию.

Всегда ли при развертывании поддерживается один миллион токенов?

Модель поддерживает максимальный контекст до одного миллиона токенов. Фактические рецепты сервинга могут использовать меньшие окна с учетом памяти оборудования, визуальных входных данных и параллельных запросов.

Как компания может дообучить модель?

NeMo AutoModel предоставляет ресурсы supervised fine-tuning и LoRA для этой модели. NVIDIA также ссылается на NeMo RL и NeMo Gym для reinforcement learning и оценки на основе рабочих процессов.

Какая лицензия регулирует чекпойнт NVFP4?

Официальная карточка Hugging Face указывает OpenMDW-1.1 и описывает коммерческое и некоммерческое использование. Для планируемого развертывания изучите фактическое соглашение и любые отдельные лицензии на датасеты или программное обеспечение.

Связанные инструменты

• NeMo AutoModel: Предоставляет рекомендации по fine-tuning, специфичные для модели.
• NeMo Data Designer: Включает рецепт данных для ответов на вопросы по диаграммам.
• NVIDIA NIM: Предоставляет оптимизированные микросервисы для сервинга моделей.
• NVIDIA Dynamo: Предоставляет рецепт развертывания для распределенного инференса.

Связанные ссылки

• Статья NVIDIA о запуске: Описывает релиз, партнерские нагрузки и опубликованные сравнения.
• Официальная карточка модели NVFP4: Содержит архитектуру, лицензию, бенчмарки и информацию о сервинге для конкретного оборудования.
• Руководство NeMo AutoModel: Охватывает кастомизацию Super VL.
• Рецепт развертывания Dynamo: Документирует конфигурацию распределенного сервинга модели.
• Рецепт ответов на вопросы по диаграммам: Объясняет генерацию синтетических данных для понимания диаграмм.
• Обзор NVIDIA NIM: Объясняет предложение NVIDIA в области микросервисов инференса.

Итог

Nemotron 3.5 Super VL объединяет визуальное понимание, рассуждения и использование инструментов в модели со 120 миллиардами параметров, активирующей 12 миллиардов параметров на токен. Релиз предоставляет командам чекпойнты и ресурсы для кастомизации процессов специализированных агентов для документов, исследований, программирования и других задач.

Опубликованные ускорения зависят от оборудования, точности, программного обеспечения для сервинга и условий оценки. Используйте официальные рецепты развертывания и измеряйте полные задачи на собственных данных, прежде чем переносить результаты бенчмарков на ожидания от промышленной эксплуатации.