For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ko/articles/nemotron-3-5-super-vl-specs-benchmarks-an-1bd03819.md.
엔터프라이즈 에이전트에는 텍스트 답변 이상의 기능이 필요한 경우가 많습니다. 예를 들어 공급업체 문서를 처리하려면 차트를 읽고, 표를 추출하고, 내부 정책을 적용한 뒤, 결과를 반환하기 전에 비즈니스 도구를 호출해야 할 수 있습니다.
엔터프라이즈 에이전트에는 텍스트 답변 이상의 기능이 필요한 경우가 많습니다. 예를 들어 공급업체 문서를 처리하려면 차트를 읽고, 표를 추출하고, 내부 정책을 적용한 뒤, 결과를 반환하기 전에 비즈니스 도구를 호출해야 할 수 있습니다.
NVIDIA는 이러한 요구를 결합한 업무를 위해 Nemotron 3.5 Super VL을 출시했습니다. 이 모델은 텍스트, 이미지, 비디오를 입력으로 받고 텍스트를 출력하며, 시각적 이해를 추론, 코딩, 도구 사용과 동일한 시스템에 통합합니다. 이 Mixture-of-Experts 아키텍처는 총 1,200억 개의 파라미터를 가지며 토큰당 120억 개의 파라미터를 활성화합니다.
이번 출시에는 베이스, 사후 학습 및 NVFP4 체크포인트와 학습 리소스가 포함됩니다. 이를 검토하는 팀이 실질적으로 확인해야 할 질문은 모델을 어떻게 맞춤화할지, 성능 비교가 무엇을 측정하는지, 그리고 어떤 배포 구성이 보유 하드웨어에 적합한지입니다.
공식 NVFP4 모델 카드는 C-RADIO 비전 인코더에 연결된 Mamba-2, 어텐션 및 Mixture-of-Experts 레이어의 하이브리드를 설명합니다. 이 구성은 시각 입력과 함께 긴 컨텍스트 언어 처리를 지원합니다.
| 항목 | 공식 문서에 명시된 세부 사항 |
|---|---|
| 전체 및 활성 파라미터 | 총 1,200억 개, 토큰당 120억 개 활성화 |
| 입력 및 출력 | 텍스트, 이미지, 비디오 입력; 텍스트 출력 |
| 최대 모델 컨텍스트 | 최대 100만 토큰 |
| 비전 구성 요소 | C-RADIO 인코더 및 비전-언어 커넥터 |
| 사변적 디코딩 | 네이티브 멀티 토큰 예측, LiLiCorr 사용 가능 |
| NVFP4 배포 예시 | DGX Spark 1대, H200 1대, H100 2대 또는 GB200 1대 |
| 런타임 통합 | vLLM, SGLang 및 TensorRT-LLM |
| NVFP4 카드에 기재된 라이선스 | OpenMDW-1.1 |
최대 컨텍스트는 프롬프트, 시각 자료, 대화 기록, 도구 결과 및 응답이 함께 공유합니다. 특정 서빙 레시피는 메모리와 동시성 요구 사항에 맞추기 위해 더 작은 윈도우를 구성할 수 있습니다. 마찬가지로 명시된 하드웨어 예시는 지원되는 구성을 설명할 뿐, 모든 워크로드가 최대 컨텍스트에서 동작한다는 보장은 아닙니다.
문서 작업은 함께 제공되는 텍스트와 함께 페이지를 이미지로 입력할 수 있습니다. 모델 카드는 최대 2분 길이의 MP4 비디오 입력도 설명합니다. 이 모델은 텍스트를 출력하므로 입력 비디오 지원을 비디오 생성 기능으로 혼동해서는 안 됩니다.
NVIDIA는 코딩, 웹 리서치, 문서 인텔리전스, 사이버 보안 및 비디오 분석을 목표 애플리케이션으로 제시합니다. 문서 에이전트는 한 페이지의 차트를 다른 페이지의 표와 연결할 수 있습니다. 리서치 에이전트는 여러 출처에서 근거를 수집할 수 있고, 보안 워크플로는 발견 사항을 해석하고 후속 조치의 우선순위를 정할 수 있습니다.
이 모델은 더 큰 모델 컬렉션 안에서도 역할을 갖습니다. NVIDIA는 Nemotron 3.5 Lightning을 대용량 텍스트 작업용으로, Super VL을 시각적 근거와 도구를 포함하는 특화 작업용으로, Nemotron 3 Ultra를 더 까다로운 계획 수립 및 오케스트레이션용으로 포지셔닝합니다.
출처: Artificial Analysis 비교를 사용한 NVIDIA의 발표 자료. 이 차트는 Baseten 엔드포인트에서 Super VL이 초당 600개 이상의 출력 토큰을 기록한 것을 보여 주며, Inkling Small과의 약 5배 속도 비교를 강조합니다. 이 비교는 보고된 설정과 100,000개 입력 토큰 조건에 한정됩니다.
빠른 토큰 생성은 반복적인 에이전트 호출에 도움이 되지만, 작업 성능의 일부일 뿐입니다. 불필요한 도구 호출을 하거나 긴 추론 트레이스를 생성하는 모델은 작업 완료까지 더 오래 걸릴 수 있습니다.
기업 정책, 도구 스키마 및 도메인 용어는 에이전트가 업무를 올바르게 완료하는지에 영향을 미칩니다. NVIDIA가 제안하는 접근 방식은 독점 예시와 관련 공개 데이터세트를 조합해 모델을 사후 학습하는 것입니다.
NeMo AutoModel은 지도 미세 조정과 저순위 적응을 지원합니다. NeMo RL과 NeMo Gym은 강화 학습 및 환경 기반 평가 리소스를 제공합니다. NeMo Data Designer에는 차트 질의응답 및 장문서 이해를 위한 레시피가 포함되어 있습니다.
발표 자료는 다음과 같은 파트너 애플리케이션을 설명합니다.
출처: NVIDIA 및 그림에 언급된 조직. 이는 공통 벤치마크 하나가 아니라 각기 다른 평가 설정을 가진 서로 다른 특화 작업입니다.
NVIDIA는 40개의 비전-언어 데이터세트와 함께 대화, 도구 사용, 금융, 지시 이행, 긴 컨텍스트 및 공정성 데이터를 공개하고 있습니다. 이 데이터의 유용성은 목표 워크플로와 각 데이터세트에 적용되는 조건에 따라 달라집니다.
시각 학습은 OCR, 차트, 표, 여러 페이지의 문서 및 비디오를 다룹니다. 2단계 지도 미세 조정 파이프라인은 시각적 근거를 추론, 채팅, 안전성, 긴 컨텍스트 예시 및 에이전트 궤적과 결합합니다.
발표에서 NVIDIA는 CharXiv 차트 추론 점수 80.8%를 보고했으며, Python 코드 해석을 적용하면 84%로 상승한다고 밝혔습니다. 공식 카드는 체크포인트별 결과를 별도로 보고합니다. CharXiv 추론에서 BF16은 80.82, NVFP4는 79.88입니다. 이 수치는 서로 다른 명시 구성에 대한 것이므로 해당 구성과 함께 해석해야 합니다.
출시 글은 다음과 같은 에이전트 평가도 제공합니다.
| 모델 | Hermes Bench | LangChain Evals |
|---|---|---|
| Nemotron 3 Ultra | 56.33% | 84.3% |
| Nemotron 3.5 Super VL | 63.44% | 87.05% |
출처: NVIDIA가 공개한 비교 자료. 이 평가에서의 결과가 모든 에이전트 작업에서의 우위를 입증하는 것은 아닙니다.
출처: NVIDIA. 이 그림은 NVFP4, B200 GPU 4대 및 사용자당 초당 50토큰 목표를 사용하며, 강조된 4배 완료 시간 비교는 해당 설정에 한정됩니다.
로컬 사용을 위해 NVIDIA는 DGX Spark에서 수행된 EXO Labs 평가를 가리킵니다. 공개된 그림은 Super VL을 정확도와 작업 시간의 프런티어에 배치합니다. 이는 모든 지연 시간에서 가능한 최고 점수를 의미하는 것이 아니라 속도와 품질 간의 트레이드오프를 나타냅니다.
출처: NVIDIA가 재현한 local.ai/EXO Labs 비교. 작업 시간 축은 로그 스케일입니다.
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
NVIDIA는 Nemotron 3 Ultra로부터의 증류 후, 코딩, 도구 사용, 시각적 추론 및 언어 범위를 개선하기 위한 학습을 설명합니다. 멀티 티처 온폴리시 증류는 특화된 교사가 모델 생성 응답을 평가한 뒤 역량을 통합하도록 합니다.
소프트웨어 엔지니어링 학습에는 리포지터리, 이슈 및 풀 리퀘스트 자료, 빌드 로그와 에이전트 궤적이 포함됩니다. 발표는 IIT Madras 및 AI4Bharat과 함께 개발한 Indic 데이터 기여도 설명하며, 인도의 22개 언어에 걸쳐 약 2조 8,000억 토큰으로 구성된 전체 공개 컬렉션을 언급합니다.
출처: NVIDIA. 이 그림은 표시된 Indic 평가에서 사후 학습 모델을 명시된 Sarvam 및 Gemma 체크포인트와 비교합니다.
LiLiCorr는 초안 토큰 후보 간의 호환성을 평가하여 사변적 디코딩이 더 일관된 시퀀스를 제안할 수 있도록 합니다. NVIDIA는 저지연 DGX Spark 추론에 이를 권장하며, 사변적 디코딩을 사용하지 않는 방식보다 최대 2.3배 빠른 토큰 생성을 보고합니다.
이 모델에는 멀티 토큰 예측 헤드도 포함됩니다. 드래프터가 여러 미래 토큰을 제안하고, 메인 모델이 이를 함께 검증합니다. 한 번의 패스에서 여러 토큰을 수용하면 비용이 큰 검증 단계 수를 줄일 수 있습니다.
양자화는 모델 메모리를 줄이며, 양자화 인식 증류는 압축 모델이 BF16 모델의 출력을 따르도록 학습시킵니다. NVIDIA는 서빙 구성에 따라 Blackwell에서 4비트 가중치와 활성화를, 비 Blackwell 플랫폼에서 4비트 가중치와 16비트 활성화를 사용하는 레시피라고 설명합니다.
민감한 구성 요소는 더 높은 정밀도를 유지합니다. 모델 카드는 비전 인코더, 커넥터, Mamba 컨볼루션 및 임베딩에 BF16을, MoE 라우터에 FP32를 명시합니다. 따라서 “NVFP4”는 모든 구성 요소가 4비트로 실행된다는 뜻이 아닙니다.
에이전트 호출에는 같은 시스템 지시문, 도구 정의 및 이전 메시지가 반복적으로 포함됩니다. 프리픽스 캐싱은 이 계산을 재사용할 수 있습니다.
서빙 최적화는 어텐션 캐시와 Mamba 순환 상태를 유지합니다. 추가 체크포인트는 사변적 디코딩 및 프롬프트 처리 중 다시 수행해야 하는 작업량을 줄입니다.
NVIDIA NIM은 최적화된 추론 엔진, 검증된 구성 및 표준 API를 패키징합니다. NVIDIA AI Enterprise를 통해 엔터프라이즈 지원을 받을 수 있습니다.
Dynamo는 캐시 인식 라우팅, KV 캐시 관리 및 분리형 서빙을 통해 분산 추론을 지원합니다. 사용자당 초당 50토큰에서 B200 GPU 16대를 사용한 보고된 테스트에서 NVIDIA는 세션 어피니티와 캐시 오프로드를 활용한 레시피가 첫 토큰까지의 시간을 85% 줄이면서 최대 8배 많은 사용자를 처리했다고 밝혔습니다.
출처: NVIDIA. 이 그림은 B200 GPU 16대, SWE-bench Pro 및 사용자당 초당 50토큰을 명시합니다.
초기 배포에서는 공식 쿡북 또는 모델 카드에서 하드웨어별 레시피를 선택하고, 런타임 버전을 확인하며, 대표적인 작업을 대상으로 기준선을 수립하세요. 동시성이나 컨텍스트 길이를 늘리기 전에 완료 정확도, 총 토큰 수, 도구 호출 수, 지연 시간 및 메모리를 함께 측정해야 합니다.
이 모델은 추론, 코딩, 도구 사용, 문서 이해 및 비디오 분석을 위한 비전-언어 모델입니다. 시각적 근거를 텍스트 및 여러 단계의 작업과 결합해야 하는 특화 에이전트를 위해 설계되었습니다.
공식 모델 카드는 텍스트, 이미지 및 비디오를 입력으로, 텍스트를 출력으로 명시합니다. 비디오 기능은 제공된 비디오를 이해하는 것을 뜻하며, 새로운 비디오 클립을 생성하는 것은 아닙니다.
예. NVIDIA는 NVFP4 체크포인트를 위한 DGX Spark 구성을 공개하고 있습니다. 이 레시피에는 특정 동시성 및 사변적 디코딩 설정이 있으므로, 메모리와 성능 동작은 완전한 구성 단위로 평가해야 합니다.
모델은 최대 100만 토큰의 컨텍스트를 지원합니다. 실제 서빙 레시피는 하드웨어 메모리, 시각 입력 및 동시 요청을 수용하기 위해 더 작은 윈도우를 사용할 수 있습니다.
NeMo AutoModel은 이 모델을 위한 지도 미세 조정 및 LoRA 리소스를 제공합니다. NVIDIA는 강화 학습과 워크플로 기반 평가를 위해 NeMo RL 및 NeMo Gym도 연결합니다.
공식 Hugging Face 카드는 OpenMDW-1.1을 명시하고 상업적 및 비상업적 사용을 설명합니다. 의도한 배포에 대해서는 실제 계약과 별도 데이터세트 또는 소프트웨어 라이선스를 검토하세요.
Nemotron 3.5 Super VL은 토큰당 120억 개의 파라미터를 활성화하는 1,200억 파라미터 모델에서 시각적 이해, 추론 및 도구 사용을 결합합니다. 이번 출시는 문서, 리서치, 코딩 및 기타 특화 에이전트 워크플로를 위한 체크포인트와 맞춤화 리소스를 팀에 제공합니다.
공개된 속도 향상 수치는 하드웨어, 정밀도, 서빙 소프트웨어 및 평가 조건에 따라 달라집니다. 벤치마크 개선을 프로덕션 기대치로 전환하기 전에 공식 배포 레시피를 사용하고 자체 데이터에서 완전한 작업을 측정하세요.
한 문장에서 시작해 몇 분 안에 완전한 웹사이트를 받아보세요.
