For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ko/articles/ling-3-1-flash-open-weights-1m-context-an-61a6d80d.md.
Ant의 InclusionAI가 장문 문서, 추론 및 도구 지원 작업을 위해 설계된 전문가 혼합 모델 Ling-3.1-flash의 가중치를 공개했습니다. [IT Home은 10월 16일 공개 소식을 보도했습니다](https://www.ithome.co...
Ant의 InclusionAI가 장문 문서, 추론 및 도구 지원 작업을 위해 설계된 전문가 혼합 모델 Ling-3.1-flash의 가중치를 공개했습니다. IT Home은 10월 16일 공개 소식을 보도했습니다. 이는 팀의 전날 발표에 이은 것입니다.
실무적으로 중요한 질문은 홍보된 컨텍스트 윈도우를 넘어섭니다. 자체 배포를 검토하는 팀은 가중치가 차지하는 메모리, 벤치마크에 사용된 서빙 구성, 그리고 워크로드에 따라 지연 시간이 어떻게 달라지는지를 알아야 합니다. 공개된 수치는 해당 조건을 함께 고려한다면 유용한 출발점이 될 수 있습니다.
공식 모델 카드는 최대 100만 토큰의 컨텍스트 윈도우를 지원하는 하이브리드 선형 MoE 아키텍처로, 약 총 5,600억 개 파라미터와 토큰당 250억 개 활성 파라미터를 설명합니다. 리포지토리에는 MIT 라이선스가 명시되어 있습니다.
활성 파라미터는 개별 토큰에 대해 사용되는 네트워크의 부분을 의미합니다. 이는 배포 환경에서 250억 개의 파라미터만 저장하면 된다는 뜻이 아닙니다. 하드웨어를 선택할 때는 가중치 저장 공간과 작업 메모리를 모두 고려해야 합니다.
IT Home은 Artificial Analysis Intelligence Index 점수 41점과 초당 약 210토큰의 출력 속도를 인용합니다. 이 글을 위해 확인한 평가 페이지는 동일한 점수와 초당 약 213토큰을 보여줍니다. 제공업체와 테스트가 업데이트됨에 따라 실시간 측정값은 바뀔 수 있습니다.
IT Home 보도에 재현된 Artificial Analysis 차트입니다. 이는 특정 측정 시점의 스냅샷이며, 보장된 배포 속도가 아닙니다.
출처에는 팀의 더 광범위한 작업 평가 차트도 포함되어 있습니다. 코딩 및 터미널 결과는 평가 하니스에 따라 달라지며, 그래픽에는 일부 결과가 LingCode를 사용해 얻어진 것이라고 명시되어 있습니다. 이 구성에서 나온 점수를 기본 모델을 사용하는 모든 애플리케이션의 성과로 자동 해석해서는 안 됩니다.
출처 보도에서 제공한 차트이며, 결과는 모델 팀이 보고한 수치입니다.
보고된 최적화 배포에서는 라우팅 전문가에 MXFP4를 사용하고, 밀집 레이어에는 블록 FP8을 유지합니다. IT Home은 이 방식이 가중치 메모리를 약 534GB에서 292GB로 줄이고, 해당 Hopper 서빙 구성을 8개 GPU에서 4개로 축소할 수 있다고 전합니다.
이는 구성에 특정된 수치입니다. 가중치 풋프린트는 메모리 예산의 한 부분일 뿐이며, 긴 컨텍스트 서빙, 여러 동시 요청 및 구현별 버퍼에는 추가 요구 사항이 있습니다. 메모리가 부족한 4개 GPU 구성은 테스트된 4개 Hopper 시스템과 동등하지 않습니다.
현재 모델 카드의 표준 SGLang 예시는 H200 GPU 8개를 사용하며, 별도로 GB300 4개 구성도 설명한다는 점에서 이 구분은 특히 중요합니다. 어느 구성도 보도의 혼합 정밀도 기반 Hopper 4개 실험과 묵시적으로 동일시해서는 안 됩니다.
출처는 긴 입력 처리를 위해 PCP 및 DCP로 식별되는 프리필 및 디코드 컨텍스트 병렬성을 설명합니다. 또한 기존 비즈니스 인터페이스에 맞는 인수를 어시스턴트가 생성해야 할 때 관련성이 있는 도구 호출용 JSON Schema 지원 강화도 보고합니다.
모델의 컨텍스트 한도, 서빙 엔진의 구성된 최대값 및 호스팅 제공업체의 요청 한도는 서로 다를 수 있습니다. 매우 큰 문서를 전송하기 전에는 100만 토큰이라는 헤드라인 수치가 모든 경로에서 수용된다는 보장으로 간주하지 말고, 특정 엔드포인트 또는 로컬 서빙 레시피를 확인해야 합니다.
구조화된 인수에도 애플리케이션 측 검증이 필요합니다. 형식이 올바른 도구 호출이라도 잘못된 작업을 요청하거나 부정확한 값을 포함할 수 있으므로, 스키마 준수와 작업 정확성은 별도로 평가해야 합니다.
IT Home은 서로 다른 요청 분포와 하드웨어 수를 사용한 두 가지 서빙 실험을 보고합니다.
| 측정 항목 | 보고된 테스트 조건 | 결과 |
|---|---|---|
| 대화형 지연 시간 | Hopper GPU 8개, 평균 입력 약 25.47K 토큰, 출력 약 224토큰, 캐시 적중률 76% | 첫 토큰까지의 평균 시간: 604ms, 출력 토큰 간 평균 간격: 3.28ms |
| 지연 시간 제약 조건에서의 처리량 | Hopper GPU 4개, 평균 입력 약 8.5K 토큰, 출력 약 800토큰 | TTFT P50 3초 미만 및 토큰 간 지연 시간 P90 70ms 미만에서 초당 약 1.36개 쿼리 |
첫 번째 워크로드는 상당한 캐시 재사용과 짧은 출력의 이점을 얻습니다. 두 번째는 지정된 지연 시간 목표를 유지하면서 하나의 인스턴스가 처리할 수 있는 트래픽 규모를 묻습니다. 각 행에서 가장 빠른 수치만 결합하면 보고서에서 테스트하지 않은 시스템을 설명하게 됩니다.
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
용량 계획에서는 문서 길이, 응답 길이 및 캐시 재사용의 대표적인 분포를 사용해야 합니다. 지연 시간 분포의 중앙값과 느린 요청을 모두 측정한 다음, 동시 부하에서도 시스템이 애플리케이션 요구 사항을 충족하는지 확인하십시오.
출처는 정가의 25%, 즉 75% 할인에 해당하는 한시적 제공 조건을 제시합니다. 인용된 100만 토큰당 요금은 다음과 같습니다.
| 서비스 | 통화 | 입력 | 출력 | 캐시된 입력 읽기 |
|---|---|---|---|---|
| OpenRouter | USD | $0.075 | $0.225 | $0.015 |
| Ling Studio | CNY | ¥0.50 | ¥1.50 | ¥0.10 |
이는 영구적인 가격 약정이 아니라 보도에 나온 출시 프로모션 수치입니다. 제공업체별 가용성, 지원 컨텍스트 길이 및 할인 정책은 독립적으로 변경될 수 있으므로, 구매 시에는 OpenRouter의 모델 페이지와 해당 서비스의 청구 정보를 기준으로 삼아야 합니다.
가중치는 Hugging Face와 ModelScope에 등록되어 있습니다. 구현 시에는 최신 모델 카드의 서빙 가이드부터 시작하십시오. 출처 기사는 출시 보도이며 완전한 배포 절차를 제공하지는 않습니다.
추론, 긴 컨텍스트 처리 및 도구 지원 작업을 위한 InclusionAI 언어 모델입니다. 공식 설명에는 약 5,600억 개의 총 파라미터와 토큰당 250억 개의 활성 파라미터가 명시되어 있습니다.
예. 공식 Hugging Face 리포지토리에서 모델을 제공하며 MIT 라이선스를 명시하고 있습니다. 모델을 수정하거나 재배포하기 전에 리포지토리의 최신 파일과 라이선스를 검토하십시오.
아니요. 활성 연산량과 저장해야 하는 전체 가중치는 서로 다른 수치입니다. 출처의 최적화된 가중치 풋프린트는 추가 서빙 메모리를 제외하고 약 292GB입니다.
출처는 특정 혼합 정밀도 구성에서 이 결과를 보고했습니다. 모든 Hopper 카드 4개 구성, 모든 컨텍스트 길이 또는 모든 동시성 설정에서 작동한다는 것을 입증하지는 않습니다.
아니요. 두 결과는 서로 다른 하드웨어 수와 요청 분포를 사용합니다. 결과를 비교할 때는 캐시 적중률, 토큰 길이 및 지연 시간 제약 조건을 함께 고려해야 합니다.
출처는 이 제공 조건을 한시적이라고 설명합니다. 비용을 추정하기 전에 선택한 제공업체의 실시간 가격, 캐시 정책 및 지원 컨텍스트 한도를 확인하십시오.
Ling-3.1-flash의 오픈 웨이트는 로컬 평가를 가능하게 하며, 보고된 혼합 정밀도 구성은 스토리지와 GPU 요구 사항을 낮춥니다. 긴 컨텍스트와 구조화된 도구 호출은 문서 중심 어시스턴트 및 엔터프라이즈 워크플로에 관련성이 있습니다.
유의미한 배포 비교는 정밀도, GPU 메모리, 입력 길이, 동시성 및 캐시 재사용을 포함한 전체 구성입니다. 공개된 벤치마크는 보편적인 서빙 보장이 아니라, 자신의 워크로드에 맞춰 재현하고 비교해야 할 테스트 결과로 취급하십시오.
한 문장에서 시작해 몇 분 안에 완전한 웹사이트를 받아보세요.
