Ling-3.1-flash 开放权重：100 万上下文与 GPU 要求

蚂蚁 InclusionAI 已发布 Ling-3.1-flash 的模型权重。这是一款为长文档、推理和工具辅助工作设计的混合专家模型。继团队于前一天发布公告后，IT之家于 10 月 16 日报道了此次发布。

实际需要关注的问题不止是其宣传的上下文窗口。考虑自行部署的团队需要了解权重占用多少内存、基准测试使用了哪种服务配置，以及延迟会如何随工作负载而变化。已公布的数据可作为有用的起点，前提是不能脱离其测试条件来解读。

模型规模与公开评测

官方模型卡将其描述为混合线性 MoE 架构，约有 5600 亿总参数，每个 Token 激活 250 亿参数，支持最长 100 万 Token 的上下文窗口。该仓库标注使用 MIT 许可证。

激活参数指的是网络中处理单个 Token 时实际使用的部分。它们并不意味着部署时只需要存储 250 亿参数。在选择硬件时，权重存储和运行内存仍然很重要。

IT之家引用的 Artificial Analysis Intelligence Index 得分为 41，输出速度约为每秒 210 个 Token。本文查阅的 评测页面显示相同得分和约每秒 213 个 Token；随着服务商和测试的更新，实时测量结果可能发生变化。

该 Artificial Analysis 图表由 IT之家的报道转载。它反映的是特定测量时点，并不代表有保证的部署速度。

来源还包含团队更广泛的任务评测图表。其编程和终端结果取决于评测工具链；图表指出，部分结果使用 LingCode 获得。该设置下的得分不应自动归因于每一个使用基础模型的应用。

图表由来源报道提供；结果由模型团队报告。

混合精度可降低权重内存占用

对于报道中的优化部署，路由专家使用 MXFP4，而稠密层保留 区块 FP8。IT之家称，这将权重内存从约 534 GB 降至 292 GB，并使对应的 Hopper 服务配置可从八张 GPU 减少至四张 GPU。

这些数据取决于特定配置。权重占用只是内存预算的一部分：服务长上下文、多个并发请求以及特定实现所需的缓冲区，都会增加额外要求。四张显存不足的 GPU 并不等同于经过测试的四张 Hopper GPU 系统。

这一差异尤其重要，因为当前模型卡中的标准 SGLang 示例使用 八张 H200 GPU，同时还单独介绍了四张 GB300 的配置。两者都不应被悄然替换为报道中混合精度的四张 Hopper GPU 实验。

长上下文与结构化工具调用

来源描述了用于处理长输入的预填充和解码上下文并行技术，分别标记为 PCP 和 DCP。报道还提到其对工具调用的 JSON Schema 支持更强，当助手需要生成符合既有业务接口的参数时，这一点具有实际意义。

模型的上下文上限、服务引擎配置的最大值，以及托管服务商的请求上限可能并不相同。在发送超大文档前，应检查具体端点或本地服务配方，而不是把“100 万 Token 上下文窗口”这一标题当作所有路径都能接受的保证。

结构化参数同样需要在应用侧进行验证。格式正确的工具调用仍可能请求错误操作或包含错误值，因此应将 Schema 合规性与任务正确性分开评估。

延迟与容量：应将不同工作负载分开看待

IT之家报告了两项服务实验，它们采用了不同的请求分布和硬件数量：

第一种工作负载受益于较高的缓存复用率和较短的输出。第二种则衡量单个实例在保持其规定延迟目标的前提下可承载多少流量。将每一行中最快的数据组合起来，会描述出报告并未测试过的系统。

进行容量规划时，应使用能够代表实际情况的文档长度、响应长度和缓存复用率分布。既要测量延迟分布的中位水平，也要测量较慢请求，随后确认系统在并发负载下仍能满足应用要求。

报道中的 API 折扣与访问路径

来源列出了一项临时优惠：价格为常规价格的 25%，即七五折优惠。其列出的每百万 Token 报价为：

这些是报道中的首发优惠价格，并非永久价格承诺。在采购前，应以 OpenRouter 的模型页面和服务的计费信息为准，因为服务商可用性、支持的上下文长度和折扣可能会独立变化。

权重已在 Hugging Face 和 ModelScope 上列出。对于具体实施，应从当前模型卡中的服务指南开始；来源文章本身是一篇发布报道，并未提供完整的部署流程。

常见问题

什么是 Ling-3.1-flash？

它是 InclusionAI 推出的一款语言模型，用于推理、长上下文处理和工具辅助任务。其官方说明列出约 5600 亿总参数，其中每个 Token 激活 250 亿参数。

模型权重是否公开可用？

是的，官方 Hugging Face 仓库提供了该模型，并标注使用 MIT 许可证。在改编或再分发前，请查看仓库中当前的文件和许可证。

250 亿激活参数是否意味着它能装入一张桌面 GPU？

不能。激活计算量与需要存储的总权重是不同的量。来源中的优化权重占用约为 292 GB，且尚未计入额外的服务内存。

Ling-3.1-flash 能否在四张 Hopper GPU 上运行？

来源报告了特定混合精度配置下的这一结果。这并不能证明任意四张 Hopper 显卡、任意上下文长度或任意并发设置都可以运行。

604 毫秒延迟和 1.36 QPS 的结果来自同一项测试吗？

不是。它们使用了不同数量的硬件和不同的请求分布。比较这些结果时，应同时考虑缓存命中率、Token 长度和延迟约束。

折扣 API 价格是永久的吗？

来源将该优惠称为临时活动。在估算成本前，请检查所选服务商的实时价格、缓存策略和支持的上下文限制。

相关工具

• Hugging Face 上的 Ling-3.1-flash：官方模型仓库提供权重及当前服务指南。
• OpenRouter：可通过托管 API 路径评估模型，而无需管理其完整的权重内存占用。
• Artificial Analysis：独立测量为理解模型智能水平、延迟和输出速度提供参考。

相关链接

• IT之家来源报道：这篇中文发布报道包含本文讨论的部署实验和临时价格。
• 官方模型卡：直接查看架构、许可证和服务示例。
• OpenRouter 模型列表：查看当前服务商选择和 API 定价。
• Artificial Analysis 评测：比较模型测得的速度和智能得分。
• InclusionAI 的 Ling 仓库：探索更广泛的 Ling 项目，同时注意较早的示例指向的是更早期模型。

总结

Ling-3.1-flash 的开放权重使本地评估成为可能，而报道中的混合精度配置降低了其存储和 GPU 要求。其长上下文能力和结构化工具调用功能，与文档密集型助手和企业工作流相关。

有参考价值的部署比较应基于完整配置：精度、GPU 显存、输入长度、并发量和缓存复用情况。应将已发布的基准测试视为需要针对自身工作负载复现的测试结果，而不是通用的服务性能保证。