Открытые веса Ling-3.1-flash: контекст 1M и требования к GPU

InclusionAI компании Ant выпустила веса Ling-3.1-flash — модели смеси экспертов, предназначенной для работы с длинными документами, рассуждений и задач с использованием инструментов. IT Home сообщил о релизе 16 октября, на следующий день после анонса команды.

Практические вопросы выходят за рамки заявленного контекстного окна. Командам, рассматривающим самостоятельное развёртывание, важно знать, сколько памяти занимают веса, какая конфигурация обслуживания использовалась в бенчмарке и как задержка меняется в зависимости от нагрузки. Опубликованные показатели дают полезную отправную точку, если учитывать условия, в которых они были получены.

Размер модели и публичная оценка

Официальная карточка модели описывает гибридно-линейную MoE-архитектуру с примерно 560 млрд общих параметров и 25 млрд активных параметров на токен, поддерживающую контекстное окно до одного миллиона токенов. В репозитории указана лицензия MIT.

Активные параметры описывают часть сети, используемую для отдельного токена. Это не означает, что при развёртывании требуется хранить только 25 млрд параметров. При выборе оборудования по-прежнему важны хранение весов и рабочая память.

IT Home приводит оценку 41 по индексу интеллекта Artificial Analysis и скорость генерации примерно 210 токенов в секунду. На странице оценки, проверенной для этой статьи, указаны те же 41 балл и примерно 213 токенов в секунду; актуальные измерения могут меняться по мере обновления провайдеров и тестов.

График Artificial Analysis воспроизведён в отчёте IT Home. Он показывает конкретный снимок измерений, а не гарантированную скорость развёртывания.

Источник также включает более широкий график оценки задач, подготовленный командой. Результаты по программированию и работе в терминале зависят от среды оценки; на графике указано, что часть результатов получена с использованием LingCode. Оценку из такой конфигурации не следует автоматически относить к каждому приложению, использующему базовую модель.

График предоставлен в исходном отчёте; результаты заявлены командой модели.

Смешанная точность снижает объём памяти для весов

В заявленной оптимизированной конфигурации развёртывания маршрутизируемые эксперты используют MXFP4, тогда как плотные слои сохраняют формат block-FP8. По данным IT Home, это сокращает объём памяти для весов примерно с 534 ГБ до 292 ГБ и позволяет сократить соответствующую конфигурацию обслуживания на Hopper с восьми GPU до четырёх.

Эти показатели относятся к конкретной конфигурации. Объём весов — лишь одна часть бюджета памяти: обслуживание длинных контекстов, несколько одновременных запросов и буферы, зависящие от реализации, создают дополнительные требования. Четыре GPU с недостаточным объёмом памяти не эквивалентны протестированной системе на четырёх Hopper.

Это различие особенно важно, поскольку стандартный пример SGLang в текущей карточке модели использует восемь GPU H200, а отдельно описывается конфигурация на четырёх GB300. Ни один из этих вариантов не следует безоговорочно подменять смешанно-точным экспериментом из отчёта на четырёх Hopper.

Длинный контекст и структурированные вызовы инструментов

Источник описывает параллелизм контекста на этапах prefill и decode, обозначенный как PCP и DCP, для обработки длинных входных данных. Также сообщается об улучшенной поддержке JSON Schema для вызовов инструментов, что важно, когда ассистент должен формировать аргументы, соответствующие существующему бизнес-интерфейсу.

Лимит контекста модели, настроенный максимум движка обслуживания и лимит запроса у хостинг-провайдера могут различаться. Перед отправкой очень большого документа проверяйте конкретный эндпоинт или локальный рецепт обслуживания, а не считайте заявленное окно в один миллион токенов гарантией того, что каждый маршрут его примет.

Структурированные аргументы также нуждаются в проверке на стороне приложения. Корректно сформированный вызов инструмента всё ещё может запрашивать неверную операцию или содержать неправильное значение, поэтому соответствие схеме и корректность выполнения задачи следует оценивать раздельно.

Задержка и пропускная способность: не смешивайте нагрузки

IT Home сообщает о двух экспериментах по обслуживанию с разным распределением запросов и разным числом GPU:

Первая нагрузка выигрывает от значительного повторного использования кэша и коротких ответов. Вторая оценивает, какой объём трафика один экземпляр может обслуживать, оставаясь в заданных целевых пределах задержки. Сочетание самого быстрого показателя из каждой строки описывало бы систему, которую отчёт не тестировал.

Для планирования мощности используйте репрезентативное распределение длины документов, длины ответов и повторного использования кэша. Измеряйте как центральную часть распределения задержек, так и более медленные запросы, затем проверяйте, соответствует ли система требованиям приложения при одновременной нагрузке.

Заявленные скидки на API и варианты доступа

Источник указывает временное предложение по цене 25% от обычной, что эквивалентно скидке 75%. Приведённые тарифы за миллион токенов:

Это показатели стартового предложения из отчёта, а не обязательство сохранять цены постоянно. Страница модели OpenRouter и биллинговая информация сервиса должны быть основой для покупки, поскольку доступность у провайдеров, поддерживаемая длина контекста и скидки могут меняться независимо друг от друга.

Веса размещены на Hugging Face и ModelScope. Для внедрения начните с актуальных рекомендаций по обслуживанию в карточке модели; сама исходная статья является отчётом о релизе и не содержит полной процедуры развёртывания.

FAQ

Что такое Ling-3.1-flash?

Это языковая модель InclusionAI для рассуждений, обработки длинного контекста и задач с использованием инструментов. В её официальном описании указано примерно 560 млрд общих параметров, из которых 25 млрд активны для каждого токена.

Доступны ли веса модели публично?

Да, официальный репозиторий на Hugging Face предоставляет модель и указывает лицензию MIT. Перед адаптацией или распространением изучите актуальные файлы и лицензию в репозитории.

Означает ли 25 млрд активных параметров, что модель поместится на настольном GPU?

Нет, активные вычисления и полный объём хранимых весов — разные величины. Оптимизированный объём весов, указанный в источнике, составляет примерно 292 ГБ без учёта дополнительной памяти для обслуживания.

Может ли Ling-3.1-flash работать на четырёх GPU Hopper?

Источник сообщает об этом результате для конкретной смешанно-точной конфигурации. Это не доказывает, что подойдут любые четыре карты Hopper, любая длина контекста или любой уровень параллелизма запросов.

Получены ли результаты 604 мс задержки и 1,36 QPS в одном тесте?

Нет, в них использовались разное количество оборудования и разные распределения запросов. При сравнении результатов учитывайте долю попаданий в кэш, длины токенов и ограничения по задержке.

Являются ли сниженные цены API постоянными?

Источник называет это предложение временным. Перед оценкой затрат проверьте актуальную цену выбранного провайдера, его политику кэширования и поддерживаемый лимит контекста.

Связанные инструменты

• Ling-3.1-flash на Hugging Face: Официальный репозиторий модели предоставляет веса и актуальные рекомендации по обслуживанию.
• OpenRouter: Хостинговый API-маршрут для оценки модели без управления полным объёмом её весов.
• Artificial Analysis: Независимые измерения дают контекст для оценки интеллекта, задержки и скорости генерации.

Связанные ссылки

• Исходный отчёт IT Home: Китайский отчёт о релизе содержит эксперименты по развёртыванию и временные цены, рассматриваемые здесь.
• Официальная карточка модели: Проверяйте архитектуру, лицензию и примеры обслуживания напрямую.
• Страница модели OpenRouter: Изучите актуальные варианты провайдеров и цены API.
• Оценка Artificial Analysis: Сравните измеренную скорость модели и оценку интеллекта.
• Репозиторий Ling от InclusionAI: Изучите более широкий проект Ling, учитывая, что старые примеры относятся к предыдущим моделям.

Итоги

Открытые веса Ling-3.1-flash делают возможной локальную оценку, а заявленная смешанно-точная конфигурация снижает требования к хранилищу весов и GPU. Длинный контекст и структурированные вызовы инструментов актуальны для ассистентов, работающих с большими документами, и корпоративных процессов.

Полезное сравнение вариантов развёртывания требует рассмотрения полной конфигурации: точности, памяти GPU, длины входных данных, параллелизма запросов и повторного использования кэша. Считайте опубликованные бенчмарки результатами тестов, которые следует воспроизвести на своей нагрузке, а не универсальными гарантиями обслуживания.