GPT-5.6 Sol на Cerebras: 750 токенов в секунду и теория многовейферного развертывания

Введение

GPT-5.6 Sol смещает фокус обсуждения frontier-моделей с одних лишь возможностей на нечто не менее важное: скорость отклика.

OpenAI заявила, что GPT-5.6 Sol может работать на инфраструктуре Cerebras со скоростью до 750 токенов в секунду. При такой скорости ИИ-система перестаёт ощущаться как инструмент, делающий паузу после каждого действия. Кодинг-агенты, браузерные операторы, исследовательские ассистенты и системы компьютерного использования могут проходить многошаговые рабочие процессы с гораздо меньшим ожиданием между решениями.

Громкая цифра официальна. Однако многие из обсуждаемых вокруг неё архитектурных деталей таковыми не являются. Оценки, что модель содержит примерно три триллиона параметров, использует от 70 до 100 wafer-scale систем или назначает один сетевой слой на одну пластину, основаны на внешнем техническом анализе, а не на опубликованной спецификации OpenAI.

Эта статья чётко проводит это различие. В ней объясняется, что было подтверждено, что остаётся правдоподобной инженерной теорией и почему сочетание GPT-5.6 и inferencing на уровне пластин имеет значение для ИИ в реальном времени.

Почему важна скорость 750 токенов в секунду

Пропускную способность в 750 токенов в секунду трудно оценить, пока не сравнить её с тем, как люди обычно используют ИИ-системы.

Длинный ответ, который раньше появлялся строка за строкой, теперь может быть сгенерирован практически мгновенно. Что ещё важнее, модель может гораздо быстрее проходить через внутренние рассуждения, вызовы инструментов, генерацию кода, взаимодействие с интерфейсом и последующие решения. Преимущество не просто в том, что текст приходит быстрее. Весь цикл работы агента становится более отзывчивым.

Это изменение важно в таких рабочих процессах, как:

• Многократное редактирование и тестирование кода
• Навигация по веб-сайтам и программным интерфейсам
• Проведение исследований по нескольким источникам
• Координация нескольких инструментов или субагентов
• Ответы во время голосового или визуального взаимодействия в реальном времени
• Выполнение длинных цепочек действий по использованию компьютера

Для обычного чата небольшая задержка может быть приемлемой. Для агента, который должен нажать кнопку, проверить результат, пересмотреть свой план и продолжить, каждый цикл добавляет трение. Высокоскоростной inference снижает эту накопленную задержку.

Разработчик Калеб Шеперд подчеркнул это различие в обсуждении GPT-5.6 Sol. Самый важный выигрыш — не только более быстрая генерация кода, но и более быстрое использование компьютера: агенту больше не должны требоваться минуты для выполнения последовательности простых действий с интерфейсом.

Вопрос о размере модели

Заявление о скорости сразу породило технический вопрос: как передовая мультимодальная модель может работать так быстро на оборудовании размером с пластину?

В публичной документации OpenAI модель GPT-5.6 Sol описывается как флагманская модель семейства GPT-5.6, принимающая на вход текст и изображения, с контекстным окном в 1 050 000 токенов и возможностью генерации до 128 000 токенов. Компания не публикует количество параметров модели, количество активных параметров, количество слоёв, архитектуру внимания или физическую топологию развёртывания.

Это отсутствие информации заставило разработчиков и специалистов по инфраструктуре реконструировать возможные характеристики, исходя из известных возможностей оборудования Cerebras.

Питер Гостев описал основную загадку: если GPT-5.6 Sol является полноценной мультимодальной моделью, а не урезанной версией, она может быть слишком велика, чтобы поместиться в одной системе на пластине. Остаются такие варианты: модель меньше, чем ожидалось; новая аппаратная конфигурация; или архитектура с обслуживанием на нескольких системах.

![Изображение твита Питера Гостева, в котором обсуждаются вопросы, связанные с моделью GPT-5.6 Sol на платформе Cerebras. Он считает, что эта модель может быть полностью идентична предыдущей, включая визуальные способности, и не похожа на GPT-5.3

• Codex
• Spark. На чипе Cerebras может поместиться только 1001 процессор модели 700–900b, поэтому GPT-5.6 Sol может быть слишком большой, и потребуется рассмотреть новый чип Cerebras или новую технологию для объединения нескольких чипов. Если это та же модель по доступной цене и широко доступна, это будет замечательно.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/d6d021fc-7455-4c4a-b258-dcab67842dc4-03-eac1b491-9ce0-44eb-8b91-cf7f78bd47b6.png)

Может ли GPT-5.6 Sol занимать от 70 до 100 пластин?

Одна из широко обсуждаемых оценок поступила от технического эксперта Блейса Гудсона. В его анализе предполагалось, что GPT-5.6 Sol может иметь:

• Примерно от 2 до 4 триллионов параметров в целом
• Около 150 миллиардов активных параметров на токен
• Примерно от 70 до 90 слоёв модели
• Развёртывание на от 70 до 100 систем Cerebras на пластинах

Эти цифры не являются официальными техническими характеристиками. Это инженерные оценки, основанные на ограничениях обслуживания модели, требованиях к памяти и известной способности кластеров Cerebras распределять очень большие модели по нескольким системам.

Самое примечательное в этой теории — не просто количество пластин. Речь идёт о предлагаемом соответствии между архитектурой модели и оборудованием.

Теория развёртывания «Одна пластина — один слой»

Предлагаемая конструкция отводит каждому крупному слою сети свою собственную систему на пластине. Активации будут перемещаться по пластинам как по конвейеру, в то время как каждая пластина выполняет вычисления, назначенные её слою.

При обычном распределённом развёртывании на GPU выполнение модели может включать сложный тензорный параллелизм, параллелизм экспертов и частую связь между узлами. Накладные расходы на связь могут стать серьёзным узким местом, особенно когда модель велика, а целью является низкая задержка, а не максимальная пропускная способность пакетной обработки.

Конвейер «слой на пластину» использует другой подход. Когда конвейер заполнен, несколько токенов могут обрабатываться на разных этапах одновременно. Добавление этапов может увеличить

задержка перед появлением первого токена, но она не обязательно пропорционально снижает пропускную способность в установившемся режиме.

Это помогает объяснить, как чрезвычайно большая модель может оставаться быстрой после начала генерации. Это также объясняет, почему развёртывание может быть дорогим: для достижения высокой последовательной скорости может потребоваться выделение очень большого объёма оборудования для одной реплики модели.

В исходной статье приводится внешняя оценка токеномики, которая моделирует GPT-5.6 Sol как систему с тремя триллионами параметров, требующую около 70 пластинчатых систем в соответствии с одним набором предположений.

![Изображение демонстрирует анализ вывода Cerebras WSE

• 3 в сравнении с ведущими моделями с открытым исходным кодом. Данные предоставлены командой токеномики SemiAnalysis. На интерфейсе представлена информация о параметрах модели, составе памяти, стоимости вычислений и т. д., например, модель GPT
• 5.6 Sol имеет 386 миллионов параметров, максимальная поддерживаемая длина контента составляет 9200 токенов и т. д. В правом нижнем углу находится фазовая диаграмма осуществимости, показывающая области осуществимости различных моделей при различных параметрах. Этот график тесно связан с контекстом, наглядно демонстрируя соответствующие данные о выводе модели Cerebras WSE
• 3 и помогая понять её производительность и стоимость при развёртывании крупных моделей.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/61e30a0b-21b3-4f35-b0df-9632857db416-05-0cf69e35-41c6-4305-92b8-ec3e5d2f5a91.png)

Важно: Оценка в 70–100 пластин и описание «одна пластина на слой» остаются информированными предположениями. OpenAI и Cerebras не подтверждали эту физическую топологию публично.

Почему KV-кэш становится критическим ограничением

Вычисления — это лишь часть проблемы. Авторегрессионные модели также поддерживают кэш ключ-значение, обычно называемый KV-кэшем, чтобы повторно использовать информацию от предыдущих токенов, а не пересчитывать всю последовательность.

Для моделей с длинным контекстом этот кэш может потреблять значительный объём памяти. Проблема становится более серьёзной, когда система должна поддерживать множество параллельных запросов.

Пластинчатые процессоры Cerebras содержат большое количество быстрой встроенной SRAM. Эта память обеспечивает исключительную пропускную способность, но она всё равно является ограниченным и ценным ресурсом. Обычная архитектура внимания с большим объёмом KV-кэша может потреблять слишком много ёмкости и снижать преимущества хранения данных рядом с процессором.

Это приводит к теории, что GPT-5.6 Sol может использовать архитектуру, спроектированную для снижения требований к кэшу. Возможности, обсуждаемые в источнике, включают:

1. Высоко сжатый или иным образом оптимизированный дизайн KV-кэша
2. Методы группового запроса, множественного запроса или латентного внимания
3. Гибридную архитектуру, сочетающую слои трансформеров с компонентами пространства состояний
4. Другие изменения, учитывающие особенности оборудования и снижающие трафик памяти на каждый генерируемый токен

Точная конструкция неизвестна. OpenAI не опубликовала достаточно архитектурных деталей, чтобы определить, какие из этих методов, если таковые вообще используются, применяются.

С уверенностью можно сказать лишь то, что совместное проектирование аппаратного и программного обеспечения становится всё более важным в таких масштабах. Модель, оптимизированная только для универсальных кластеров ускорителей, может оставить значительную производительность неиспользованной в пластинчатой системе.

Можно ли разделить вычисления внимания и FFN?

Другая гипотеза заключается в том, что разные аппаратные средства могут обрабатывать разные части модели.

Вывод трансформеров в основном состоит из двух широких категорий работы:

• Внимание, которое обрабатывает связи между токенами и сильно зависит от длины последовательности и поведения кэша
• Вычисления прямонаправленной сети, которые часто являются вычислительно интенсивными и составляют большую долю модели

参数

开发者John Lam提出，传统加速器可能处理注意力机制，而Cerebras系统则处理前馈网络层。这种注意力-FFN分解可将每种工作负载分配给最适合其运行的硬件架构。

再次强调，这只是一种假设，而非已公开的GPT-5.6部署细节。这在技术上具有相关性，因为异构推理系统正变得越来越实用。提供商无需期望单一加速器能同样出色地执行所有操作，而是可以将模型划分到专门的计算、存储和网络系统中。

代价是系统复杂性增加。当请求跨越多种类型的硬件时，调度、激活传输、故障处理和延迟控制都会变得更加困难。

Kimi K2.6的先例

Cerebras已经证明，晶圆级系统能够以异常高的速度服务于超大规模混合专家模型。

在其关于Kimi K2.6的官方材料中，Cerebras描述了一个万亿参数的开源权重模型，其服务速度接近每秒1000个token。该公司表示，模型权重可以分布在多个晶圆上，而激活则在它们之间流式传输。它还描述了以较低精度存储原始权重，同时以较高精度进行计算，并辅以定制内核和推测解码。

这是重要的证据，表明多晶圆推理是真实且可运行的。但这并不证明GPT-5.6 Sol使用了相同的配置、相同的精度策略或相同的模型分区。

![图片为Cerebras关于万亿参数服务的文档内容。指出Cerebras Wafer

• Scale Engine为规模而建，可配置为支持多万亿参数模型的训练和推理，且在优化堆栈以高效服务大型模型方面投入大量工程努力。Kimi K2.6在模型原始4
• bit权重下以16
• bit浮点数进行计算，以实现最佳准确度。权重分布在多个晶圆上，激活在它们之间流式传输，层间全对全通信完全在晶圆网络架构上运行，其带宽超过NVL72上NVLink的200倍。](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/b1040163-49dd-4c52-831a-7cf085366871-07-788afefc-1560-413e-ba93-ea17ba41440c.png)

Kimi的部署确实说明了为什么Cerebras与OpenAI的延迟策略相关。晶圆级系统围绕极高的设备内带宽构建，并减少了对众多独立加速器封装之间通信的依赖。

OpenAI在2026年1月的合作公告中表示，计划增加750兆瓦的超低延迟Cerebras算力。目标很明确：降低推理延迟，使交互式AI感觉更即时。

GPT-5.6 Sol与有限的高速访问

OpenAI最初将基于Cerebras的GPT-5.6 Sol版本描述为在容量扩展期间，面向特定客户群体的有限部署。

这种限制是可以理解的。为每个模型副本部署数十个晶圆级系统的方案成本高昂、容量受限，并且

Сложно мгновенно масштабировать. Поэтому высокоскоростной доступ может в первую очередь внедряться для рабочих нагрузок, где задержка имеет прямую бизнес-ценность.

Примеры включают:

• Интерактивные агенты для написания кода
• Системы онлайн-поддержки клиентов
• Агенты для финансовых или операционных исследований
• Научные рабочие процессы с многократными вызовами инструментов
• Голосовые приложения и приложения с использованием компьютера
• Высокоценная корпоративная автоматизация

Текущая документация OpenAI по GPT-5.6 перечисляет Sol, Terra и Luna в поддерживаемых продуктах и доступе через API. Специальная конфигурация на базе Cerebras, обеспечивающая 750 токенов в секунду, может по-прежнему иметь отдельные ограничения по ёмкости, праву доступа или маршрутизации по сравнению со стандартным доступом GPT-5.6.

Jalapeño: собственный чип вывода OpenAI

Партнёрство с Cerebras является частью более широкой инфраструктурной стратегии OpenAI.

В июне 2026 года OpenAI и Broadcom официально представили Jalapeño — первый процессор интеллекта OpenAI. Это пользовательский ускоритель, с самого начала спроектированный для современного вывода LLM, а не универсальный процессор, адаптированный от старых рабочих нагрузок.

По словам OpenAI, при разработке чипа учитывались дорожная карта моделей компании, ядра, системы обслуживания, перемещение памяти, сетевые требования и потребности продуктов. Broadcom обеспечивает реализацию кремния и сетевую экспертизу, а Celestica поддерживает интеграцию на уровне плат и стоек.

OpenAI также сообщает, что первый чип прошёл путь от начального дизайна до производственного выпуска за девять месяцев, причём модели ИИ помогали в части процессов проектирования и оптимизации.

Уже подтверждены несколько моментов:

• Jalapeño предназначен для вывода LLM
• Он должен поддерживать текущие и будущие модели по всей отрасли
• Инженерные образцы выполняют рабочие нагрузки машинного обучения в лаборатории
• OpenAI ожидает существенно лучшей производительности на ватт по сравнению с текущими передовыми системами
• Запланирован более детальный отчёт о технической производительности
• Платформа является частью многопоколенной дорожной карты

Jalapeño не делает партнёрство с Cerebras излишним. Напротив, эти две работы можно рассматривать как взаимодополняющие. Cerebras предоставляет OpenAI доступ к устоявшейся архитектуре сверхнизкой задержки, в то время как Jalapeño даёт ей больший долгосрочный контроль над собственным стеком вывода.

Стратегия инфраструктуры полного цикла OpenAI

Более масштабный сдвиг очевиден: передовые ИИ-компании больше не рассматривают оборудование как нейтральный слой под моделью.

Теперь OpenAI работает во всех следующих направлениях:

• Архитектура модели
• Ядра обучения и вывода
• Системы памяти
• Сети
• Планирование
• Инфраструктура развёртывания
• Пользовательские чипы
• Конечные продукты для пользователей

Это позволяет компании оптимизировать стек под общую цель. Изменение архитектуры модели может снизить нагрузку на память. Чип может быть спроектирован вокруг наиболее распространённых ядер модели. Сеть может быть выбрана для наиболее важных шаблонов перемещения активаций и параметров. Системы обслуживания затем могут реализовать эти улучшения как снижение задержки или стоимости.

Результатом является петля обратной связи:

1. Лучшие модели помогают инженерам проектировать и оптимизировать инфраструктуру.
2. Лучшая инфраструктура делает обучение и вывод более эффективными.
3. Повышенная эффективность позволяет обслуживать более крупные или быстрые модели.
4. Более быстрые, более

Способные модели создают лучшие продукты и обеспечивают более широкое использование.
5. Рост использования финансирует следующее поколение инфраструктуры.

Поэтому конфигурация GPT-5.6 Sol со скоростью 750 токенов в секунду — это не просто демонстрация скорости. Это пример того, как модель, оборудование, сеть и серверное программное обеспечение проектируются как единая система.

Что подтверждено, а что остаётся предположением?

Подтверждено официальными источниками

• OpenAI выпустила семейство GPT-5.6, включая Sol, Terra и Luna.
• GPT-5.6 Sol является передовой моделью в семействе.
• OpenAI объявила, что GPT-5.6 Sol на платформе Cerebras работает со скоростью до 750 токенов в секунду.
• OpenAI и Cerebras заключили крупное партнёрство в области инфраструктуры, ориентированное на сверхнизкую задержку вывода.
• Cerebras продемонстрировала обработку почти 1000 токенов в секунду для модели Kimi K2.6 с триллионом параметров.
• OpenAI и Broadcom представили ускоритель вывода LLM Jalapeño.
• Jalapeño разработан при поддержке OpenAI, Broadcom и Celestica.

Не подтверждено публично

• Общее количество параметров GPT-5.6 Sol
• Количество активных параметров на токен
• Точное количество слоёв модели
• Развёртывание на 70–100 пластинах
• Строгое соответствие одного слоя одной пластине
• Гибридная архитектура с состояниями
• Использование методов кеширования в стиле DeepSeek
• Разделение внимания на GPU и FFN на Cerebras

Важно рассматривать эти категории отдельно. Предположительные идеи технически правдоподобны и полезны для понимания задачи проектирования системы, но их не следует представлять как официальные характеристики GPT-5.6 Sol.

Часто задаваемые вопросы

Что такое GPT-5.6 Sol?

GPT-5.6 Sol — это передовая модель семейства GPT-5.6 от OpenAI. OpenAI позиционирует её для сложной профессиональной работы в области программирования, исследований, использования компьютеров, науки, кибербезопасности и других требовательных агентских задач.

Работает ли GPT-5.6 Sol официально со скоростью 750 токенов в секунду?

OpenAI объявила о конфигурации GPT-5.6 Sol на базе Cerebras, способной работать со скоростью до 750 токенов в секунду. Фактическая скорость приложения может варьироваться в зависимости от размера промпта, использования инструментов, параметров логического вывода, задержки сети и ёмкости.

Действительно ли GPT-5.6 Sol использует 100 пластин Cerebras?

Это число основано на внешних технических оценках, а не на официальном раскрытии архитектуры. OpenAI и Cerebras не подтвердили количество пластин модели или её точный физический план развёртывания.

Что означает «одна пластина на слой»?

Это описывает конвейер, в котором каждая платарная система содержит и вычисляет один основной слой модели, передавая активации на следующий этап. Такая конструкция может поддерживать высокую пропускную способность токенов после заполнения конвейера, но остаётся теорией относительно GPT-5.6 Sol, а не подтверждённым фактом.

Почему размер KV-кеша важен для вывода на платарных системах?

KV-кеш растёт с увеличением длины контекста, архитектуры модели, размера пакета и количества одновременных пользователей. Даже очень быстрая встроенная память имеет ограниченную ёмкость, поэтому уменьшение размера кеша и перемещения данных может быть важным для низкой задержки обслуживания.

Быстрее ли Cerebras, чем кластер GPU?

Cerebras может быть значительно быстрее для некоторых задач вывода благодаря своей платарной архитектуре, обеспечивающей высокую пропускную способность на устройстве и избегающей некоторых накладных расходов на связь.

встречается в многопроцессорных системах. Производительность по-прежнему зависит от модели, размера пакета, точности, контекста и конфигурации обслуживания.

Что такое чип Jalapeño от OpenAI?

Jalapeño — первый пользовательский процессор для интеллектуальной обработки данных от OpenAI, разработанный совместно с Broadcom для вывода LLM. OpenAI заявляет, что он является частью многопоколенческой полностековой вычислительной платформы и предназначен для повышения производительности, эффективности и масштабируемости.

Могут ли разработчики получить доступ к GPT-5.6 Sol через API?

Да. В документации API OpenAI перечислен GPT-5.6 Sol, а gpt-5.6 указан как псевдоним, который направляет запросы к уровню Sol. Доступность, лимиты запросов, цены и поддерживаемые функции зависят от учетной записи разработчика и текущих условий API.

Связанные инструменты

• OpenAI API: Создавайте приложения с использованием моделей GPT-5.6, инструментов, структурированных выходных данных и агентных рабочих процессов.
• OpenAI Playground: Тестируйте промпты моделей, настройки логических рассуждений и поведение API перед внедрением.
• Cerebras Cloud: Получите доступ к высокоскоростному выводу на основе пластинчатых систем Cerebras.
• ChatGPT: Используйте поддерживаемые возможности логических рассуждений GPT-5.6 через разговорный интерфейс OpenAI.
• Codex: Применяйте модели GPT для программирования, работы с репозиториями и длительных задач по разработке ПО.

Связанные ссылки

• Официальный запуск GPT-5.6: Официальный обзор семейства GPT-5.6 от OpenAI: возможности, цены и доступность.
• Документация API модели GPT-5.6 Sol: Официальные лимиты контекста, цены, модальности, конечные точки и поддерживаемые инструменты.
• Партнерство OpenAI и Cerebras: Объявление OpenAI о выделении 750 МВт высокопроизводительных вычислительных ресурсов Cerebras со сверхнизкой задержкой.
• Корпоративный вывод Cerebras Kimi K2.6: Официальные сведения об обслуживании модели с триллионом параметров со скоростью около 1000 токенов в секунду.
• OpenAI и Broadcom представляют Jalapeño: Официальное объявление о первом пользовательском процессоре вывода LLM от OpenAI.
• Центр безопасности развертывания GPT-5.6: Информация об оценке безопасности и развертывании GPT-5.6 от OpenAI.

Резюме

Заявленный пик GPT-5.6 Sol в 750 токенов в секунду демонстрирует, как вывод с низкой задержкой может изменить практическое поведение AI-агентов. Наиболее важным улучшением является не просто ускорение генерации текста, а сокращение задержек при повторяющихся логических рассуждениях, использовании инструментов, программировании и циклах управления компьютером.

Cerebras уже показала, что пластинчатые системы могут обслуживать модели с триллионом параметров со скоростью, близкой к 1000 токенов в секунду. Это делает правдоподобным крупномасштабное развертывание GPT-5.6 на нескольких пластинах, однако широко обсуждаемые количество параметров, количество пластин, архитектура кэша и разделение Attention-FFN остаются внешними оценками.

Партнерство OpenAI с Cerebras и собственный чип Jalapeño указывают в одном направлении: следующий скачок в развитии ИИ все чаще будет достигаться за счет совместного проектирования моделей, памяти, сетей, ускорителей и систем обслуживания.

Подтверждённый прорыв: пограничный вывод со скоростью 750 токенов в секунду; точная аппаратная конфигурация, стоящая за этим, пока не раскрыта.