GPT-5.6 Sol незначительно превзошёл Claude Mythos 5 в тестах по кибербезопасности, открытые модели сокращают разрыв

Введение

В двух оценках кибербезопасности, опубликованных Британским институтом искусственного интеллекта (AISI), GPT-5.6 Sol занял немного более высокое место, чем Claude Mythos 5. Этот результат заслуживает внимания, но требует осторожной интерпретации.

AISI не публиковал общий рейтинг, охватывающий все возможности наступательной и оборонительной кибербезопасности. Он тестировал модели в ряде конкретных технических задач и в симулированных долгосрочных атаках на корпоративные сети. В этих условиях GPT-5.6 Sol показал наивысший средний результат, а Mythos 5 был очень близок к нему.

Более важное открытие касается моделей с открытыми весами. AISI обнаружил, что производительность GLM-5.2 и DeepSeek V4-Pro теперь сравнима с ведущими закрытыми моделями, выпущенными всего четыре-семь месяцев назад. Во внутренних тестах AISI 2025 года этот разрыв составлял шесть-десять месяцев.

Сокращение этого разрыва имеет большое значение, поскольку модели с открытыми весами можно загружать, модифицировать, развертывать локально и запускать без мониторинга со стороны поставщика. Такая гибкость, поддерживающая исследования, конфиденциальность и снижение затрат, также может затруднить контроль над передовыми сетевыми возможностями после их выпуска.

Что оценивал AISI

AISI использовал две дополняющие друг друга системы оценки.

Узкие сетевые задачи

Первая система оценивает конкретные навыки кибербезопасности с помощью 70 задач, выбранных из более крупного набора из 96 задач.

Эти задачи охватывают четыре основные области:

• Исследование и эксплуатация уязвимостей
• Обратная разработка
• Сетевая эксплуатация
• Криптография

Они разделены на четыре уровня сложности в зависимости от предполагаемого опыта, необходимого человеку:

Каждая модель имела пять попыток на каждую задачу, с лимитом в 2,5 миллиона токенов на попытку. Затем AISI вычислял среднюю частоту успеха.

Киберполигон

Вторая система оценивает способность модели самостоятельно поддерживать многошаговую атаку в симулированной сети.

Основной сценарий, обсуждаемый в отчете, называется Последний выживший. Он включает:

• 32 последовательных этапа атаки
• Четыре сетевых подсети
• Около 20 хостов
• Несколько именованных контрольных точек
• Оценочное время работы для человека-эксперта — 20 часов

Траектория каждой основной модели представляет собой среднее значение десяти запусков с лимитом в 100 миллионов токенов на запуск.

Эти среды не воспроизводят всех трудностей атаки на хорошо защищенную реальную организацию. AISI отмечает, что эти полигоны в настоящее время не включают активных защитников-людей, средства защиты и не наказывают за срабатывание сигнализации.

Что на самом деле говорят результаты GPT-5.6 Sol и Mythos 5

В наборе узких задач GPT-5.6 Sol зафиксировал наибольшую среднюю частоту успеха на графике, опубликованном AISI. Claude Mythos 5 следует за ним, и диапазоны неопределенности перекрываются.

График показывает, что средняя частота успеха GPT-5.6 Sol немного превышает 90%, а Mythos 5 — около 90%. Из-за перекрытия полос неопределенности этот результат следует описывать как незначительное преимущество в данной оценке — он не доказывает, что Sol абсолютно превосходит всех в любых сценариях кибербезопасности.

Долгосрочные задачи также демонстрируют аналогичную картину.

В среднем GPT-5.6 Sol выполнил около 29 из 32 шагов, а Claude Mythos 5 — около 27. Лучшие попытки обеих моделей выполнили все шаги.

Отсюда можно сделать следующие выводы:

1. GPT-5.6 Sol показал лучший средний результат в этой конкретной задаче на полигоне.
2. Mythos 5 показал близкий результат и в своей лучшей попытке также выполнил все 32 шага.
3. Различия могут отражать возможности модели, надежность агента, использование инструментов, способность к долгосрочному планированию или комбинацию этих факторов.
4. Доказательная сила одного полигона кибербезопасности слабее, чем данные большого количества разнообразных задач.
5. Эти результаты не устанавливают общий рейтинг наступательной безопасности.

Отчет AISI в основном посвящен разрыву в возможностях между открытыми и закрытыми моделями, а не определению общего победителя между Sol и Mythos.

Модели с открытым исходным кодом теперь отстают всего на 4–7 месяцев

AISI выбрал GLM-5.2 и DeepSeek V4-Pro, потому что на момент тестирования они были ведущими кандидатами среди моделей с открытым исходным кодом.

Основное сравнение в отчете основано на производительности аналогичных моделей и временном интервале между их выпусками.

GLM-5.2 показал производительность, сопоставимую с Opus 4.6, на всех четырех уровнях сложности узких задач. В задаче на полигоне «Последний выживший» он достиг того же среднего конечного количества шагов, что и Opus 4.5.

DeepSeek V4-Pro сравнялся с Opus 4.5 в узких задачах, но показал более слабые результаты в долгосрочных задачах на полигоне.

Внутренние тесты AISI 2025 года показали, что ведущие модели с открытым исходным кодом отстают от закрытых передовых моделей на шесть-десять месяцев. Последняя оценка в четыре-семь месяцев указывает на то, что окно для подготовки защиты может сокращаться.

Почему этот разрыв не является фиксированным прогнозом

Цифра в четыре-семь месяцев описывает только протестированные AISI модели и оценочные задачи. Это не прогноз того, что каждая будущая модель с открытым исходным кодом будет сохранять фиксированное отставание.

Множество факторов могут изменить разрыв в любую сторону:

• Разработчики закрытых моделей могут внезапно совершить скачок в возможностях.
• Модели с открытым исходным кодом могут воспроизвести недавние усовершенствования передовых моделей.
• Более качественные агентские фреймворки могут высвободить больше производительности из существующих моделей.
• Тонкая настройка и специфические для моделей подсказки могут изменить измеряемые возможности.
• Новые бенчмарки могут выявить слабые места, не обнаруженные текущими тестами.
• Стоимость развертывания и доступное оборудование могут ограничить реальный риск злоупотребления.
• Меры безопасности и контроль доступа могут изменить доступные возможности размещенных моделей.

AISI также отмечает, что их настройка может немного недооценивать максимальные возможности моделей с открытыми весами, поскольку они не проводили глубокую извлечение или оптимизацию специально для этих моделей.

Этот отчет применим только к области кибербезопасности, и на его основе не следует делать выводы об аналогичном разрыве в науке, программировании, общем мышлении или других областях.

Модели с открытым исходным кодом значительно дешевле при сопоставимом уровне возможностей

Разрыв в возможностях невелик, но разница в цене значительна.

AISI сравнил опубликованные цены на токены первого лица для моделей с аналогичной производительностью.

Запуск

1亿 токенов стоимость полигона

Стоимость решения одной конкретной задачи с 100% надёжностью

В этих примерах опубликованная цена DeepSeek V4-Pro на один-два порядка ниже, чем у аналогичных закрытых моделей.

Это сравнение имеет ограничения. AISI не запускала тестируемые модели с открытым весом через своего первого провайдера, поэтому фактические затраты на инфраструктуру могут отличаться. Самостоятельное размещение также влечёт за собой затраты на оборудование, инжиниринг, электроэнергию, сеть и обслуживание, которые не отражены в ценах API.

Тем не менее, более низкая стоимость вывода делает повторные эксперименты, тонкую настройку и частное развёртывание более осуществимыми.

Почему открытые веса меняют проблему безопасности

Модели с открытым весом имеют практические преимущества:

• Частное развёртывание
• Отсутствие необходимости передавать данные обратно исходному провайдеру
• Настройка под конкретные задачи
• Независимость от прекращения поддержки провайдером
• Воспроизводимые исследования
• Проверка и модификация весов модели
• Межорганизационное сотрудничество

Те же характеристики ограничивают возможные меры безопасности после публикации.

Провайдеры закрытых моделей могут:

• Мониторить аномальные шаблоны использования
• Применять классификаторы
• Блокировать учётные записи
• Ограничивать скорость доступа
• Обновлять меры безопасности
• Ограничивать определённые инструменты
• Отзывать или заменять модели

Как только веса модели становятся общедоступными, копии могут быть распространены и запущены в частном порядке. Отказы могут быть изменены, мониторинг развёртывания удалён, а исходный разработчик не сможет надёжно отозвать каждую копию.

AISI обнаружила, что меры безопасности существенно не препятствовали большинству её тестов на двух моделях с открытым весом. DeepSeek V4-Pro иногда отказывалась выполнять задачи по обратной разработке, но несколько повторных попыток обычно обходили эти отказы.

Это не означает, что все модели с открытым весом будут использоваться злонамеренно, но означает, что когда модели достигают уровня возможностей, связанных с риском, решение о публикации становится труднообратимым.

Закрытые модели также нуждаются в более сильных мерах безопасности

Закрытый доступ не является гарантией безопасности.

Anthropic опубликовала Claude Fable 5 и Claude

9 июня 2026 года компания выпустила Mythos 5. Fable 5 использует более сильные классификаторы для обычного доступа, в то время как Mythos 5 раскрывает больше сетевых возможностей базовой модели ограниченному кругу доверенных защитников.

12 июня экспортные ограничения США потребовали от Anthropic приостановить доступ. Anthropic заявила, что распоряжение было выпущено после того, как исследователи Amazon представили отчёт, описывающий метод обхода защитных мер Fable 5 в ограниченном сценарии сетевой безопасности.

Затем Anthropic обучила обновлённый классификатор, совместно с правительственными и отраслевыми партнёрами разработала систему оценки серьёзности взломов и 1 июля глобально восстановила Fable 5 после снятия ограничений.

Этот инцидент выявил несколько моментов:

• Классификаторы могут давать ложноположительные и ложноотрицательные результаты.
• Способы взлома сильно различаются по серьёзности.
• Методы обхода не обязательно раскрывают самые опасные возможности модели.
• Закрытые провайдеры могут обновлять защиту и приостанавливать доступ.
• Эти меры также могут препятствовать законной работе по безопасности.
• Отрасль и правительство по-прежнему не имеют единых стандартов для оценки сетевых взломов.

Закрытое развёртывание предоставляет больше возможностей для вмешательства, но эти возможности по-прежнему требуют эффективного мониторинга, тестирования, политики и технического контроля.

Окно подготовки к обороне сужается

AISI описывает разрыв между открытыми и закрытыми системами как время на подготовку.

Если самые мощные системы контролируются за несколько месяцев до эквивалентного выпуска с открытым весом, защитники могут использовать это время для:

• Обнаружения и исправления уязвимостей
• Улучшения инвентаризации активов
• Удаления неподдерживаемого программного обеспечения
• Усиления контроля идентификации
• Внедрения устойчивой к фишингу аутентификации
• Улучшения сегментации сети
• Расширения журналирования и обнаружения
• Тестирования планов реагирования на инциденты
• Применения AI-ассистированной проверки кода и анализа угроз

Сокращение с шести-десяти месяцев до четырёх-семи означает, что у организаций может быть меньше времени на выполнение этих работ до того, как аналогичные возможности станут дешевле и доступнее.

Национальный центр кибербезопасности Великобритании предупреждает, что AI усилит разрыв между сильными и слабыми практиками безопасности. Его рекомендации подчёркивают, что инструменты AI не могут компенсировать слабую основу.

Организации с плохим управлением исправлениями, открытыми сервисами, повторным использованием учётных данных, неполными резервными копиями и ограниченным мониторингом останутся уязвимыми, независимо от того, какую AI-модель использует атакующий.

AI также ускоряет оборонительную работу по безопасности

Те же возможности, используемые для атакующей оценки, могут помочь защитникам аудировать код, генерировать тесты, расследовать сбои и расширять исследования уязвимостей.

Недавний пример — игровой сетевой разработчик Гленн Фидлер, который использовал Claude Code с Claude Fable 5 для аудита четырёх зрелых библиотек с открытым исходным кодом:

• netcode
• reliable
• serialize
• yojimbo

Этот аудит добавил цели libFuzzer, непрерывную интеграцию на основе санитайзеров, стресс-тесты с миллионами итераций, тесты золотых линий формата и построчный обзор.

Публичный реестр уязвимостей показывает 43 исправления:

Самая

Серьёзной проблемой была уязвимость переполнения кучи в yojimbo, удалённо эксплуатируемая с 2019 года. Сконструированные фрагменты блоков могли копироваться в буфер рекомбинации до проверки размера.

Каждая перечисленная проблема сопровождается ссылками на исправляющий коммит и версию, каждое исправление включает регрессионный тест. Разработчик сообщил о затратах более 2500 долларов на Claude Code в течение двухнедельного процесса исправления.

Пользователям затронутых библиотек рекомендуется обновиться до последних версий, указанных в публичном реестре уязвимостей.

Этот случай не доказывает, что AI-агенты могут самостоятельно защищать произвольное программное обеспечение. Он показывает, что осведомлённые мейнтейнеры могут использовать AI для масштабирования фаззинга, покрытия санитайзерами, проверки и генерации тестов для существующих кодовых баз.

Асимметрия ускорения атаки и защиты

AI может помогать обеим сторонам, но модели развёртывания различаются.

Атакующему нужна только одна эксплуатируемая уязвимость, одна доступная цель и один успешный путь. Модели с открытым весом могут копироваться и использоваться многократно после публикации.

Защитник должен защищать множество систем, поддерживать инвентаризацию активов, расставлять приоритеты в исправлениях, тестировать изменения, управлять простоями и координировать действия между командами. Улучшения защиты должны внедряться в каждой организации индивидуально.

Это создаёт асимметрию:

• Атакующие возможности могут быстро распространяться.
• Оборонительные возможности должны внедряться локально.
• Публикация модели может произойти один раз.
• Обновления безопасности должны развёртываться многократно.
• Атакующий может выбрать самую слабую цель.
• Защитник должен покрыть все критические пути.

Правильная реакция — не избегать оборонительного AI, а сочетать его с надёжными инженерными практиками, человеческим опытом и проверенными мерами безопасности.

Как организациям следует реагировать

Выводы AISI и NCSC поддерживают набор практических действий.

1. Сначала укрепите базовый уровень

Приоритет:

• Инвентаризация активов
• Поддерживаемое программное обеспечение
• Быстрое исправление
• Многофакторная аутентификация
• Доступ с минимальными привилегиями
• Сегментация сети
• Проверенные резервные копии
• Централизованное журналирование
• Учения по реагированию на инциденты

Когда эти основы уже существуют, AI-усиленная защита работает лучше всего.

2. Расширьте непрерывное тестирование безопасности

Для программных проектов внедрите:

• Фаззинг
• AddressSanitizer
• UndefinedBehaviorSanitizer
• MemorySanitizer там, где это поддерживается
• Статический анализ
• Сканирование зависимостей
• Регрессионные тесты для каждой подтверждённой ошибки
• Проверку безопасности путей ввода недоверенных данных

Аудит Mas Bandwidth был полезен, потому что он сочетал AI-проверку с механическими доказательствами, а не полагался на сгенерированные объяснения.

3. Рассматривайте AI-находки как подсказки, а не как доказательства

AI-сгенерированные отчёты об уязвимостях могут быть правильными, неполными или вводящими в заблуждение.

Требуйте:

4. Ограничение полномочий агента

Агенты оборонительного кодирования по умолчанию не должны получать неограниченный доступ.

Ограничения:

• Производственные учетные данные
• Сетевой доступ
• Деструктивные shell-команды
• Область записи в репозиторий
• Доступ к ключам
• Права на развертывание
• Внешняя коммуникация

Используйте изолированные среды и ставьте важные действия под контроль человека.

5. Оценка затрат и эффективности

Отслеживайте следующие показатели:

• Подтвержденные уязвимости
• Ложные срабатывания
• Время на воспроизведение
• Время на исправление
• Дополнительное покрытие тестами
• Затраты на токены и инфраструктуру
• Время ручной проверки
• Откаты безопасности после развертывания

Если модель выдает ненадежные результаты или требует значительной проверки, самая дешевая модель не обязательно является наиболее рентабельной.

Как интерпретировать бенчмарки кибербезопасности ИИ

Бенчмарки кибербезопасности полезны, но необходимо четко понимать их применимость.

Высокий балл не равен реальному взлому

Симуляционные полигоны упрощают среду. Реальные сети могут включать активных защитников, защиту конечных точек, механизмы оповещения, ограничение скорости, системы обмана и неполную информацию.

Способности модели и агента взаимосвязаны

Результаты долгосрочных задач зависят не только от знаний модели. Дизайн инструментов, память, управление контекстом, стратегии повторных попыток, структура подсказок и надежность выполнения влияют на производительность.

Средние результаты и лучшие попытки отвечают на разные вопросы

Лучшие попытки показывают, что система иногда может сделать. Средние результаты показывают, насколько надежно система прогрессирует в нескольких запусках.

Для операционного риска важны оба показателя.

Сравнения на основе даты выпуска являются приблизительными

Модели с производительностью, аналогичной старым моделям, не идентичны им. Эти системы могут иметь разные сильные и слабые стороны, меры защиты, затраты и ограничения развертывания.

Способности в кибербезопасности имеют двойное назначение

Одни и те же навыки могут использоваться для пентеста, проверки кода безопасности, реагирования на инциденты, поиска уязвимостей или злонамеренного вторжения.

Результаты оценки должны служить основой для инвестиций как в управление рисками, так и в оборонительную безопасность.

Часто задаваемые вопросы

Превзошел ли GPT-5.6 Sol модель Claude Mythos 5 в тестах AISI?

GPT-5.6 Sol показал несколько более высокие средние результаты в узких задачах кибербезопасности AISI и в специально упомянутых долгосрочных полигонах. Показатели Mythos 5 близки, диапазоны неопределенности по узкому набору задач перекрываются, и обе модели выполнили все 32 шага полигона в лучших попытках.

Означает ли это, что GPT-5.6 Sol — лучшая модель кибербезопасности?

Не обязательно. AISI тестирует конкретные наборы задач и симуляционные среды, а не все реальные сценарии защиты или атак. Результаты поддерживают узкое сравнение бенчмарков, а не общий рейтинг.

Насколько велик разрыв между моделями с открытым весом и передовыми закрытыми моделями?

AISI оценивает разрыв для лидирующих моделей с открытым весом в четыре-семь месяцев. Эти данные основаны на сопоставлении замеренной производительности с датами выпуска сопоставимых закрытых моделей.

Какая модель с открытым весом показала лучшие результаты?

На момент публикации отчета GLM-5.2 была самой сильной моделью с открытым весом в тестах AISI. Она сравнялась с Opus 4.6 по узким задачам и достигла того же среднего балла, что и Opus 4.5, на специально упомянутом полигоне кибербезопасности.

Почему модели с открытым весом вызывают опасения в кибербезопасности?

Их веса могут быть загружены, модифицированы, развернуты приватно и распространены повторно. Это дает преимущества в исследованиях и конфиденциальности, но ограничивает возможности оригинального разработчика отслеживать злоупотребления, обновлять меры безопасности в развертываниях, приостанавливать работу пользователей или отзывать все копии.

Являются ли они более рентабельными

в оценке AISI?
Да. По объявленным официальным ценам, GLM-5.2 и особенно DeepSeek V4-Pro значительно дешевле сопоставимых закрытых моделей. Фактические затраты на самостоятельное размещение и развертывание сторонними провайдерами могут отличаться.

Могут ли модели ИИ одновременно помогать защитникам и атакующим?

Да. ИИ может помогать в проверке кода, генерации fuzz-тестов, анализе уязвимостей, исследовании журналов и исправлениях. После работы по безопасности с помощью Claude Code, аудит Mas Bandwidth зафиксировал 43 исправления в четырех сетевых библиотеках.

Что организациям следует делать в первую очередь?

Прежде чем полагаться на инструменты ИИ, усильте базовые средства контроля безопасности. Видимость активов, управление патчами, защита идентичности, резервное копирование, сегментация сети, мониторинг и проверенные процедуры реагирования на инциденты остаются критически важными.

Связанные инструменты

• AISI Inspect Cyber: Фреймворк для оценки задач кибербезопасности агентов.
• Inspect AI: Открытый фреймворк AISI для оценки больших языковых моделей.
• GLM-5.2: Официальный репозиторий модели с открытым весом от Z.ai.
• DeepSeek API: Официальная документация и текущая информация о доступе к моделям DeepSeek.
• Claude Code: Среда агентного кодирования от Anthropic для работы с репозиториями, тестирования и проверки безопасности.
• NCSC Cyber Essentials: Базовый стандарт Великобритании для защиты организаций от распространенных киберугроз.

Связанные ссылки

• Отчет AISI о разрыве в киберспособностях моделей с открытым весом: Официальный анализ, методология, диаграммы, сравнение затрат, ограничения и выводы за июль 2026 года.
• Введение в Inspect Cyber: Объяснение AISI своего открытого фреймворка для оценки кибербезопасности агентов.
• Отчет AISI о трендах передового ИИ: Более широкие свидетельства прогресса возможностей передовых моделей, включая кибербезопасность.
• Руководство NCSC по киберрискам передового ИИ: Рекомендации по базовым мерам безопасности и осторожному развертыванию усиленной ИИ защиты.
• Отчет Anthropic о повторном развертывании Fable 5: Объяснение Anthropic приостановки в июне 2026 года, обновления классификатора и восстановления доступа.
• Запись об уязвимостях безопасности Mas Bandwidth: Верифицируемый список из 43 исправлений с информацией о коммитах, уровне серьезности, сетевой доступности и версиях.
• Уведомление Mas Bandwidth об обновлении: Уведомление мейнтейнера с рекомендацией пользователям обновить затронутые сетевые библиотеки.

Итог

Последние результаты AISI показывают, что GPT-5.6 Sol незначительно опережает Claude Mythos 5 по средним баллам в двух указанных оценках кибербезопасности. Это лидерство невелико и не должно рассматриваться как свидетельство общего превосходства.

Основной вывод отчета шире: отставание GLM-5.2 и DeepSeek V4-Pro от сопоставимых передовых закрытых моделей сократилось до 4–7 месяцев, тогда как во внутренних тестах AISI 2025 года этот разрыв составлял 6–10 месяцев.

Его цена также значительно ниже, чем у конкурентов.

Эта сокращённая задержка означает, что у защищающейся стороны остаётся ещё меньше времени на реагирование до того, как продвинутые возможности станут легче доступны для загрузки, модификации и локального запуска. В то же время обнаружение 43 уязвимостей в четырёх сетевых библиотеках с помощью Claude Code показывает, что мощные модели могут ускорить и защитную работу.

Реальная стратегия противодействия заключается не в простом использовании средств защиты моделей или инструментов ИИ-безопасности, а в укреплении базового уровня безопасности и применении ИИ в контролируемых, тестируемых и проходящих ручную проверку защитных процессах.