For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ru/articles/theophyseval-results-gpt-6-astra-scores-9-f858557c.md.
Новая оценка сообщает, что GPT-6 Astra, работающая через Codex, вернула правильные окончательные ответы для 49 из 50 задач по теоретической ...
Новая оценка сообщает, что GPT-6 Astra, работающая через Codex, вернула правильные окончательные ответы для 49 из 50 задач по теоретической физике. Результат в 98% получен в реалистичном треке TheoPhysEval с доступом к инструментам; расчетная средняя стоимость API модели составила менее $3 за задачу.
Однако значение имеет масштаб этого результата. Авторы прямо исключают крупные открытые проблемы и описывают набор как конкретные исследовательские расчеты, адаптирующие уже известные методы. Это не доказывает, что ИИ решил 98% задач физики или способен самостоятельно выбрать и завершить крупную исследовательскую программу.
TheoPhysEval объединил участников из таких учреждений, как ICTS, TIFR, Техасский университет в Остине, Токийский университет, Гарвард, Пенсильванский университет, Duke и Google DeepMind. Набор охватывает 50 неопубликованных задач по 11 направлениям — от классической физики и электронной структуры до голографии и космологии.
Авторы оценивают, что специалист в соответствующей области обычно мог бы решить задачу примерно за день или быстрее. Эксперту из смежной области могло бы потребоваться значительно больше времени. Это оценка сложности, а не контролируемое испытание «человек против агента» с ограничением по времени.
В некоторых вопросах параметры недавнего расчета изменены так, чтобы модель должна была восстановить и адаптировать метод. Исследователи не исключали вопрос только потому, что агент мог его решить. Они также признают, что некоторые участники использовали помощь ИИ, поэтому статус «неопубликованной» задачи не означает нулевую вероятность утечки данных.
В ходе проверки команда первоначально отметила несколько ответов Astra как неверные. Консультация с авторами задач выявила тонкие ошибки в эталонных решениях; после исправления эталонные ответы совпали с результатами Astra. В отчете BAAI упоминается первоначальная оценка в 88%, тогда как опубликованный результат статьи составляет 98%.
| Агент и среда | Реалистичный трек | Изолированный трек |
|---|---|---|
| GPT-6 Astra с Codex | 49/50, 98% | 46/50, 92% |
| Opus 5.5 с Claude Code CLI | 46/50, 92% | 46/50, 92% |
| Gemini 3.8 Flash с Antigravity | 34/50, 68% | 31/50, 62% |
| DeepSeek-V4.1-Flash с Codex | 27/50, 54% | 25/50, 50% |
| GLM 5.3 с Claude Code CLI | 21/50, 42% | 26/50, 52% |
Результаты приведены в препринте. Сравниваются полные конфигурации модели и среды, а не изолированные веса моделей.
Весь набор запускался один раз для каждого агента в каждом треке. Поэтому при интерпретации различий в несколько задач необходимо учитывать вариативность выборки, неоднозначность формулировок и особенности среды.
Эта задача по голографии требует определить время Пейджа путем сравнения площадей минимальных поверхностей в геометрии черной струны AdS4 с двумя бранами. В статье предлагается следующий путь:
d = 3.Это сочетание интерпретации научной литературы, адаптации по размерности и численной работы. Если без изменений использовать формулу для пятимерного случая, можно получить неправильный результат.
Другая задача требует самосогласованного атомного расчета для бора и магния. В заданной конфигурации используются приближение локальной плотности, обмен Дирака—Слэтера и параметризация корреляции VWN5.
Вопрос ссылается на данные NIST, сходящиеся с точностью до микрохартри, но требует совпадения в пределах 1e-4 хартри для соответствующих значений. Точность эталонных данных и допустимая погрешность — разные величины; результат не следует рекламировать как доказательство универсального совпадения на микрохартрийном уровне.
Эта задача посвящена преобразованию аксионов в фотоны при рассеянии на электронах в диэлектрической среде без внешнего электрического поля. В оценке заданы численные параметры и запрашиваются скорости процессов для двух масс аксиона.
В этой постановке важны единицы измерения, предположения о связи и отклик среды. Она проверяет выполнение расчета при явно заданных условиях, а не представляет новое открытие о природе темной материи.
В отчете также выделяется расчет бета-функции в трехмерной теории материи Черна—Саймонса. Другие задачи посвящены возмущениям пограничного слоя, фермионным фазам, петлевым расчетам в пространствах более высокой размерности, суперсимметричным калибровочным теориям с кварками и черным дырам в компактифицированной супергравитации.
Широта набора значительна: один исследователь редко специализируется на всех этих методах. Но это все равно не превращает коллекцию во всеобъемлющий обзор теоретической физики.
Исследователи используют Harbor для контроля среды агентов. Оба трека разрешают локальные инструменты, включая выполнение кода. Реалистичный трек также разрешает доступ к интернету; в изолированном треке интернет отключен, за исключением коммуникации с поставщиком модели.
Чтобы упростить оценку символьных ответов, во многих заданиях указаны численные значения и требуется численный итоговый результат. Это уменьшает неоднозначность между эквивалентными выражениями и усложняет угадывание.
Опишите идею одной фразой, и We0 AI создаст сайт-витрину, страницы и CMS, а после запуска поможет привлечь клиентов и трафик.
Одна полная генерация проекта для бесплатной регистрации
Лучше всего попробовать один полный поток генерации и быстро увидеть первый черновик проекта.
Однако совпадение итогового числа не доказывает правильность каждого промежуточного шага. Статья признает, что в некоторых вопросах соглашения заданы недостаточно подробно, а обратную задачу трудно свести к численной форме. Оцениваются итоговые ответы, а не проводится формальная проверка каждого вывода.
| Агент | Расчетная стоимость API в реалистичном треке | Расчетная стоимость API в изолированном треке |
|---|---|---|
| Astra | $116.28 | $95.20 |
| Opus | $240.43 | $275.46 |
| Gemini | $95.01 | $90.48 |
| DeepSeek | $37.42 | $36.23 |
| GLM | $311.71 по тарифам API | $371.46 по тарифам API |
Фактически GLM запускался в рамках тарифного плана для программирования стоимостью $180, который охватывал оба трека. Эквивалентные значения API не являются суммой, уплаченной за эти запуски.
Общая расчетная стоимость Astra в реалистичном треке, деленная на 50, составляет примерно $2.33 за задачу. Это расчетная стоимость токенов по тарифам, использованным в оценке, а не общая стоимость работы исследовательской организации, привлечения экспертов или проверки научных результатов.
Оценка не устанавливала общего ограничения на число токенов, но вводила тайм-ауты для задач: обычно восемь часов, а для связанных задач по электронной структуре предоставлялось больше времени. Низкая средняя стоимость токенов не означает гарантированно низкую задержку.
Далее источник ссылается на сообщения об исследовании с участием Нила Томпсона из MIT, Габриэля Мансо и Клаудио Майринка Вердуна. Superpower Daily со ссылкой на WIRED сообщает, что успешность решения отдельных теоретических задач выросла примерно с 2% у лучших систем середины 2024 года до примерно 35% к середине 2026 года.
Математически это означает соотношение 17,5 к 1 и рост на 33 процентных пункта. Речь идет об отдельной коллекции, охватывающей теорию вероятностей, статистику, экономическую теорию и несколько областей физики; проверка проводилась на последовательно выпущенных системах OpenAI без доступа к интернету.
Эти проценты не следует объединять с результатом TheoPhysEval. Задания, набор моделей, оценка и масштаб различаются. В рассмотренном вторичном отчете экспериментальная работа и работа на основе симуляций также исключены из этого конкретного сравнения.
Одна обратная задача TheoPhysEval оказалась нерешенной для всех протестированных агентов. В ней требуется построить автономное дифференциальное уравнение, согласующееся с заданной траекторией. В статье обсуждаются информационная асимметрия и гибкость интерпретации постановки; она не доказывает универсальное отсутствие «физической интуиции».
Авторы различают конкретный расчет, построение теорий, выбор важных вопросов и смену направления, когда подход не срабатывает. Их вывод поддерживает использование агентов под руководством экспертов, одновременно поднимая вопросы о том, как исследователям в начале карьеры следует осваивать расчетные навыки.
Учебное упражнение может оставаться ценным, даже если агент способен дешево получить его итоговый ответ. В таком случае его целью должны быть обучение и понимание, а не представление одного ответа как самостоятельного исследовательского вклада.
Это набор из 50 неопубликованных, проверяемых задач по теоретической физике исследовательского уровня. Авторы создали его для оценки автономного выполнения расчетов с помощью стандартных инструментов агентов, а не для открытия крупных нерешенных проблем.
Astra вернула принятые итоговые ответы для 49 из 50 задач в реалистичном треке. Этот показатель относится к оцененной модели, среде Codex и использованной конфигурации, а не ко всем вопросам физики.
Нет: они по-прежнему могли запускать локальные вычислительные инструменты. Ключевым ограничением был доступ к интернету, а не выполнение кода.
В статье сообщается, что несколько первоначально отклоненных ответов совпали с исправленными эталонными решениями экспертов. Это подтверждает необходимость внимательно проверять эталоны, а не считать автоматически правильным любой ответ модели или человека.
Нет: неопубликованные ответы снижают один из источников загрязнения, но некоторые участники использовали помощь ИИ. Авторы прямо признают, что утечку данных нельзя исключить.
Авторы публикуют ссылки на набор данных и ресурсы оценки на Hugging Face. При воспроизведении следует сохранить версии моделей, настройки среды, треки, численные соглашения и правила оценки, одновременно учитывая вариативность между запусками.
TheoPhysEval сообщает о выдающихся результатах на определенном наборе сложных проверяемых расчетов. Два трека показывают, что полезная работа физического агента может объединять усвоенные знания, доступ к научной литературе и выполнение вычислений.
Результат также выявляет ошибки в эталонах, неоднозначности оценки и ограничения проверки только итогового ответа. Высокая эффективность в расчетах поддерживает исследования под руководством экспертов, но не доказывает автономное владение научным открытием.
Начните с одной фразы и получите полноценный сайт за считанные минуты.
