For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/zh/articles/qiqcbench-17-ai-agents-tested-on-49-quant-cd2ff2ac.md.
AI智能体正开始从聊天窗口和代码编辑器走向科学工作流。
2026年，这一趋势在量子计算领域尤其明显。研究团队和企业开始展示能够帮助编写量子软件、调试实验室设备以及迭代测量实验的AI系统。
这引出了一个更难的问题：
即使AI智能体掌握了相关物理知识，它是否值得被信任，能够从头到尾可靠地运行一套科学工作流？
来自新加坡国立大学、南洋理工大学、佐治亚理工学院、芝加哥大学、波士顿学院、Unitary Foundation和GaugeForge等机构的研究人员，围绕这一问题构建了一项专门的基准测试。
他们的论文《评估量子工程中的验证自主性》（Evaluating Verified Autonomy in Quantum Engineering）介绍了：
该论文将Quantum-Harbor和QIQCBench介绍为验证自主量子工程的测试平台。
研究人员评估了17个前沿智能体系统。
最高通过率为78%，而表现最弱的系统只有3%。
但最重要的发现并不是排行榜本身。
真正值得关注的是，AI“知道应该做什么”，与它能否“可靠地完成一套实验工作流，并用真正支持最终结论的证据证明结果”之间存在明显差距。
**重要限制：**论文中的所有基准测试评估均在模拟环境中完成。该研究并未证明这些智能体已经足够安全或可靠，可以在无人监管的情况下操作真实量子实验室。
设想一下：你让一个AI智能体控制量子实验室，并让它运行一整晚。
第二天早上，它报告：
校准已收敛。
性能提升了42%。
任务完成。
听起来不错。
但在真实实验室中，接下来显然还需要追问：
这正是“能够给出看似合理的答案”的智能体，与“可以被信任为实验协作者”的智能体之间的区别。
在量子工程中，错误可能代价高昂。
硬件降温速度很慢，校准会发生漂移，相干时间很短，控制误差会不断累积，而测量会消耗真实的时间和资源。
聊天窗口中的幻觉令人不便。
但连接到科学设备的幻觉，可能会演变成物理层面的故障。
这正是论文所称的验证自主性问题。
其核心思想很简单：
科学智能体不应仅仅因为最终答案看起来正确就获得认可。它的结论必须由工作流过程中产生的证据支持，或者其提交的设计必须在新的隐藏数据上通过评估。
原文将这一方法与更传统的问答基准进行了对比。
验证自主性评估证据、工具使用、鲁棒性和资源决策，而不只是检查最终答案。
静态基准可能会提出：
问题 → 模型答案 → 与参考答案比较
而Quantum-Harbor评估的是一个更长的循环：
观察
↓
形成假设
↓
选择实验
↓
运行实验
↓
检查带噪声的结果
↓
更新策略
↓
决定是否继续
↓
提交结论
↓
根据证据或隐藏数据验证结论
关键变化在于，执行轨迹本身成为评估的一部分。
Quantum-Harbor为智能体提供了一个真实感较强的工作环境，同时隐藏关键评估信息。
Quantum-Harbor将智能体工作区与隐藏的硬件参数、证据日志和评分逻辑分离。
可见的智能体环境可以包括：
智能体可以编写实验代码，并通过公开接口进行交互。
论文介绍的工具访问机制基于模型上下文协议（Model Context Protocol，MCP）和科学软件接口构建。
原文将Qiskit和QCoDeS等常见量子工程工具作为示例，说明智能体可以在现实感较强的工作流中使用的软件。
公开接口背后是一个隐藏的侧车（sidecar）环境。
其中包含：
虚拟硬件可以表示多种平台抽象，包括：
智能体无法直接访问隐藏的真实数据。
这是有意设计的。
有用的科学智能体必须通过实验推断发生了什么，而不是从模拟器中直接读取答案。
研究人员在Quantum-Harbor之上构建了QIQCBench。
该基准包含49项由专家编写的任务，覆盖36种量子系统抽象，即qtype。
QIQCBench覆盖六个科学类别和量子计算技术栈的五个层级。
这些任务涵盖六个科学类别：
它们还映射到量子计算技术栈的五个层级：
论文提供了一个值得注意的说明：49项任务被划分为不同的评估类型。
| 任务类型 | 数量 | 使用方式 |
|---|---|---|
| 二元通过/失败科学任务 | 39 | 主要的验证通过率基准 |
| 竞赛任务 | 7 | 比较可行方案的连续性能 |
| 基础设施测试用例 | 3 | 不计入科学评分 |
对于竞赛任务，作者比较可行方案，并使用Bradley–Terry模型拟合Elo风格的评级。
这一点很重要，因为78%到3%的 headline范围指的是39项通过/失败任务，而不是将全部49项任务视为完全相同的测试。
每项任务都更像一个小型实验室项目，而不是选择题考试。
智能体可能需要决定：
这些决策很重要，因为时间、交互次数和实验预算都是有限的。
模型可能知道正确公式，却因为选择了糟糕的测量方式而失败。
它也可能在已经获得足够信息后继续实验，从而失败。
这使资源管理成为科学能力的一部分。
原文通过三个实际检查点概括了该基准的验证理念。
最终结论是否确实来自智能体在执行过程中获得的测量结果？
如果智能体声称发现了一个从未测量过的参数，那么即使这个数值碰巧很接近，也不应仅凭这一点获得满分。
智能体在整个过程中是否保持了连贯的行为？
一个智能体找到良好方案后，又把剩余预算消耗在不必要的实验上，那么它仍然可能是不可靠的。
提交的校准方案、模型或策略能否在新的隐藏条件下通过测试？
这可以识别出那些对可见观察结果过拟合，或只是在某个特定模拟设置下偶然成功的系统。
因此，该基准试图排除三种捷径：
记忆答案
虚构证据
过拟合策略
成功结果必须由工作流本身提供支持。
作者评估了来自8家供应商的17个前沿智能体系统。
论文使用了：
每个系统均在最高或接近最高的推理强度设置下运行，并对每项任务进行三次独立尝试。
因此，这项评估比较的是智能体系统，而不是单纯比较基础模型。
智能体框架质量、工具集成、提示词和运行时行为都会影响结果。
39项通过/失败任务的通过率从78%到3%不等。
论文报告的排名如下：
| 排名 | 智能体系统 | 通过率 |
|---|---|---|
| 1 | GPT-5.6-sol | 78% |
| 2 | GPT-5.6-terra | 57% |
| 3 | Opus 4.8 | 51% |
| 4 | GPT-5.6-luna | 46% |
| 5 | Hunyuan T4* | 36% |
| 6 | DS-V4.1-Flash | 21% |
| 7 | Hunyuan T3 | 21% |
| 8 | DS-V4-Flash | 15% |
| 9 | DS-V4-Pro | 15% |
| 10 | Kimi K3 | 14% |
| 11 | Qwen3.8-Flash | 12% |
| 12 | GLM-5.3 | 9% |
| 13 | GLM-5.3-Flash | 8% |
| 14 | Haiku 4.5 | 7% |
| 15 | Qwen3.8-Max | 7% |
| 16 | Seed 2.1 Pro | 7% |
| 17 | GLM-5.2 | 3% |
表现最强的GPT-5.6-sol明显领先。
但基准作者提出了一个更广泛的观点。
一些系统在传统智能体基准上的表现看起来相当接近，但一旦需要与动态科学环境交互，它们在QIQCBench中的表现就会分布在几乎整个区间内。
这表明，科学自主性考验的是一套不同的能力结构。
如果对失败进行分类，结果尤其具有启发性。
许多失败来自未提交答案、科学有效性不足或违反任务约定，而不只是缺乏教科书知识。
论文报告了1510次失败试验。
其中：
937次 = 没有最终提交
这约占全部失败的62%。
许多智能体只是耗尽了预算、陷入循环，或持续实验直到任务结束。
在其余失败中，论文报告称54%属于科学失败。
换句话说，即使智能体提交了某些内容，其物理结论或方法也经常无法通过验证。
核心教训非常直接：
智能体可以理解量子力学、编写可运行代码，但仍然可能不是一名合格的实验人员。
第一个案例研究涉及晶格手术，这是一种容错量子计算操作，用于合并表面码块并实现CNOT等逻辑操作。
基准测试会故意向智能体提供旧的实验笔记数据。
这些早期测量描述的是彼此独立的编码块。
但当编码块合并后，接缝可能会引入旧校准中不存在的新的相关噪声。
一种较弱的策略是：
读取旧实验笔记
↓
相信旧噪声模型
↓
使用旧解码器设置
↓
在接缝相关性下失败
更强的智能体会意识到，合并编码块改变了物理状况。
它会在合并后的系统上进行新测量，估计新引入的相关性，并重新调整解码器。
强智能体会重新测量合并后的系统，识别接缝相关性并重新调整解码器，而不是相信过时的校准数据。
在原文重点介绍的一次成功运行中，最终逻辑存储错误率达到：
输入一句想法，We0 AI 即可生成展示站、页面与 CMS。发布上线后并帮你获取客户和流量。
用户注册赠送一次完整项目生成
适合先体验一次完整生成流程，快速看到项目初稿。
每周期6.65 × 10^-4
重要的并不只是这个数字本身。
关键在于，智能体通过识别旧数据已不再匹配当前物理配置，获得了这一结果。
这正是验证自主性希望奖励的行为。
第二个案例测试智能体能否为一个隐藏的60量子比特系统构建有用的代理模型。
该系统由六个参数控制。
智能体获得固定的实验预算，必须使用测量结果预测40个留出的输入设置下的系统行为。
对于每个输入，任务会评估1770个双量子比特关联。
智能体必须收集具有信息价值的数据，并预测40个隐藏输入下的1770个成对关联。
这是一个典型的实验设计问题。
糟糕的策略包括：
智能体将测量分散在参数空间中缺乏信息价值的区域，在收集到有用数据之前耗尽预算。
智能体只进行少量测量，就认定自己已经理解系统，并生成一个在隐藏输入上表现很差的模型。
智能体陷入调试代码或重复类似操作的循环，直到时间或交互预算耗尽。
这些失败并不是因为无法回忆某条物理公式。
而是科学策略上的失败。
基准测试的失败细分使这一点尤其明显。
超过900次失败试验最终没有提交答案。
一些智能体持续运行实验，直到预算耗尽。
另一些则陷入反复修复代码的循环。
论文指出，有7个系统在超过60%的试验中于提交前耗尽预算。
这对科学智能体而言是一个重要发现。
真正的实验助手必须知道，继续测量何时已经不再值得付出成本。
因此，科学自主性也包括停止规则。
更多数据可能有帮助
≠
更多数据总值得收集
即使物理知识很强，一个无法管理这种权衡的智能体也可能成本高昂。
第三个案例并不是单项任务，而是一个完整类别。
模拟与多体物理包括以下问题：
这成为QIQCBench中最困难的部分。
该类别的汇总通过率只有15%。
更令人关注的是：
模拟与多体物理清晰地拉开了头部系统与其他系统之间的差距。
该基准最清楚地区分了教科书式熟悉程度与科学推断能力。
编码模型也许能够生成看似合理的模拟脚本。
但这并不意味着它能够从未知系统的带噪声观察中推断出正确的物理模型。
这两种能力并不相同。
论文中的另一个有价值的结果是，成功往往无法复现。
作者对每个系统—任务组合运行三次。
在至少成功一次的249个系统—任务组合中，只有约**34%**的组合三次全部通过。
这意味着，一个模型可以展示能力，却无法展示可靠性。
对于科学自动化而言，这一区别至关重要。
一个三次只能解决一次任务的系统，可能是一个有趣的研究原型。
但它未必是实验室可以放心让其无人值守运行的系统。
为什么先进语言模型会在这些任务中表现得如此糟糕？
原文将答案描述为语言空间与物理规律之间的差距。
这是一个有用的表述。
大型模型可以学习：
但实验科学是一个闭环反馈过程：
假设
↓
实验
↓
观察
↓
证伪或支持
↓
更新策略
↓
重复
这个循环比任何单一步骤都更重要。
即使每个单独动作看起来合理，智能体仍然可能失败。
例如：
这就是该基准强调证据的原因。
如果实验从未支持某个结论，物理世界不会因为解释听起来有说服力就认可它。
QIQCBench的主要价值并不在于再产生一个模型排名。
它更重要的贡献是评估框架。
一个可信的自主科学智能体，应当根据以下问题进行判断：
这些标准并不只适用于量子计算。
它们同样适用于：
它们共同面对的问题是：模型的行动会在文本界面之外产生后果。
原文使用了“真实物理世界”这一说法，但论文自身的表述更加谨慎。
研究中的所有评估均在模拟环境中完成。
Quantum-Harbor旨在模拟真实的实验约束和隐藏设备参数，但这并不等同于操作真实的稀释制冷机、激光系统、中性原子阵列或超导量子处理器。
作者明确说明了这一限制。
他们将Quantum-Harbor定位为一种衡量量子工程验证自主性发展进度的方式。
在真实实验硬件上的可靠性仍有待验证。
这一点很重要，因为真实实验室还会增加其他问题：
因此，通过QIQCBench并不意味着可以把真实实验室的钥匙交给AI。
它比静态问答更严格，但仍然只是一个测试平台。
研究人员还通过Agentic Quantum Coding Challenge向更广泛的社区开放这项评估。
该挑战围绕QIQCBench和Quantum-Harbor环境构建。
目标并不只是提交一个更强的基础模型。
参与者还可以改进周边的智能体系统：
这一点很重要，因为论文评估的是智能体系统，而不是孤立的模型。
更好的智能体框架可能显著提升同一底层模型的表现。
原文链接到公开挑战页面：
https://gaugeforge.github.io/qiqc-challenge/
原文还包含一张带二维码的挑战宣传海报。本Markdown版本有意将其排除，因为该图片属于宣传内容，包含的是注册二维码，而非科学信息。
该基准给出的答案是：还不应该。
最强系统表明，自主量子工程在技术上正逐渐变得可行。
GPT-5.6-sol在基准的二元科学任务中通过率达到78%，头部系统也能够完成解码器调优和60量子比特代理建模等困难工作流。
但失败模式仍然严重，不能被忽视。
智能体会：
能力与可靠性之间的差距仍然很大。
这正是验证自主性重要的原因。
对于未来的科学智能体，问题已经不再只是：
模型能解决这个问题吗？
而是：
系统能否完成完整工作流，负责任地使用资源，生成证据，并在环境发生变化时仍保持正确？
Quantum-Harbor是一个用于评估AI智能体的受控虚拟量子实验室。它向智能体提供真实感较强的工具和测量结果，同时隐藏设备参数、评分逻辑和留出的验证条件。
QIQCBench是一个构建在Quantum-Harbor之上的基准测试，包含49项由专家编写的量子工程任务，覆盖测量、控制、纠错、编译、多体物理、通信和传感。
GPT-5.6-sol在39项二元通过/失败任务中排名第一，通过率为78%。GPT-5.6-terra以57%位居其后，Claude Opus 4.8的得分为51%。
不能。论文明确指出，所有报告的评估均在模拟环境中完成。在真实硬件上的可靠性仍是一个开放问题。
验证自主性意味着根据智能体执行过程中生成的证据来评估它，而不仅仅检查最终答案。一个结论应由智能体实际获得的测量结果支持，或者提交的设计应在新的隐藏数据上通过测试。
大量失败来自工作流管理，而不是缺乏教科书知识。在1510次失败试验中，有937次没有最终提交，通常是因为智能体耗尽预算或陷入冗长的执行循环。
这些任务要求智能体根据观察结果推断隐藏的物理行为，而不是简单遵循已知流程。该类别的汇总通过率约为15%，其中排名前三的系统明显领先于其余14个系统。
研究团队已经围绕QIQCBench和Quantum-Harbor宣布推出Agentic Quantum Coding Challenge。公开挑战页面可通过GaugeForge的GitHub Pages网站访问。
Quantum-Harbor和QIQCBench将AI智能体评估从静态问答推进到科学系统真正需要的工作流：选择实验、与工具交互、解读带噪声的观察结果、管理有限预算，并用证据证明最终结论。
头部系统已经展现出令人印象深刻的能力。GPT-5.6-sol在二元任务上的通过率达到78%，GPT-5.6-terra和Opus 4.8则分别为57%和51%。然而，该基准也表明，许多先进系统会因为陷入循环、过度消耗实验预算、相信过时假设，或提交无法独立验证的结论而失败。
由于所有评估均在模拟环境中完成，这项工作并不能证明自主AI已经准备好在没有监督的情况下控制真实量子硬件。相反，它提供了一种更严格的方式，用于衡量智能体距离这一目标还有多远。
对于AI for Science而言，下一个里程碑不只是更聪明的答案，而是一套完整的实验工作流，并且其中的证据、资源使用和结论都能够被独立验证。
从一句话开始，几分钟内拿到完整网站。
