For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ko/articles/qiqcbench-17-ai-agents-tested-on-49-quant-cd2ff2ac.md.
AI 에이전트가 채팅 창과 코드 편집기를 넘어 과학적 워크플로로 진입하기 시작하고 있습니다.
2026년에는 이러한 흐름이 양자 컴퓨팅 분야에서 특히 뚜렷하게 나타났습니다. 연구 그룹과 기업들은 양자 소프트웨어 작성, 실험실 장비 조정, 측정 실험 반복을 지원할 수 있는 AI 시스템을 선보이기 시작했습니다.
이는 훨씬 더 어려운 질문을 제기합니다.
AI 에이전트가 물리학을 알고 있더라도, 과학적 워크플로를 처음부터 끝까지 안정적으로 실행하도록 신뢰할 수 있을까요?
싱가포르국립대학교, 난양공과대학교, 조지아공과대학교, 시카고대학교, 보스턴칼리지, Unitary Foundation, GaugeForge 등을 포함한 기관의 연구진은 이 문제를 중심으로 한 벤치마크를 구축했습니다.
이들의 논문 **「Evaluating Verified Autonomy in Quantum Engineering」**은 다음을 소개합니다.
이 논문은 검증된 자율 양자 엔지니어링을 위한 테스트베드로 Quantum-Harbor와 QIQCBench를 소개합니다.
연구진은 최첨단 에이전트 시스템 17종을 평가했습니다.
최고 통과율은 **78%**였고, 가장 낮은 시스템은 **3%**에 그쳤습니다.
하지만 핵심적인 발견은 순위표 자체가 아닙니다.
핵심은 무엇을 해야 하는지 아는 것과 최종 결론을 실제로 뒷받침하는 증거를 확보하면서 실험 워크플로를 안정적으로 완료하는 것 사이의 격차입니다.
중요한 한계: 논문에 보고된 모든 벤치마크 평가는 시뮬레이션 환경에서 수행되었습니다. 이 연구만으로 해당 에이전트들이 실제 양자 실험실을 무인으로 운영하기에 이미 안전하거나 신뢰할 수 있다는 사실이 입증된 것은 아닙니다.
AI 에이전트가 통제하는 양자 실험실을 하룻밤 동안 남겨둔다고 상상해 보겠습니다.
다음 날 아침 에이전트가 다음과 같이 보고합니다.
보정 수렴 완료.
성능 42% 향상.
과제 완료.
좋은 결과처럼 보입니다.
하지만 실제 실험실에서는 다음과 같은 후속 질문이 당연히 나옵니다.
이는 그럴듯한 답변을 생성할 수 있는 에이전트와 실험 협력자로 신뢰할 수 있는 에이전트의 차이입니다.
양자 엔지니어링에서 실수는 큰 비용을 초래할 수 있습니다.
하드웨어를 냉각하는 데 시간이 오래 걸리고, 보정값은 드리프트하며, 결맞음 시간은 짧고, 제어 오류는 누적되며, 측정에는 실제 시간과 자원이 소요됩니다.
채팅 창 안의 환각은 불편한 문제일 뿐입니다.
과학 장비에 연결된 환각은 물리적 실패로 이어질 수 있습니다.
논문은 이 문제를 **검증된 자율성(Verified Autonomy)**이라고 부릅니다.
핵심 아이디어는 단순합니다.
과학적 에이전트는 최종 답변이 맞아 보인다는 이유만으로 점수를 받아서는 안 됩니다. 결론은 워크플로에서 생성된 증거로 뒷받침되어야 하며, 제출한 설계는 새로운 비공개 데이터에 대한 평가를 통과해야 합니다.
원문 기사는 이를 보다 전통적인 질의응답 벤치마크와 대비합니다.
검증된 자율성은 최종 답변만 확인하는 대신 증거, 도구 사용, 견고성, 자원 의사결정을 평가합니다.
정적 벤치마크는 다음과 같이 질문할 수 있습니다.
질문 → 모델 답변 → 기준 답변과 비교
반면 Quantum-Harbor는 더 긴 순환 과정을 평가합니다.
관찰
↓
가설 수립
↓
실험 선택
↓
실험 실행
↓
노이즈가 있는 결과 검토
↓
전략 업데이트
↓
계속할지 결정
↓
결론 제출
↓
증거나 비공개 데이터로 결론 검증
핵심적인 변화는 실행 과정 자체가 평가의 일부가 된다는 점입니다.
Quantum-Harbor는 핵심 평가 정보를 숨긴 채 에이전트에게 현실적인 작업 환경을 제공합니다.
Quantum-Harbor는 에이전트 작업 공간을 비공개 하드웨어 매개변수, 증거 로그, 채점 로직과 분리합니다.
에이전트가 볼 수 있는 환경에는 다음이 포함될 수 있습니다.
에이전트는 실험 코드를 작성하고 공개 인터페이스를 통해 상호작용할 수 있습니다.
논문은 **Model Context Protocol(MCP)**과 과학 소프트웨어 인터페이스를 중심으로 구축된 도구 접근 방식을 설명합니다.
원문 기사는 현실적인 워크플로에서 에이전트가 사용할 수 있는 소프트웨어의 사례로 Qiskit과 QCoDeS 같은 익숙한 양자 엔지니어링 도구를 소개합니다.
공개 인터페이스 뒤에는 비공개 사이드카(sidecar) 환경이 있습니다.
여기에는 다음과 같은 정보가 포함됩니다.
가상 하드웨어는 다음을 포함한 여러 플랫폼 추상화를 나타낼 수 있습니다.
에이전트는 비공개 정답에 직접 접근할 수 없습니다.
이는 의도된 설계입니다.
유용한 과학적 에이전트는 시뮬레이터에서 답을 읽는 것이 아니라 실험을 통해 무슨 일이 일어나는지 추론해야 합니다.
연구진은 Quantum-Harbor 위에 QIQCBench를 구축했습니다.
이 벤치마크는 36개 양자 시스템 추상화, 즉 qtype에 걸쳐 구현된 전문가 작성 과제 49개로 구성됩니다.
QIQCBench는 6개 과학 범주와 양자 컴퓨팅 스택의 5개 계층을 포괄합니다.
과제는 다음 6개 과학 범주를 다룹니다.
또한 양자 컴퓨팅 스택의 다음 5개 계층에 매핑됩니다.
논문에서 확인할 수 있는 중요한 내용은 49개 과제가 서로 다른 평가 유형으로 나뉜다는 점입니다.
| 과제 유형 | 개수 | 활용 방식 |
|---|---|---|
| 이진 통과·실패 과학 과제 | 39 | 검증된 주요 통과율 벤치마크 |
| 경쟁 과제 | 7 | 실행 가능한 해법을 연속 성능으로 비교 |
| 인프라 테스트 사례 | 3 | 과학 점수에서 제외 |
경쟁 과제의 경우 저자들은 실행 가능한 해법을 비교하고 Bradley–Terry 모델을 사용해 Elo 방식의 평점을 산출합니다.
이는 78%에서 3%까지의 헤드라인 수치가 39개 통과·실패 과제를 가리키며, 49개 과제 전체를 동일하게 처리한 결과가 아니라는 점에서 중요합니다.
각 과제는 객관식 시험이라기보다 작은 실험실 프로젝트에 가깝습니다.
에이전트는 다음을 결정해야 할 수 있습니다.
시간, 상호작용 횟수, 실험 예산이 제한되어 있기 때문에 이러한 결정은 중요합니다.
모델은 올바른 공식을 알고 있어도 잘못된 측정을 선택해 실패할 수 있습니다.
반대로 이미 충분한 정보를 확보한 뒤에도 실험을 계속해 실패할 수 있습니다.
따라서 자원 관리는 과학적 역량의 일부가 됩니다.
원문 기사는 벤치마크의 검증 철학을 세 가지 실용적인 점검 항목으로 요약합니다.
최종 결론이 실행 중 에이전트가 확보한 측정 결과에서 실제로 도출되는가?
에이전트가 측정하지 않은 매개변수를 발견했다고 주장한다면, 그 수치가 우연히 근접하더라도 완전한 점수를 받아서는 안 됩니다.
에이전트가 과정 전체에서 일관되게 행동했는가?
좋은 해법을 찾은 뒤에도 남은 예산을 불필요한 실험에 소모하는 에이전트는 여전히 신뢰하기 어렵습니다.
제출된 보정값, 모델 또는 전략이 새로운 비공개 조건에서의 테스트를 견딜 수 있는가?
이는 공개된 관측값에 과적합하거나 특정 시뮬레이션 설정에서 우연히 성공한 시스템을 찾아냅니다.
따라서 벤치마크는 다음 세 가지 지름길을 배제하려고 합니다.
암기한 답변
환각된 증거
과적합된 전략
성공적인 결과는 워크플로 자체로 뒷받침되어야 합니다.
저자들은 8개 공급업체의 최첨단 에이전트 시스템 17종을 평가했습니다.
논문에서는 다음을 사용했습니다.
각 시스템은 가장 높거나 이에 가까운 추론 노력 설정으로 실행되었으며, 각 과제를 서로 독립적인 세 번의 실행으로 시도했습니다.
따라서 이 평가는 순수한 기반 모델 비교가 아니라 에이전트 시스템 비교입니다.
하네스 품질, 도구 통합, 프롬프팅, 런타임 동작이 모두 결과에 영향을 줍니다.
39개 통과·실패 과제의 통과율은 78%에서 3%까지 분포합니다.
논문에 보고된 순위는 다음과 같습니다.
| 순위 | 에이전트 시스템 | 통과율 |
|---|---|---|
| 1 | GPT-5.6-sol | 78% |
| 2 | GPT-5.6-terra | 57% |
| 3 | Opus 4.8 | 51% |
| 4 | GPT-5.6-luna | 46% |
| 5 | Hunyuan T4* | 36% |
| 6 | DS-V4.1-Flash | 21% |
| 7 | Hunyuan T3 | 21% |
| 8 | DS-V4-Flash | 15% |
| 9 | DS-V4-Pro | 15% |
| 10 | Kimi K3 | 14% |
| 11 | Qwen3.8-Flash | 12% |
| 12 | GLM-5.3 | 9% |
| 13 | GLM-5.3-Flash | 8% |
| 14 | Haiku 4.5 | 7% |
| 15 | Qwen3.8-Max | 7% |
| 16 | Seed 2.1 Pro | 7% |
| 17 | GLM-5.2 | 3% |
가장 강력한 시스템인 GPT-5.6-sol은 분명히 앞서 있습니다.
그러나 벤치마크 저자들은 더 넓은 관점을 제시합니다.
기존 에이전트 벤치마크에서 서로 상당히 비슷해 보이는 일부 시스템도 동적인 과학 환경과 상호작용해야 하는 QIQCBench에서는 전체 범위에 걸쳐 크게 벌어집니다.
이는 과학적 자율성이 다른 역량 프로필을 시험한다는 점을 시사합니다.
실패를 유형별로 분류하면 결과가 특히 의미 있게 보입니다.
많은 실패는 단순히 교과서 지식이 부족해서가 아니라 제출 없음, 과학적 무효, 계약 위반에서 발생합니다.
논문은 1,510건의 실패한 시도를 보고합니다.
그중:
937건 = 최종 제출 없음
이는 전체 실패의 약 62%입니다.
많은 에이전트가 예산을 모두 사용하거나, 루프에 갇히거나, 과제가 종료될 때까지 실험을 계속했습니다.
나머지 실패 중 논문은 54%가 과학적 실패였다고 보고합니다.
즉, 에이전트가 무언가를 제출했더라도 물리적 결론이나 방법이 검증을 통과하지 못한 경우가 많았습니다.
핵심 교훈은 분명합니다.
에이전트는 양자역학을 이해하고 작동하는 코드를 작성할 수 있어도 훌륭한 실험가는 아닐 수 있습니다.
첫 번째 사례 연구는 오류 내성 양자 컴퓨팅에서 표면 코드 패치를 결합하고 CNOT 같은 논리 연산을 구현하는 데 사용되는 **격자 수술(lattice surgery)**을 다룹니다.
벤치마크는 의도적으로 에이전트에게 오래된 실험 노트 데이터를 제공합니다.
이전 측정값은 고립된 코드 패치를 설명합니다.
하지만 패치를 결합하면 기존 보정에 없었던 새로운 상관 노이즈가 접합부에 발생할 수 있습니다.
약한 전략은 다음과 같습니다.
오래된 실험 노트 읽기
↓
오래된 노이즈 모델 신뢰
↓
기존 디코더 설정 사용
↓
접합부 상관관계로 인해 실패
더 강한 에이전트는 패치를 결합하면 물리적 상황이 바뀐다는 점을 파악합니다.
병합된 시스템에서 새로운 측정을 수행하고, 새롭게 발생한 상관관계를 추정하며, 디코더를 다시 조정합니다.
강한 에이전트는 오래된 보정 데이터를 신뢰하는 대신 결합된 시스템을 다시 측정하고 접합부 상관관계를 식별한 뒤 디코더를 재조정합니다.
원문 기사에서 강조한 성공 사례에서는 그 결과 논리 메모리 오류율이 다음 수준에 도달했습니다.
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
주기당 6.65 × 10^-4
중요한 점은 수치 자체만이 아닙니다.
에이전트가 기존 데이터가 현재 물리적 구성과 더 이상 일치하지 않는다는 점을 식별함으로써 이 결과를 얻었다는 점이 중요합니다.
이는 검증된 자율성이 보상하도록 설계된 행동의 정확한 사례입니다.
두 번째 사례 연구는 에이전트가 비공개 60큐비트 시스템을 위한 유용한 대리 모델을 구축할 수 있는지 평가합니다.
이 시스템은 6개의 매개변수로 제어됩니다.
에이전트는 고정된 실험 예산을 받고 측정 결과를 사용해 보류된 입력 설정 40개에서의 동작을 예측해야 합니다.
각 입력에 대해 과제는 1,770개의 2큐비트 상관관계를 평가합니다.
에이전트는 유용한 데이터를 수집하고 40개의 비공개 입력 전반에서 1,770개의 쌍별 상관관계를 예측해야 합니다.
이는 전형적인 실험 설계 문제입니다.
나쁜 전략에는 다음이 포함됩니다.
에이전트가 매개변수 공간에서 정보를 거의 제공하지 않는 영역에 측정을 분산하고, 유용한 데이터를 수집하기 전에 예산을 모두 소진합니다.
에이전트가 소수의 측정만 수행한 뒤 시스템을 이해했다고 판단하고, 비공개 입력에서 크게 실패하는 모델을 생성합니다.
에이전트가 코드를 디버깅하거나 유사한 작업을 반복하는 데 갇혀 시간 또는 상호작용 예산이 만료됩니다.
이러한 실패는 물리학 공식을 기억하지 못해서 발생한 것이 아닙니다.
과학적 전략의 실패입니다.
벤치마크의 실패 분석은 이 문제를 특히 분명하게 보여줍니다.
900건이 넘는 실패한 시도는 최종 답변 없이 종료되었습니다.
일부 에이전트는 예산이 소진될 때까지 실험을 계속했습니다.
다른 에이전트는 반복적인 코드 수정에 갇혔습니다.
논문은 7개 시스템이 시도의 60%를 넘는 비율로 제출 전에 예산을 모두 소진했다고 설명합니다.
이는 과학적 에이전트에 중요한 발견입니다.
실제 실험 보조자는 추가 측정이 비용 대비 가치가 없어진 시점을 알아야 합니다.
따라서 과학적 자율성에는 중단 규칙도 포함됩니다.
더 많은 데이터가 도움이 될 수 있다
≠
더 많은 데이터를 수집하는 것이 항상 가치 있다
물리학 지식이 뛰어나더라도 이러한 균형을 관리하지 못하는 에이전트는 비용을 키울 수 있습니다.
세 번째 사례는 단일 과제가 아니라 하나의 범주 전체를 다룹니다.
시뮬레이션 및 다체 물리학에는 다음과 같은 문제가 포함됩니다.
이 범주는 QIQCBench에서 가장 어려운 부분이 되었습니다.
범주 전체의 통합 통과율은 **15%**에 불과했습니다.
더욱 눈에 띄는 점은 다음과 같습니다.
시뮬레이션과 다체 물리학은 상위 시스템과 나머지 시스템 사이의 격차를 뚜렷하게 보여줍니다.
이 범주에서 벤치마크는 교과서 지식과 과학적 추론을 가장 명확하게 구분합니다.
코딩 모델은 그럴듯한 시뮬레이션 스크립트를 생성할 수 있습니다.
그러나 그렇다고 해서 미지 시스템의 노이즈가 있는 관측값으로부터 올바른 물리 모델을 추론할 수 있다는 뜻은 아닙니다.
두 가지는 서로 다른 능력입니다.
논문에서 확인할 수 있는 또 하나의 유용한 결과는 성공이 자주 재현되지 않는다는 점입니다.
저자들은 각 시스템-과제 조합을 세 번 실행했습니다.
최소 한 번 성공한 249개 시스템-과제 조합 중 세 번 모두 통과한 경우는 약 **34%**에 불과했습니다.
이는 모델이 능력을 보여줄 수는 있어도 신뢰성을 입증하지는 못한다는 의미입니다.
과학적 자동화에서 이 구분은 매우 중요합니다.
세 번 중 한 번만 과제를 해결하는 시스템은 흥미로운 연구용 프로토타입일 수 있습니다.
그러나 실험실이 감독 없이 신뢰할 수 있는 시스템이라고 보기는 어렵습니다.
고도화된 언어 모델은 왜 이러한 과제에서 크게 실패할까요?
원문 기사는 그 답을 언어 공간과 물리 법칙 사이의 격차로 설명합니다.
이는 유용한 표현입니다.
대규모 모델은 다음을 학습할 수 있습니다.
그러나 실험 과학은 폐쇄형 피드백 루프입니다.
가설
↓
실험
↓
관찰
↓
반증 또는 지지
↓
전략 업데이트
↓
반복
중요한 것은 어느 한 단계보다 이 순환 과정입니다.
각각의 행동이 합리적으로 보여도 에이전트는 실패할 수 있습니다.
예를 들면 다음과 같습니다.
이 때문에 벤치마크는 증거에 초점을 둡니다.
실험이 주장을 뒷받침하지 않았다면 물리 세계는 설득력 있는 설명에 보상하지 않습니다.
QIQCBench는 또 하나의 모델 순위를 제시하기 때문에 주로 유용한 것이 아닙니다.
더 중요한 기여는 평가 프레임워크입니다.
신뢰할 수 있는 자율 과학 에이전트는 다음과 같은 질문을 기준으로 평가되어야 합니다.
이러한 기준은 양자 컴퓨팅을 넘어 적용됩니다.
다음 분야에도 관련이 있습니다.
공통된 문제는 모델의 행동이 텍스트 인터페이스 밖에서 결과를 만든다는 점입니다.
원문 기사는 “실제 물리 세계”라는 표현을 사용하지만, 논문 자체는 더 신중합니다.
연구의 모든 평가는 시뮬레이션에서 수행되었습니다.
Quantum-Harbor는 현실적인 실험 제약과 비공개 장치 매개변수를 모델링하도록 설계되었지만, 이는 실제 희석 냉동기, 레이저 시스템, 중성 원자 배열 또는 초전도 양자 프로세서를 운영하는 것과는 다릅니다.
저자들은 이 한계를 명시적으로 밝힙니다.
이들은 Quantum-Harbor를 검증된 자율 양자 엔지니어링을 향한 진전을 측정하는 방법으로 제시합니다.
실제 실험 하드웨어에서의 신뢰성은 아직 입증되어야 합니다.
이 구분은 중요합니다. 실제 실험실에는 다음과 같은 추가 문제가 발생하기 때문입니다.
따라서 QIQCBench 통과는 AI에게 실제 실험실의 통제권을 맡겨도 된다는 허가가 아닙니다.
정적 질의응답보다 강력한 테스트이지만, 여전히 테스트베드입니다.
연구진은 Agentic Quantum Coding Challenge를 통해 더 넓은 커뮤니티에 평가를 공개하고 있습니다.
이 챌린지는 QIQCBench와 Quantum-Harbor 환경을 기반으로 합니다.
목표는 단순히 더 강력한 기반 모델을 제출하는 것이 아닙니다.
참가자는 다음과 같은 주변 에이전트 시스템도 개선할 수 있습니다.
이는 논문이 모델 자체가 아니라 에이전트 시스템을 평가하기 때문에 중요합니다.
더 나은 하네스가 동일한 기반 모델을 크게 개선할 수 있습니다.
원문 기사는 다음 공개 챌린지 페이지로 연결됩니다.
https://gaugeforge.github.io/qiqc-challenge/
원문에는 QR 코드가 포함된 홍보용 챌린지 포스터도 포함되어 있었습니다. 해당 이미지는 과학적 콘텐츠가 아니라 등록 QR 코드를 포함한 홍보 자료이므로 이 Markdown 버전에서는 의도적으로 제외했습니다.
이 벤치마크가 제시하는 답은 아직은 아니다입니다.
가장 강력한 시스템은 자율 양자 엔지니어링이 기술적으로 가능해지고 있음을 보여줍니다.
GPT-5.6-sol은 벤치마크의 이진 과학 과제에서 78%를 통과했으며, 상위 시스템은 디코더 재조정과 60큐비트 대리 모델링 같은 어려운 워크플로를 완료할 수 있습니다.
그러나 실패 양상은 여전히 무시하기 어렵습니다.
에이전트는 다음과 같은 문제를 보입니다.
능력과 신뢰성 사이의 격차는 여전히 큽니다.
바로 그렇기 때문에 검증된 자율성이 중요합니다.
미래의 과학적 에이전트에 대한 질문은 더 이상 단순히 다음과 같지 않습니다.
모델이 이 문제를 해결할 수 있는가?
이제 질문은 다음과 같습니다.
시스템이 전체 워크플로를 수행하고, 자원을 책임 있게 사용하며, 증거를 생성하고, 환경이 변해도 올바른 상태를 유지할 수 있는가?
Quantum-Harbor는 AI 에이전트를 평가하기 위해 설계된 통제된 가상 양자 실험실입니다. 에이전트에 현실적인 도구와 측정값을 제공하는 동시에 장치 매개변수, 채점 로직, 보류된 검증 조건을 숨깁니다.
QIQCBench는 Quantum-Harbor를 기반으로 구축된 벤치마크로, 전문가가 작성한 양자 엔지니어링 과제 49개로 구성됩니다. 측정, 제어, 오류 정정, 컴파일, 다체 물리학, 통신, 센싱을 다룹니다.
GPT-5.6-sol이 39개 이진 통과·실패 과제에서 78%의 통과율로 1위를 차지했습니다. GPT-5.6-terra가 57%로 뒤를 이었고 Claude Opus 4.8은 51%를 기록했습니다.
아닙니다. 논문은 보고된 모든 평가가 시뮬레이션에서 수행되었다고 명시합니다. 실제 하드웨어에서의 신뢰성은 여전히 해결되지 않은 문제입니다.
검증된 자율성은 에이전트를 최종 답변만이 아니라 실행 중 생성한 증거를 기준으로 평가하는 것을 의미합니다. 주장은 에이전트가 실제로 확보한 측정값으로 뒷받침되어야 하며, 제출된 설계는 새로운 비공개 데이터에 대한 테스트를 통과해야 합니다.
많은 실패는 교과서 지식 부족보다 워크플로 관리 문제에서 발생했습니다. 1,510건의 실패한 시도 중 937건은 최종 제출이 없었으며, 이는 주로 에이전트가 예산을 모두 소진하거나 긴 실행 루프에 갇혔기 때문입니다.
이러한 과제는 알려진 절차를 단순히 따르는 것이 아니라 관측 결과에서 비공개 물리적 동작을 추론해야 합니다. 이 범주의 통합 통과율은 약 15%였으며, 상위 3개 시스템이 나머지 14개 시스템을 크게 앞섰습니다.
연구팀은 QIQCBench와 Quantum-Harbor를 중심으로 Agentic Quantum Coding Challenge를 발표했습니다. 공개 챌린지 페이지는 GaugeForge의 GitHub Pages 사이트에서 확인할 수 있습니다.
Quantum-Harbor와 QIQCBench는 AI 에이전트 평가를 정적인 질의응답에서 벗어나 과학적 시스템에 실제로 필요한 워크플로로 확장합니다. 즉, 실험을 선택하고, 도구와 상호작용하며, 노이즈가 있는 관측 결과를 해석하고, 제한된 예산을 관리하며, 증거를 통해 최종 주장을 정당화하는 과정입니다.
상위 시스템은 이미 인상적인 성능을 보여줍니다. GPT-5.6-sol은 이진 과제에서 78%의 통과율을 기록했으며, GPT-5.6-terra와 Opus 4.8은 각각 57%와 51%로 뒤를 이었습니다. 그러나 이 벤치마크는 많은 고급 시스템이 실행 중 멈추거나, 실험 예산을 과도하게 사용하거나, 오래된 가정을 신뢰하거나, 독립적으로 검증할 수 없는 결론을 제출하는 방식으로 실패한다는 점도 보여줍니다.
모든 평가가 시뮬레이션으로 수행되었기 때문에, 이 연구는 자율 AI가 감독 없이 실제 양자 하드웨어를 제어할 준비가 되었다는 사실을 보여주지 않습니다. 대신 에이전트가 어느 정도까지 발전했는지를 측정하는 더 엄격한 방법을 제공합니다.
AI for Science의 다음 이정표는 단순히 더 똑똑한 답변이 아닙니다. 증거, 자원 사용, 결론을 모두 독립적으로 검증할 수 있는 완전한 실험 워크플로입니다.
한 문장에서 시작해 몇 분 안에 완전한 웹사이트를 받아보세요.
