마이크로소프트 MDASH, CyberGym에서 95.95% 달성: 승리의 핵심은 단일 모델이 아닌 보안 시스템

서론

마이크로소프트는 멀티모델·멀티에이전트 시스템인 MDASH의 새로운 구성이 CyberGym에서 95.95%의 성공률을 달성했다고 보고했다. 이 시스템은 소프트웨어 취약점을 식별, 검증, 우선순위화 및 수정하는 데 사용된다.

이 수치는 주목할 만하다. 최초의 CyberGym 논문은 테스트한 가장 강력한 조합인 OpenHands와 Claude 3.7 Sonnet이 최초 공개된 평가에서 벤치마크 취약점의 11.9%만을 재현했다고 보고했다.

마이크로소프트의 최신 결과는 이보다 훨씬 높다. 그러나 이 발표에서 가장 중요한 부분은 단순히 새로운 모델의 성능이 더 뛰어나다는 것만은 아니다.

95.95%의 점수는 다음과 같은 요소를 결합한 완전한 보안 시스템에 의해 산출되었다:

• 소형 사이버보안 특화 모델
• 어려운 사례를 처리하기 위한 대형 프론티어 모델
• 100개 이상의 전문 에이전트
• 코드 분석 및 검증 도구
• 과거 보안 데이터
• 증명 생성
• 중복 제거 메커니즘
• 샌드박스 실행 환경
• 수작업으로 설계된 오케스트레이션 프로세스

마이크로소프트는 이 방법을 세 가지 단어로 요약했다:

모델
데이터
프레임워크

모델은 지능을 제공한다. 데이터는 지능에 보안 맥락을 부여한다. 프레임워크는 모델 출력을 반복 가능하고 검증 가능한 워크플로우로 전환한다.

이 구분이 중요한 이유는 기업 보안 팀이 벤치마크 정답을 구매하지 않기 때문이다. 그들이 필요한 것은 지속적으로 운영되고, 오탐을 통제하며, 발견 사항이 실제로 존재함을 입증하고, 결과를 보안 수정으로 전환하는 데 도움을 주는 시스템이다.

보고서의 95.95% 결과

마이크로소프트가 공개한 CyberGym 차트는 5가지 모델 및 에이전트 구성을 비교한다:

MDASH 구성은 마이크로소프트 차트에서 2위보다 10%포인트 이상 앞선다.

마이크로소프트는 또한 이 구성의 비용이 이전 최강 MDASH 설정(GPT-5.4, GPT-5.4 mini, GPT-5.3 Codex 사용)보다 약 50% 낮다고 밝혔다.

따라서 비교는 두 가지 차원에서 이루어진다:

1. 보안 성능
2. 해당 성능을 지속적으로 운영하기 위한 경제성

보안 스캔은 일회성 문제가 아니다. 대규모 조직은 수백만 줄의 코드를 검사하고, 변경이 있을 때마다 재스캔하며, 의심스러운 취약점을 검증하고, 패치를 재테스트하고, 변화하는 소프트웨어 자산을 모니터링해야 할 수 있다.

능력이 매우 뛰어나지만 자주 실행하기에는 비용이 너무 높은 구성은 더 나은 라우팅 및 검증 시스템에 내장된 약간 더 작은 모델보다 실제 보호 측면에서 덜 효과적일 수 있다.

더 중요한 숫자는 90%일 수 있다

마이크로소프트는 MAI-Cyber-1-Flash가 MDASH 워크플로우의 최대 90% 작업을 처리하도록 설계되었다고 밝혔다.

가장 어려운 10%의 작업은 더 큰 모델로 라우팅될 수 있으며, 마이크로소프트는 공개된 구성에서 이를 GPT-5.4로 식별했다.

이 전략은 다음과 같이 표현할 수 있다:

일반적이고 빈번한 보안 작업
→ MAI-Cyber-1-Flash

비정상적으로 어려운 작업
→ GPT-5.4

이는 MAI-Cyber-1-Flash가 단독으로 취약점의 90%를 수정한다는 의미는 아니다.

90%라는 숫자는 소형 모델이 라우팅 워크플로우에서 설계상 처리하도록 커버하는 작업의 비중을 의미한다. 전체 MDASH 결과는 여전히 작업 라우터, 더 큰 모델, 전용 에이전트, 검증, 증명 생성, 중복 제거, 보안 도구, 실행 환경 및 시스템 수준 제어에 의존한다.

소형 모델은 워크플로우의 평균 비용을 낮추지만, 가장 어려운 사례에서 더 강력한 모델의 필요성을 제거하지는 않는다.

MAI-Cyber-1-Flash 모델 사양

마이크로소프트는 MAI-Cyber-1-Flash를 자사의 첫 사이버보안 전용 모델로 설명한다.

공식 모델 카드에 명시된 내용:

이 모델은 MAI-Code-1-Flash의 사이버보안 전용 미세 조정 버전이다.

취약점 식별, 검증, 우선순위화, 분류, 수정 지원 및 엔터프라이즈급 코드 스캔과 같은 워크플로우를 위해 설계되었다.

일반 대중을 위한 범용 네트워크 모델이 아니다.

마이크로소프트의 모델 카드는 고급 사이버보안 기능이 이중 용도 기술에 해당하므로 접근 권한이 선별된 MDASH 고객으로 제한되며 추가 심사가 필요하다고 명시한다.

또한 이 모델은 독립형 다운로드 가능한 모델이나 제한 없는 공개 API가 아닌 MDASH 통합을 위해 특별히 설계되었다.

5B 활성 파라미터 모델이 대부분의 작업을 수행할 수 있는 이유

MAI-Cyber-1-Flash는 총 파라미터가 1,370억 개이지만 토큰당 활성화되는 파라미터는 약 50억 개에 불과하다.

이러한 희소 혼합 전문가 설계는 모델이 더 큰 총 용량에 접근하면서도 상대적으로 작은 활성 추론 오버헤드를 유지할 수 있게 한다.

그러나 더 중요한 최적화는 전문화에 있다.

범용 프론티어 모델은 작문, 수학, 연구, 코딩, 대화, 계획, 멀티모달 작업 및 도구 사용을 지원해야 한다. 반면 전용 모델은 더 많은 훈련과 사후 훈련을 단일 운영 영역에 집중할 수 있다.

MAI-Cyber-1-Flash의 경우 해당 영역에는 실행 가능한 보안 환경과 취약점 관리가 포함된다.

워크플로우.

모델이 훈련 및 평가 환경과 유사한 작업을 반복적으로 접할 때 전문화는 비용 대비 성능을 향상시킬 수 있다.

시스템에는 여전히 백업 방안이 필요하다. 어렵거나 특수한 사례가 전문화된 모델의 능력을 초과할 수 있기 때문이다.

이로 인해 실용적인 멀티모델 아키텍처가 탄생한다:

저비용 전문화 모델이 폭넓은 범위 담당
+
프론티어 모델이 예외 사례 담당
+
검증 시스템이 신뢰 보장 담당

전문화 모델로 모델 호출의 80%를 교체한 후 시스템 점수 크게 향상

모델 카드는 특히 유용한 시스템 수준 비교를 제공한다.

마이크로소프트는 이전 MDASH 구성이 CyberGym에서 **88.4%**를 기록했다고 밝혔다.

워크플로우의 **기존 모델 호출 중 80%**를 MAI-Cyber-1-Flash로 교체한 후 결과는 **95.95%**로 향상되었다.

비용도 이전 최강 구성 대비 약 절반으로 감소했다.

이 결과는 일반적인 가정에 도전한다:

더 저렴한 모델은 필연적으로 품질을 낮춘다.

모델이 동일한 작업에서 단독으로 비교될 때는 이는 성립할 수 있다. 그러나 라우팅 시스템 내부에서는 항상 그런 것은 아니다.

전문화 모델은 특정 작업에 맞춰 훈련되었기 때문에 일반적인 작업에서 더 안정적인 성능을 보일 수 있다. 라우터는 고가의 프론티어 모델을 가장 큰 가치를 창출할 수 있는 시나리오에만 사용하도록 유지할 수 있다.

최종 결과는 세 가지 질문에 올바르게 답할 수 있는지에 달려 있다:

1. 어떤 작업에 전문화 모델을 사용해야 하는가?
2. 어떤 작업에 프론티어 모델이 필요한가?
3. 각 결과는 어떻게 검증되어야 하는가?

모델 라우팅이 제품 품질의 일부가 된다.

95.95% 점수는 소형 모델 자체가 아닌 MDASH의 것이다

마이크로소프트의 모델 카드는 또한 다음을 보고한다

MAI-Cyber-1-Flash의 다른 사이버 보안 평가에서의 단독 성적입니다.

이러한 모델 단독 결과는 CyberGym에서의 MDASH 점수와 동일하지 않습니다.

모델 카드는 다음과 같이 나열됩니다:

이러한 데이터는 시스템 수준의 구분이 얼마나 중요한지를 보여줍니다.

소형 모델이 모든 사이버 벤치마크에서 전반적으로 앞서는 것은 아닙니다. 가장 강력한 발표 결과는 MDASH 내부에서 다른 모델, 에이전트, 도구, 데이터 및 검증 단계와 협력적으로 작동할 때 달성되었습니다.

이는 Microsoft의 핵심 메시지를 뒷받침합니다:

모델은 구성 요소입니다.
시스템이 곧 제품입니다.

MDASH의 기능

MDASH는 Microsoft의 다중 모델, 다중 에이전트 취약점 식별 및 수정 프레임워크입니다.

Microsoft는 보안 전문가들이 시스템 내에 100개 이상의 전문화된 에이전트를 구축했다고 밝혔습니다.

각 에이전트는 코드 위치 파악, 후보 발견, 취약점 추론, 검증, 증명 구축, 분류, 중복 제거, 수정, 패치 관련 작업 및 발견 결과 간 비교 등 워크플로우의 서로 다른 단계를 담당합니다.

단순화된 시스템 흐름은 대략 다음과 같습니다:

코드 및 보안 컨텍스트
↓
후보 발견 에이전트
↓
검증 에이전트
↓
토론 및 비교
↓
중복 제거
↓
개념 증명 생성
↓
패치 또는 수정 지원

인적 검토 및 통제된 운영

구체적인 내부 구현은 독점 정보에 속하지만, Microsoft는 몇 가지 중요한 설계 원칙을 설명했습니다.

이 프레임워크는 설계상 모델에 구애받지 않습니다

Microsoft는 MDASH가 파이프라인의 각 부분(예: 대상 지정, 검증, 중복 제거, 증명)을 특정 단일 모델과 분리한다고 밝혔습니다.

이를 통해 모델을 교체하거나 비교하기가 더 쉬워집니다.

새로운 모델이 출시되면 시스템은 이를 현재 모델 그룹과 A/B 테스트할 수 있습니다.

조직의 기존 투자는 계속 유효합니다:

• 범위 파일.
• 플러그인.
• 구성.
• 보정.
• 검증 규칙.
• 보안 워크플로우.

이는 단일 모델 공급업체 또는 체크포인트에 대한 의존도를 줄입니다.

또한 지속적인 개선을 가능하게 합니다. 특정 단계에서 최적의 모델이 다른 단계에서는 최적이 아닐 수 있습니다.

전문화된 도구가 모델 추론 능력을 확장합니다

일부 취약점을 발견하려면 소스 코드를 읽는 것 이상이 필요합니다.

시스템은 프로젝트를 빌드하고, 트리거 입력을 생성하고, 취약한 버전을 실행하고, 패치된 버전을 실행하고, 크래시를 검사하고, 코드 분석 데이터베이스를 조회하고, 제어 흐름을 비교하고, 해당 동작이 재현 가능한지 검증해야 할 수 있습니다.

Microsoft는 MDASH가 전용 도메인 플러그인과 코드 분석 시스템을 사용할 수 있다고 밝혔습니다.

5월 발표에서는 일반 로그 파일 시스템 취약점을 위한 검증 플러그인에 대해 논의했으며 CodeQL 데이터베이스도 사용할 수 있다고 언급했습니다.

모델이 모든 작업을 자유 형식 텍스트로 수행할 필요는 없습니다.

소프트웨어가 처리하기에 더 적합한 작업에는 도구가 결정론적 기능을 제공할 수 있습니다.

검증이 진정한 제품 경계입니다

보안 모델은 그럴듯하지만 실제로는 잘못된 취약점 설명을 생성할 수 있습니다.

시스템이 모든 추정 결과를 개발자에게 전달하면 경보 피로가 발생합니다.

운영 가치는 발견 사항이 실제로 존재함을 증명하는 데 있습니다.

유용한 증거는 다음을 포함할 수 있습니다:

• 재현 가능한 크래시.
• 개념 증명 입력.
• 실패한 테스트.
• 패치 전 성공적 실행.
• 패치 후 실행 실패.
• 정확한 코드 경로.
• 검증된 영향을 받는 버전.
• 중복 제거된 보고서.
• 테스트를 통과한 패치.

이것이 CyberGym과 같은 벤치마크가 관련성을 갖는 이유입니다.

이는 서면 설명의 설득력만을 평가하지 않습니다.

생성된 증명이 실제로 대상 동작을 재현할 수 있는지 확인합니다.

CyberGym이 평가하는 내용

CyberGym은 UC 버클리 관련 연구자들이 만든 대규모 벤치마크입니다.

현재 공개 프로젝트에는 188개 소프트웨어 프로젝트에 걸친 1,507개의 실제 취약점 인스턴스가 포함되어 있습니다.

주요 PoC 생성 설정에서 에이전트는 다음을 수신합니다:

1. 취약점 설명.
2. 해당 패치 전 코드베이스.
3. 실행 환경.

에이전트는 해당 취약점을 트리거할 수 있는 개념 증명을 생성해야 합니다.

그런 다음 벤치마크는 동작을 평가합니다.

취약한 버전과 패치된 버전을 대상으로 합니다.

성공적인 재현은 일반적으로 예상된 대비를 충족해야 합니다:

패치 전 버전:
PoC가 대상 취약점을 트리거함.

패치 후 버전:
동일한 PoC가 더 이상 취약점을 트리거하지 않음.

CyberGym은 OSS-Fuzz 생태계의 프로젝트를 포함한 주요 오픈소스 프로젝트의 실제 취약점을 사용합니다.

실행 기반 아키텍처는 모델이 코드를 분류하거나 설명을 작성하기만 하면 되는 벤치마크보다 더 엄격합니다.

CyberGym이 측정하지 않는 내용

95.95%라는 숫자는 신중하게 해석해야 합니다.

CyberGym의 주요 설정은 에이전트에 취약점 설명을 제공합니다.

에이전트는 완전히 알려지지 않은 코드베이스에서 취약점의 존재에 대한 단서 없이 시작하는 것은 아닙니다.

따라서 이 벤치마크는 알려진 취약점 재현의 한 형태를 측정합니다.

이는 직접적으로 다음을 의미하지 않습니다:

• 미지의 취약점의 95.95%가 발견되었음.
• 모든 소프트웨어 취약점의 95.95%가 수정되었음.
• 해당 모델이 모든 코드베이스를 자율적으로 보호할 수 있음.
• 해당 시스템이 95.95%의 제로데이 발견 정확도를 가짐.
• 해당 시스템이 운영 환경에서 오탐을 생성하지 않음.

이 벤치마크는 여전히 어려운 작업을 요구합니다. 에이전트는 실제 코드베이스를 탐색하고, 관련 동작을 찾고, 유효한 트리거를 구성하고, 소프트웨어를 빌드하거나 실행하고, 결과를 검증해야 합니다.

정확한 설명은 다음과 같습니다:

보고된 점수는 Microsoft가 사용한 CyberGym 평가 구성에서의 취약점 재현 성공률입니다.

11.9%에서 95.95%까지

CyberGym 원본 논문의 첫 번째 버전은 가장 강력한 테스트 조합인 OpenHands와 Claude 3.7 Sonnet의 조합이 11.9%의 재현 성공률을 달성했다고 보고했습니다.

이후 벤치마크 개정, 에이전트 프레임워크, 모델 세대 및 시스템 설계가 결과를 크게 개선했습니다.

Microsoft가 보고한 95.95%는 모델과 도구 프레임워크의 결합이 얼마나 빠르게 발전하는지 보여줍니다.

그러나 이러한 비교는 순수한 모델 간 개선으로 해석되어서는 안 됩니다.

이러한 시스템은 모델 세대, 에이전트 프레임워크, 프롬프트, 도구, 검증, 컴퓨팅 예산, 비용, 작업 라우팅, 벤치마크 버전, 인프라 및 재시도 전략 등에서 서로 다릅니다.

진전은 실제이지만 시스템 수준의 진전입니다.

공개 리더보드와 회사가 보고한 결과

원문 기사에 따르면, 발표 시점에 Microsoft의 95.95% 결과는 공개 CyberGym 리더보드에 아직 반영되지 않았습니다.

Microsoft의 이전 5월 구성 보고서는 약 88.4%–88.45%로, 이전에 벤치마크 선두주자로 공개 발표되었습니다.

새로운 95.95% 수치는 Microsoft가 MAI-Cyber-1-Flash 발표, 모델 카드 및 Microsoft의 Project Perception 발표에서 공개했습니다.

외부 리더보드 항목이나 독립적 재현이 가능해지기 전까지는 Microsoft가 보고한 결과로 설명되어야 합니다.

이는 결과의 의미를 무색하게 만들지 않습니다. 독자는 다음을 구분해야 합니다:

공급업체가 보고한 평가
와
독립적으로 재현된 공개 결과

이러한 구분은 빠르게 변화하는 벤치마크 비교에서 특히 중요합니다.

데이터는 가장 복제하기 어려운 계층입니다

Microsoft는 자사의 역사적 보안 데이터를 가장 깊은 강점으로 간주합니다.

회사는 매일 100조 개 이상의 보안 신호를 처리하고 160만 고객의 운영 인사이트를 보유하고 있다고 밝혔습니다.

보안 가시성은 ID, 엔드포인트, 클라우드, 네트워크, 데이터, 브라우저 및 애플리케이션을 포괄합니다.

가치는 단순히 이벤트 수에 있지 않습니다.

회사는 보안 조치를 결과와 연결할 수 있습니다:

• 어떤 취약점이 악용 가능한지.
• 어떤 공격이 차단되었는지.
• 어떤 탐지가 오탐인지.
• 어떤 완화 조치가 효과적인지.

어떤 패치가 문제를 해결했는가.

• 어떤 구성이 위험을 낮췄는가.

이것은 피드백 루프를 형성합니다.

보안 사고
→ 조사
→ 검증
→ 복구
→ 관찰된 결과
→ 더 나은 데이터와 성과
→ 개선된 모델과 에이전트

경쟁사도 유사한 기반 모델을 확보할 수 있습니다.

하지만 수십 년간 검증된 운영 이력을 하룻밤 사이에 재현할 수는 없습니다.

데이터의 양만으로는 충분하지 않습니다

대량의 데이터는 훈련, 평가, 운영 맥락으로 전환될 때만 가치를 갖습니다.

원시 보안 신호는 중복되고, 노이즈가 많고, 불완전하고, 고객 특화적이고, 민감하고, 라벨이 잘못되었거나, 가시적인 공격에 편향되었거나, 최종 결과가 누락된 경우가 많습니다.

데이터 파이프라인은 이벤트를 신뢰할 수 있는 라벨 및 결과와 연결해야 합니다.

예를 들어:

알림 발생
→ 분석가 조사
→ 취약점 확인
→ 패치 배포
→ 익스플로잇이 더 이상 작동하지 않음

이 시퀀스는 단독 알림보다 훨씬 가치가 있습니다.

해자는 데이터 자체가 아니라 데이터 정제, 피드백, 평가, 보안 운영 접근 권한을 포함한 데이터에서 발생합니다.

모델, 데이터, 도구 프레임워크

마이크로소프트의 3부분 프레임워크는 모든 엔터프라이즈급 AI 보안 시스템을 평가하는 유용한 방법을 제공합니다.

모델

질문은 다음과 같습니다:

• 어떤 모델이 사용되는가?
• 어떻게 전문화되는가?
• 지연 시간은 얼마인가?
• 토큰 비용은 얼마인가?
• 어떤 작업에 더 큰 모델이 필요한가?
• 보안 제한은 무엇인가?

데이터

질문은 다음과 같습니다:

• 어떤 보안 컨텍스트가 사용 가능한가?
• 최신성은 어느 정도인가?
• 어떻게 라벨링되는가?
• 검증된 결과를 포함하는가?
• 특정 고객에 맞춰져 있는가?
• 개인정보와 권한은 어떻게 처리되는가?
• 데이터 품질은 어떻게 측정되는가?

도구 프레임워크

질문은 다음과 같습니다:

• 작업은 어떻게 분해되는가?
• 모델은 어떻게 라우팅되는가?
• 도구는 어떻게 호출되는가?
• 발견 사항은 어떻게 검증되는가?
• 중복 항목은 어떻게 제거되는가?
• 언제 사람의 개입이 필요한가?
• 실패는 어떻게 감사되는가?
• 시스템을 재구축하지 않고 모델을 교체할 수 있는가?

모델은 강력하지만 데이터가 취약하고 검증이 부족한 시스템은 인상적이지만 신뢰할 수 없는 보고서를 생성할 수 있습니다.

잘 설계된 시스템은 올바른 작업을 더 작은 모델에 할당하고 결과를 검사함으로써 더 작은 모델을 훨씬 더 유용하게 만들 수 있습니다.

지속적 보안 운영의 경제성

마이크로소프트는 보안 스캔이 지속적으로 실행될 때 토큰 비용이 핵심 제약이 된다고 보고 있습니다.

단순화된 워크로드를 고려해 보겠습니다:

월 1,000만 건의 코드 분석 작업

모든 작업에 가장 비싼 최첨단 모델을 사용한다면 시스템은 완전한 커버리지로 실행되기 어려울 수 있습니다.

라우팅 설계는 평균 비용을 변화시킵니다:

90% 저비용 전문화 모델
+
10% 고비용 최첨단 모델

실제 경제성은 입력 길이, 출력 길이, 도구 호출, 재시도, 샌드박스 실행, 코드 인덱싱, 검증, 사람의 검토, 인프라, 데이터 저장소에도 의존합니다.

모델 토큰 비용은 단지 하나의 구성 요소일 뿐입니다.

그럼에도 불구하고, 라우팅 메커니즘은 고비용 모델이 선택적으로 사용되기 때문에 강력한 최적화 기회를 창출합니다.

최고의 모델이 반드시 최고의 시스템을 만들지는 않는 이유

벤치마크는 통일된 테스트 프레임워크에서 개별 모델을 비교할 수 있습니다.

제품은 전체 워크플로우의 최적화가 필요합니다.

최고의 시스템은 개별 랭킹에서 1위가 아닌 모델을 사용할 수 있습니다. 그 모델이 더 나은 속도, 비용, 전문화, 예측 가능성, 도구 사용, 컨텍스트 효율성, 보안 보정, 테스트 프레임워크와의 호환성을 제공한다면 말입니다.

이는 다른 생산 시스템과 유사합니다.

데이터베이스는 모든 쿼리에 동일한 알고리즘을 선택하지 않습니다. 클라우드 스케줄러는 모든 워크로드를 가장 큰 머신에 배치하지 않습니다. 보안 시스템은 모든 작업을 가장 비싼 모델에 보내서는 안 됩니다.

보안과 제한된 가용성

사이버 보안 모델은 특별한 보안 위험을 수반합니다.

방어자가 취약점을 검증하도록 돕는 동일한 능력은 공격자가 취약점을 악용하도록 도울 수도 있습니다.

따라서 마이크로소프트는 MAI-Cyber-1-Flash에 대한 접근 권한을 제한했습니다.

모델 카드는 다음과 같이 명시합니다:

• Azure AI Foundry 비공개 미리보기를 통해 제공됩니다.
• MDASH 전용으로만 사용됩니다.
• 접근 권한은 특정 고객에게만 제한됩니다.
• 추가 승인이 필요합니다.
• 방어적 워크플로우가 적용 범위 내에 있습니다.
• MDASH 외부의 방어적 보안 운영 사용은 적용 범위 밖입니다.

마이크로소프트는 이 모델이 안전 우선 방식으로 보정되었고, 마이크로소프트 AI 레드팀에 의해 평가되었으며, 자동화된 적대적 시뮬레이션을 통해 테스트되었고, 보안 전문가에 의해 테스트되었으며, 독립적인 제3자에 의해 평가되었다고 밝혔습니다.

독립 평가에서 심각도 수준의 문제는 발견되지 않았다고 합니다.

이것은 모델에 위험이 없다는 것을 증명하지는 않습니다. 회사가 제한 없는 공개 출시가 아닌 제한된 배포로 시작하는 이유를 설명할 뿐입니다.

알려진 모델 한계

마이크로소프트의 모델 카드는 몇 가지 한계를 나열합니다.

언어 성능

이 모델은 주로 영어로 훈련되고 평가되었습니다. 다른 언어에서는 성능이 낮을 수 있습니다.

오류 출력

다른 언어 모델과 마찬가지로 부정확하거나 불완전하거나 잘못된 코드와 텍스트를 생성할 수 있습니다. 출력은 검토와 검증이 필요합니다.

보수적인 안전장치

이 모델은 의도적으로 신중하게 작동하도록 보정되었습니다. 합법적인 방어적 요청이 모호하거나 유해한 활동과 유사할 때 안전장치가 트리거될 수 있습니다.

시스템 의존성

이 모델은 MDASH 전용으로 설계되었습니다. 단독 결과는 전체 시스템의 능력을 대표하지 않습니다.

제한된 범위

승인된 방어적 보안 운영 외의 사용은 지원되지 않습니다.

MDASH는 단순한 벤치마크 시스템이 아닙니다

마이크로소프트의 5월 MDASH 발표에는 실제 보안 연구의 예시가 포함되어 있었습니다.

회사는 의도적으로 21개의 취약점을 심은 미공개 예시 드라이버에서 테스트 프레임워크를 테스트했다고 보고했습니다. 통제된 테스트에서 MDASH가 21개 전부를 식별했고 오탐이 0건이었다고 밝혔습니다.

마이크로소프트는 또한 MDASH가 5월에 발표된 16개의 CVE를 식별하는 데 도움이 되었다고 보고했습니다.

2026년 Windows 패치 화요일 릴리스입니다.

이것들은 마이크로소프트 자체의 제품 및 연구 주장입니다.

이는 벤치마크 점수보다 배포와 더 관련성이 높습니다. 사설 코드, 실제 엔지니어링 워크플로우, 취약점 검증, 패치 프로세스, 보안 팀 검토를 포함하기 때문입니다.

동시에 선별된 사례 연구는 모든 코드베이스에서 보편적인 오탐률이나 성공률을 입증하지는 않습니다.

Security Copilot에서 보안 운영 시스템으로

마이크로소프트는 Project Perception을 대규모 에이전트 보안 시스템으로 출시했습니다.

목표는 방어자를 보조하는 AI에서 더 많은 보안 워크플로우를 담당하면서도 핵심 판단은 인간의 통제 하에 유지하는 AI로 전환하는 것입니다.

Project Perception은 세 가지 유형의 에이전트를 조정합니다:

이 세 가지 역할은 순환을 형성합니다:

레드 에이전트가 경로 발견
→ 블루 에이전트가 검증 및 우선순위 결정
→ 그린 에이전트가 복구 수행
→ 시스템이 결과 관찰
→ 향후 방어 능력이 개선됨

마이크로소프트는 Project Perception이 2026년 8월 3일에 공개 미리보기 단계에 들어갔다고 밝혔습니다.

Project Perception 기술 스택

마이크로소프트는 이 시스템을 여러 상호 연결된 계층으로 설명합니다.

신호 및 센서

시스템은 엔드포인트, ID, 클라우드, 애플리케이션, 디지털 자산의 기타 부분을 관찰합니다.

보안 컨텍스트

원시 신호는 자산, ID, 관계, 정책, 위험, 활동, 과거 이벤트의 연관 표현으로 변환됩니다.

모델

이 플랫폼은 MAI-Cyber-1-Flash와 같은 전용 네트워크 모델을 포함한 다중 모델 전략을 채택합니다.

조정 프레임워크(Harness)

조정 프레임워크는 모델, 에이전트, 도구, 워크플로우, 테스트, 권한, 통제를 조정합니다.

에이전트

레드, 블루, 그린 에이전트가 전문화된 보안 작업을 실행합니다.

실행기

실행기는 결정을 통합 보안 제품 내의 실제 조치로 변환합니다.

이 아키텍처는 챗봇보다 훨씬 광범위합니다. 지속적으로 운영되는 보안 운영 체제를 형성하도록 설계되었습니다.

인간은 여전히 핵심 결정에 대한 책임을 져야 한다

마이크로소프트는 인간이 여전히 고영향 작업을 통제하고 있음을 분명히 밝혔다.

Project Perception 페이지는 역할 분담을 다음과 같이 표현한다:

에이전트는 일을 수행한다.
인간은 판단을 수행한다.

방어자는 목표, 전략, 보호 경계, 승인 요구 사항, 범위 및 대응 우선순위를 설정한다.

고영향 작업은 여전히 인간의 승인이 필요하다.

이는 보안 수정 자체도 피해를 입힐 수 있기 때문에 필요하다.

자동화 시스템은 합법적인 계정을 비활성화하거나, 프로덕션 트래픽을 차단하거나, 중요 파일을 삭제하거나,

특정 비즈니스 시스템을 격리하거나, 결함이 있는 패치를 배포하거나, 운영을 중단시킬 수 있다.

잘못된 조치의 비용은 오탐지로 인한 비용보다 더 클 수 있다.

Project Perception은 Security Copilot과 다르다

마이크로소프트는 Security Copilot을 AI 지원 대화형 인터페이스로 설명한다.

Project Perception은 더 광범위한 에이전트 시스템으로 포지셔닝된다.

두 제품은 함께 작동하도록 설계되었다.

인간은 Copilot을 사용하여 작업을 이해하고 지시할 수 있으며, Perception 에이전트는 보다 지속적인 운영 프로세스를 담당한다.

사용량 기반 가격 책정

마이크로소프트는 Project Perception이 보안 컴퓨팅 유닛(SCU)을 기준으로 한 사용량 기반 가격 책정을 채택한다고 밝혔다.

각 에이전트는 작업 강도에 따라 서로 다른 리소스를 소비한다.

이로 인해 모델과 워크플로우 효율성이 경제적으로 매우 중요해진다.

레드팀 시뮬레이션, 빠른 분류 작업, 장기 수정 워크플로우는 서로 다른 리소스를 소비할 수 있다.

MDASH에서 사용되는 멀티 모델 라우팅 전략은 이러한 광범위한 가격 책정 모델에 부합한다.

일상적인 작업을 더 작은 전용 모델이 처리할 수 있다면, 동일한 예산으로 더 많은 보안 커버리지를 확보할 수 있다.

검증이 가장 강력한 해자(moat)가 될 수 있다

프론티어 모델에 대한 접근은 점점 희소해지지 않고 있다.

조직들은 점점 더 강력한 공용 모델을 API 호출을 통해 활용할 수 있다.

희소한 부분은 모델의 보안 주장이 사실인지 확인할 수 있는 시스템일 수 있다.

이 시스템은 실행 가능한 환경, 빌드 인프라, 버전 관리, 증명 생성, 패치 비교, 보안 지식, 샌드박스, 중복 제거, 인간 검토 및 증거 추적이 필요하다.

보안 분야에서 증거 없는 그럴듯한 설명은 종종 충분하지 않다.

해자는 다음과 같은 것에서:

강력한 모델에 대한 접근

다음과 같은 것으로 이동한다:

모델 작업을 검증하고 실제로 적용하는 신뢰할 수 있는 프로세스

보안 팀이 MDASH에서 배워야 할 점

1. 난이도에 따라 작업 배분

모든 작업에 자동으로 가장 비싼 모델을 사용하지 마라.

평가 세트를 구축하여 어떤 작업을 더 작은 전용 모델이 안정적으로 처리할 수 있는지 파악하라.

1. 발견과 검증 분리

하나의 에이전트나 모델이 후보 결과를 생성할 수 있다. 다른 에이전트, 도구 또는 결정론적 테스트가 이를 검증해야 한다.

1. 실행 가능한 증거 요구

가능한 경우, 텍스트 기반 주장을 수용하기보다 재현 가능한 테스트를 요구하라.

1. 중대한 조치에는 인간 승인 유지

수집, 분석, 검증을 자동화하는 데 우선순위를 두어라. 파괴적이거나 프로덕션에 영향을 미치는 작업은 승인 게이트 뒤에 유지하라.

1. 검증된 발견물 하나당 비용 측정

토큰 가격만으로는 올바른 지표가 아니다.

많은 오탐지를 생성하는 저렴한 모델은 운영 측면에서 더 높은 비용이 들 수 있다.

유용한 지표로는 확인된 취약점 하나당 비용, 검증 시간, 오탐지율, 인간 검토 시간, 패치 수용률 및 회귀율이 있다.

1. 모델에 독립적인 테스트 플랫폼 구축

모델 세대는 빠르게 교체된다.

작업 정의, 도구, 검증 및 보안 제어를 기본 모델이 교체되더라도 재사용할 수 있도록 유지하라.

1. 보안 데이터를 피드백 시스템으로 간주

단순히 알림만 기록하지 말고 결과를 기록하라.

시스템은 어떤 발견이 실제로 사실인지, 어떤 수정 조치가 효과적인지 학습해야 한다.

1. 격리된 환경에서 테스트

CyberGym 저장소는 서비스를 공용 인터넷에 노출하지 말라고 경고한다.

마이크로소프트도 테스트를 위한 샌드박스화된 네트워크 격리 환경을 설명한다.

취약점 재현은 통제된 인프라에서 수행되어야 한다.

AI 취약점 시스템 평가 방법

진지한 평가는 단일 헤드라인 점수만으로 구성되어서는 안 된다.

탐지 및 재현

• 시스템이 관련 코드를 식별할 수 있는가?
• 시스템이 실행 가능한 검증 증명을 생성할 수 있는가?
• 해당 증명이 패치 전후의 동작을 구분할 수 있는가?

오탐지

• 검증을 통과하지 못하는 발견이 얼마나 되는가?
• 이러한 발견을 인간이 검토하는 데 얼마나 많은 시간이 소요되는가?

커버리지

• 어떤 언어를 지원하는가?
• 어떤 프로젝트 유형을 지원하는가?
• 어떤 취약점 범주를 처리하는가?

비용

• 저장소당 비용은 얼마인가?
• 코드 100만 줄당 비용은 얼마인가?
• 확인된 취약점당 비용은 얼마인가?

지연 시간

• 스캔에 얼마나 걸리는가?
• 검증에 얼마나 걸리는가?
• 시스템이 CI 워크플로우에 적응할 수 있는가?

수정

• 시스템이 패치를 제안할 수 있는가?
• 패치가 컴파일되는가?
• 테스트가 통과하는가?
• 패치가 회귀 문제를 도입하는가?

보안

• 코드가 격리되어 있는가?
• 실행 환경이 네트워크 접근을 제한하는가?
• 기밀 정보가 보호되는가?
• 작업이 감사 가능한가?

인간 통제

• 어떤 작업에 승인이 필요한가?
• 전체 추론 과정과 증거를 재생할 수 있는가?
• 검토자가 제안을 거부하거나 수정할 수 있는가?

헤드라인 결과의 중요한 한계

95.95% 점수는 중요하지만, 증거 범위를 벗어나 일반화되어서는 안 된다.

이는 시스템 수준의 결과이다

이 결과는 MDASH, 여러 에이전트, 두 가지 모델 계층, 도구 및 데이터가 함께 생성한 것이다.

이는 공급업체가 보고한 것이다

이 결과는 마이크로소프트가 발표한 것이다. 독립적인 재현 검증은 여전히 가치가 있다.

이는 특정 벤치마크에 대한 것이다

CyberGym은 명확하게 정의된 취약점 재현 작업을 측정한다.

오탐지를 제거하지 않는다

프로덕션 환경에서의 오탐지 행동은 별도로 측정해야 한다.

완전한 자율성을 의미하지 않는다

마이크로소프트는 중요 작업에 대해 인간 서명을 유지한다.

모델이 공개되었음을 의미하지 않는다

MAI-Cyber-1-Flash는 승인된 MDASH 고객만 프라이빗 프리뷰에서 사용할 수 있다.

보편적 우월성을 증명하지 못한다

결과는 언어, 취약점 범주, 코드베이스, 도구 및 벤치마크 프레임워크에 따라 다를 수 있다.

자주 묻는 질문

Microsoft MDASH란 무엇인가?

MDASH는 소프트웨어 취약점을 식별, 검증, 우선순위 지정 및 수정하기 위한 마이크로소프트의 멀티 모델, 멀티 에이전트 시스템이다. 전문 에이전트, 여러 모델, 코드 분석 도구, 검증 증명 생성, 검증 및 엔터프라이즈 보안 제어를 결합한다.

MAI-Cyber-1-Flash란 무엇인가?

MAI-Cyber-1-Flash는 마이크로소프트의 사이버보안 특화 희소 MoE 모델이다. 공식 모델 카드에 따르면 총 파라미터는 1370억, 활성 파라미터는 50억, 컨텍스트 창은 256K이며 제한된 접근만 허용된다.

Azure AI Foundry 프라이빗 프리뷰에서 MDASH를 통해 제공된다.

MAI-Cyber-1-Flash가 단독으로 95.95% 점수를 달성했는가?

아니다. 95.95% 결과는 MAI-Cyber-1-Flash, GPT-5.4, 에이전트, 도구, 데이터 및 검증 프로세스를 사용한 전체 MDASH 구성에 대한 것이다. 마이크로소프트의 독립적인 모델 카드 결과는 다른 여러 웹 벤치마크에서 다르며 더 낮은 점수를 보여준다.

90%라는 수치는 무엇을 의미하는가?

마이크로소프트는 MAI-Cyber-1-Flash가 라우팅된 MDASH 워크플로우에서 최대 90%의 작업을 처리하도록 설계되었다고 밝힌다. 이는 해당 모델이 모든 취약점의 90%를 독립적으로 발견하거나 수정한다는 의미는 아니다.

CyberGym은 무엇을 측정하는가?

CyberGym은 주로 에이전트가 취약점 설명과 패치 전 코드베이스를 기반으로 알려진 실제 취약점을 재현할 수 있는 개념 증명(PoC)을 생성할 수 있는지 평가한다. 이 PoC는 취약한 버전과 패치된 버전 모두에 대해 테스트된다.

95.95% 결과는 독립적으로 검증되었는가?

이 점수는 마이크로소프트가 발표 및 모델 카드를 통해 게시한 것이다. 원문이 작성된 시점 기준으로 이 결과는 업데이트된 결과로 공개 벤치마크 리더보드에 아직 나타나지 않았으므로, 마이크로소프트 자체 보고 데이터로 설명해야 한다.

개발자가 MAI-Cyber-1-Flash를 다운로드할 수 있는가?

공개 모델 다운로드 기록은 없다. 마이크로소프트는 이 모델이 선정된 MDASH 고객에게만 Azure AI Foundry 프라이빗 프리뷰를 통해 제공된다고 밝힌다.

고객 제공 자료이며, 검토 및 승인을 거쳐야 합니다.

Project Perception이란?

Project Perception은 Microsoft의 광범위한 에이전트 기반 보안 시스템입니다. 레드 팀 에이전트, 블루 팀 에이전트, 그린 팀 에이전트를 조정하여 탐지, 조사, 복구 및 강화 워크플로를 총괄하면서도 핵심 의사 결정은 인간에게 맡깁니다.

관련 도구

• CyberGym: 실제 취약점 재현 작업에서 AI 에이전트를 평가하기 위한 공식 오픈소스 벤치마크 도구입니다.
• Microsoft CodeQL: 코드베이스에서 보안 관련 패턴과 데이터 구조를 쿼리할 수 있는 의미론적 코드 분석 엔진입니다.
• PyRIT: 생성형 AI 시스템에 대한 레드 팀 테스트를 위한 Microsoft의 오픈소스 Python 위험 식별 도구 키트입니다.
• Microsoft Foundry: AI 모델 및 에이전트를 구축, 평가, 관리하기 위한 Microsoft의 엔터프라이즈급 플랫폼입니다.
• OpenHands: 원래 CyberGym 연구 평가에 사용된 오픈소스 소프트웨어 개발 에이전트입니다.
• OSS-Fuzz: 오픈소스 소프트웨어를 위한 Google의 지속적인 퍼징 인프라로, CyberGym이 사용하는 취약점 데이터 소스 중 하나이기도 합니다.

관련 링크

• MDASH에서 MAI-Cyber-1-Flash 소개: 모델 라우팅 전략, 95.95% 결과, 비용 절감 및 '모델-데이터-아키텍처' 프레임워크를 다루는 Microsoft 공식 발표입니다.
• MAI-Cyber-1-Flash 모델 카드: 공식 사양, 액세스 조건, 제한 사항, 보안 방법 및 벤치마크 세부 정보입니다.

com/en-us/security/blog/2026/05/12/defense-at-ai-speed-microsofts-new-multi-model-agentic-security-system-tops-leading-industry-benchmark/: 프레임워크, 검증 아키텍처, 보안 연구 및 초기 CyberGym 결과에 대한 Microsoft의 기술 개요입니다.

• Project Perception 발표: 레드, 블루, 그린 에이전트 시스템 및 새로운 네트워크 스택에 대한 Microsoft의 설명입니다.
• Project Perception 제품 페이지: 공식 기능, 거버넌스 모델, 가격 방식 및 Security Copilot과의 관계입니다.
• CyberGym 연구 논문: 벤치마크, 작업, 데이터 및 원래 평가 결과를 설명하는 연구 논문입니다.
• CyberGym GitHub 리포지토리: 설치, 데이터 세트, 평가, 제출, 방화벽 및 로컬 배포 가이드입니다.

요약

Microsoft는 MAI-Cyber-1-Flash를 통합하고 가장 어려운 사례를 GPT-5.4로 라우팅한 후 MDASH가 CyberGym에서 95.95%의 성공률을 달성했다고 보고했습니다. 또한 이전 최강 모델 구성과 비교하여 비용이 50% 절감되었다고 보고했습니다.

이 결과는 단일 모델의 성과가 아닙니다. 100개 이상의 에이전트, 과거 보안 데이터, 전용 도구, 증명 생성, 검증, 중복 제거, 샌드박스 및 인간 설계 오케스트레이션을 포함하는 다중 모델 보안 시스템에서 나온 결과입니다.

CyberGym은 주로 설명과 패치 전 코드에서 알려진 취약점을 재현하는 능력을 테스트합니다. 따라서 이 점수는 해당 벤치마크에서 강력한 취약점 재현 성능을 입증하는 것이지, 일반적인 제로데이 취약점 발견이나 자율적 수리율을 증명하는 것은 아닙니다.

Project Perception은 동일한 시스템 철학을 코드 스캔을 넘어 확장합니다. 레드 에이전트는 위험을 노출하고, 블루 에이전트는 위험을 조사하며, 그린 에이전트는 위험을 수정하지만, 핵심 결정은 여전히 인간이 통제합니다.

핵심 시사점은 최첨단 사이버 보안 우위가 단일 강력한 모델을 확보하는 것에서 신뢰할 수 있는 보안 시스템 내에서 여러 모델을 라우팅, 검증 및 운영하는 능력으로 이동하고 있다는 것입니다.