Fable 5, KernelBench-Mega에서 CUDA 메가커널 개발: 2.5시간 만에 18.7배 속도 향상

소개Fable 5가 KernelBench-Mega에 제출된 최초의 진정한 CUDA 메가커널을 작성했다는 소식과 함께 새로운 AI 엔지니어링 논의의 중심이 되고 있습니다. 그 결과는 놀랍습니다: 약 2.5시간의 단일 자율 세션 내에서 RTX PRO 6000 Blackwell 설정에서 18.71배의 디코드 속도 향상을 달성했습니다.중요한 점은 단순히 AI 시스템이 빠른 저수준 코드를 작성했다는 것이 아닙니다. 더 중요한 것은 해결책의 형태입니다. Fable 5는 여러 개의 작은 GPU 커널을 연결하는 대신, 디코딩 워크플로를 토큰당 하나의 협력적 커널 실행으로 통합했습니다. 이것이 연구자와 엔지니어들의 주목을 받은 부분입니다.이 글은 원래 구조와 기술적 의미를 유지하면서도 더 명확한 문장으로 스토리를 재구성합니다. KernelBench-Mega가 테스트하는 내용, 이 결과가 중요한 이유, 메가커널이 일반 GPU 커널 생성과 어떻게 다른지, 그리고 일부 연구자들이 이를 재귀적 자기 개선 개념과 연결하는 이유를 설명합니다.## Fable 5, 18.7배 달성하며 GPT-5.5 추월벤치마크 결과는 개별 연산자 최적화가 아닌 전체 블록 메가커널 생성에 초점을 맞춘 벤치마크인 KernelBench-Mega에서 나왔습니다. 이 실행에서 Fable 5는 4비트 가중치와 bf16 활성화를 사용하는 Kimi-Linear W4A16 하이브리드 디코드 작업인 02_kimi_linear_decode를 대상으로 했습니다.보고된 설정은 엄격했습니다: 단일 자율 세션, 3시간의 벽시계 시간 제한, 실제 벤치마크 환경. 이 한계 내에서 Fable 5는 최적화된 PyTorch 참조 대비 18.71배의 디코드 속도 향상을 달성했습니다.비교를 통해 결과를 더 쉽게 이해할 수 있습니다:| 모델 | 보고된 속도 향상 | 비고 |

|-|-|-|
| Fable 5 | 18.71배 | CUDA 메가커널, 단일 통합 실행 경로 |
| Claude Opus 4.8 | 14.40배 | 강력한 결과지만 동일한 단일 CUDA 메가커널 패턴은 아님 |
| GPT-5.5 | 4.34배 | 이 작업에서 훨씬 낮은 속도 향상 |
| Claude Sonnet 5 | 4.03배 | 이 리더보드에서 GPT-5.5와 유사한 범위 |oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/ce6c9cad-7360-4ac5-854b-279a01ab49ee-04-4d685459-6d03-4b22-840d-4e6787d38b10.png)컨텍스트 길이에 따른 성능 저하 양상도 중요합니다. 공개된 리더보드에 따르면, Fable 5는 컨텍스트가 길어질수록 강력한 성능을 유지했습니다.- 2K 컨텍스트: 약 17.8배

• 8K 컨텍스트: 약 18.9배
• 16K 컨텍스트: 약 19.5배처음에는 이 결과가 직관에 반하는 것처럼 보입니다. 일반적으로 컨텍스트가 길어지면 어텐션과 KV-캐시 처리 비용이 증가합니다. 많은 시스템이 이 지점에서 성능 저하를 겪기 시작합니다. Fable 5의 결과는 퓨즈드 설계가 런치 오버헤드를 충분히 줄여, 작업 부하가 무거워질수록 상대적 이점이 더 커졌음을 시사합니다.## KernelBench-Mega가 일반 커널 벤치마크보다 어려운 이유KernelBench-Mega는 단순히 모델에게 작은 연산자 하나를 다듬도록 요구하지 않습니다. 에이전트가 더 큰 모델 블록을 하나의 전체 블록 메가커널로 융합하도록 요구합니다. 이는 중요한 차이를 만듭니다. 더 이상 어려운 부분이 단순히 문법적으로 유효한 CUDA나 Triton 코드를 작성하는 것이 아니기 때문입니다. 실제 어려움은 하나의 효율적인 경로 안에서 상호작용하는 여러 계산 단계를 관리하는 데 있습니다.02_kimi_linear_decode 작업은 Kimi-Linear W4A16을 위한 하이브리드 디코딩 워크로드를 포함합니다. 실질적으로 모델은 양자화된 가중치, bf16 활성화, 어텐션 관련 상태, 라우팅, 정규화, 캐시 동작을 처리해야 합니다.이것이 바로 이 벤치마크가 AI 생성 저수준 성능 코드에 의미 있는 스트레스 테스트가 되는 이유입니다. 단일 소형 연산에서의 단순한 속도 향상도 유용하지만, 전체 블록 메가커널은 실제 추론 시스템에 영향을 줄 수 있는 종류의 최적화 작업에 더 가깝습니다.## 최초의 진정한 "메가커널"가장 중요한 기술적 주장은 Fable 5가 KernelBench-Mega 역사상 최초의 진정한 메가커널을 생성했다는 점입니다.메가커널은 더 큰 추론 경로를 하나의 커널로 압축합니다. 여러 개의 개별 커널을 실행하고 제어를 반복적으로 이동시키는 대신, 하나의 조정된 실행 흐름 안에서 모든 작업을 유지합니다. 커널이 정확성을 유지하면서 여러 단계를 조정해야 하기 때문에 이는 매우 어려운 작업입니다.이 경우, 보고서에 따르면 torch.profiler는 디코딩된 토큰당 정확히 하나의 협력적 커널 실행만을 보여주었습니다. 이 단일 실행은 일반적으로 여러 단계로 나뉘어 처리되는 작업을 처리했으며, 여기에는 다음이 포함됩니다:- int4 역양자화
• 컨볼루션
• SiLU 활성화
• KDA 게이티드 델타 상태
• MLA 잠재 어텐션 처리
• MoE 라우팅 및 상위 8개 전문가 선택
• RMSNorm 관련 연산
• KV-캐시 쓰기보고에 따르면 다른 고득점 항목들은 작업을 4~14개의 개별 커널 실행으로 나누었습니다. Fable 5는 시간 제한 경로를 하나의 융합된 협력 실행으로 압축했습니다. 이것이 "빠르게 생성된 커널 코드"와 훨씬 더 공격적인 GPU 프로그래밍 결과물의 차이입니다.## 하나의 커널 실행이 성능 프로필을 어떻게 바꾸는가커널 실행은 무료가 아닙니다. 각 실행에는 오버헤드, 동기화 비용, 스케줄링 간격이 있습니다. 디코드 작업에서는 토큰마다 작업이 반복되기 때문에 이러한 비용이 특히 부담스러울 수 있습니다.Fable 5의 접근 방식은 디코딩 단계를 하나의 협력 경로에 통합하여 반복되는 오버헤드를 줄입니다. 원래 보고서에 따르면 동일한 실행 내에서 계산을 단계화하기 위해 14개의 그리드 배리어를 사용한 솔루션이라고 설명합니다.이것이 결과가 단순한 영리한 수학에 그치지 않는 이유입니다. 시스템 수준의 GPU 실행에 관한 문제이기 때문입니다. 다른 솔루션들이 커널을 반복적으로 종료하고 다시 진입하는 동안, 그들은 전환 과정에서 시간을 잃습니다. Fable 5는 파이프라인을 융합된 상태로 유지함으로써 그러한 비용의 상당 부분을 피합니다.쉽게 말하면: 다른 방법들은 여러 번에 걸쳐 작업을 수행하지만, Fable 5는 한 번에 수행하려고 시도합니다.## 2.5시간 및 약 550,000개의 토큰실행에서 또 다른 주목할 만한 부분은 모델이 시간을 어떻게 사용했는가입니다. 즉시 최종 CUDA 코드를 덤프하기 시작하지 않았습니다. 추적은 보다 신중한 작업 흐름을 시사합니다.세션의 많은 부분 동안 Fable 5는 베이스라인을 벤치마킹하고, 그리드 배리어 비용을 탐색하며, 메모리 대역폭에 대해 추론했습니다. 기사에 따르면 주요 구현이 이루어지기 전 세션의 약 64%가 측정 및 설계에 소요되었다고 설명합니다.

초기 버전이 작성된 후, 첫 번째 벤치마크는 약 14.4배에 도달한 것으로 보고되었습니다. 그런 다음 Fable 5는 남은 시간을 사용하여 배리어를 제거하고, int4 역양자화를 강화하며, 변경 사항을 테스트하고, 측정 결과 더 나쁜 것으로 나타난 하나의 부정적 최적화를 롤백했습니다.전체 실행은 약 2.5시간이 걸렸고 약 550,000개의 출력 토큰을 사용했습니다. 핵심 세부 사항은 규모만이 아닙니다. 행동 방식이 중요합니다: 벤치마크, 구축, 측정, 필요시 롤백, 확신이 아닌 데이터를 기반으로 최적화하는 것입니다.원본 출처는 또한 Fable 5가 Anthropic의 내부 Mythos 모델의 더 안전하거나 축소된 버전으로 설명된다고 언급합니다. 해당 주장은 공개 제품 발표가 아닌 출처 서사의 일부로 읽어야 합니다.## "AI 자기 개선 루프가 시작되었다"더 넓은 논의는 Jack Clark의 Import AI 뉴스레터에서 시작되었습니다.Jack Clark은 GPU 커널 성능 향상이 AI 시스템이 AI 연구 및 개발 자체의 일부를 자동화하는 능력이 향상되고 있음을 보여주는 신호라고 분석했습니다.그 논리는 간단합니다:1. 더 나은 AI 시스템이 더 나은 로우 레벨 커널을 작성할 수 있습니다.
2. 더 나은 커널은 훈련과 추론을 더 빠르고 저렴하게 만들 수 있습니다.
3. 더 빠르고 저렴한 AI 시스템은 차세대 시스템을 구축하는 데 도움이 될 수 있습니다.
4. 차세대 시스템은 커널 작성에 더 능숙해질 수 있습니다.이것이 바로 이 논의에서 "재귀적 자기 개선(recursive self-improvement)"이라는 용어가 등장하는 이유입니다. 이는 완전히 자율적인 통제 불능 루프가 이미 발생했다는 의미가 아닙니다. 이는 AI가 AI를 구축하는 데 사용되는 인프라를 개선하는 루프의 한 조각이 점점 더 가시화되고 측정 가능해지고 있음을 의미합니다.## 커널 작성에서 원격 노동으로원본 기사는 또한 이 커널 성능 결과를 광범위한 자동화 벤치마크와 연결합니다. Import AI는 AI 에이전트가 경제적으로 유용한 온라인 프로젝트에서 평가되는 원격 노동 지수(Remote Labor Index)에 대해 논의합니다.요점은 CUDA 커널 작성과 프리랜서 작업 자동화가 동일하다는 것이 아닙니다. 그렇지 않습니다. 하지만 둘 다 같은 방향을 가리키고 있습니다: 최첨단 AI 시스템이 계획, 도구 사용, 검증 및 반복을 필요로 하는 더 길고 구조화된 작업에서 더 나은 성능을 보이고 있다는 것입니다.출처의 한 댓글은 이러한 우려를 잘 포착합니다: 모델이 더 빠른 모델을 만들 수 있는 커널을 작성할 수 있게 되면, 그 도구는 더 이상 사용자에게만 도움이 되는 것이 아니라 자체 기반의 일부도 개선하게 됩니다.바로 이 지점에서 검증이 중요해집니다. 올바르게 보이는 커널이 반드시 더 빠른 것은 아닙니다. 더 빠르게 보이는 커널에는 미묘한 정확성 문제가 있을 수 있습니다. 로우 레벨 GPU 작업을 다룰 때는 검토 과정이 엄격하게 유지되어야 합니다.## 빠른 진전, 진정한 경계이 이야기에는 양면이 있습니다. 한편으로는 결과가 흥미진진합니다. AI 시스템이 이제 한때 소수의 전문 GPU 프로그래머에게만 국한되었던 로우 레벨 성능 산출물을 생산하고 있습니다.com/cms-assets/image/2026/07/0fdc859f-d6a1-47e7-b2ba-5e2fefcf3a3f-12-593ae533-5c09-47f2-840c-11d03c53dc3a.png)반면에, 이는 바로 주의 깊게 살펴볼 가치가 있는 능력이다. 같은 뉴스레터에서는 범용 컴퓨팅이 너무 강력하고 위험해져서 사람들이 이를 제한하려는 미래를 상상한다. 그 가상의 결말은 예측이 아니라 가속화되는 기술 시스템에 대한 불안감을 반영한 것이다.원본 KernelBench 작업이 AI 생성 커널이 얼마나 어려운지 보여준 지 약 1년여 만에, 이 결과는 큰 도약을 시사한다. Fable 5는 단지 사용 가능한 커널을 생성한 것이 아니다. 제한된 세션 내에서 어려운 벤치마크의 최상위에 도달하는 융합 메가커널 경로를 생성했다.AI 인프라 측면에서 이는 심각한 신호다.## 출처 정보- 원본 출처: BAAI Hub 기사

• 원본 기사는 Import AI 464, KernelBench-Mega, Elliot Arledge의 X 게시물, 그리고 Reddit 토론의 내용을 인용 및 논의하고 있다.
• 원본 기사에는 여러 브랜딩 구분선, 장식용 로고, 참여 유도 그래픽, 인물 사진이 포함되어 있다. 이들은 기술적 읽기 흐름에 불필요하므로 의도적으로 제외했다.
• 원본에는 독립적인 코드 블록이 없었다. 02_kimi_linear_decode와 torch.profiler와 같은 인라인 기술 식별자는 그대로 유지되었다.## FAQ### KernelBench-Mega란 무엇인가?KernelBench-Mega는 전체 블록 메가커널 생성에 초점을 맞춘 벤치마크다. 모델에게 단일 분리 연산자를 최적화하도록 요청하는 대신, 더 큰 워크로드를 효율적인 커널 경로로 융합하도록 요청한 후 실제 성능을 측정한다.### Fable 5가 KernelBench-Mega에서 달성한 성과는 무엇인가?Fable 5는 02_kimi_linear_decode 작업에서 최적화된 PyTorch 기준 대비 18.71배의 디코드 속도 향상을 달성한 것으로 알려졌다. 이 결과는 3시간 제한 하의 단일 자율 세션 내에서 생성되었다.### CUDA 메가커널이 왜 작성하기 어려운가?메가커널은 하나의 커널 실행 내에서 여러 계산 단계를 조정해야 한다. 즉, 구현은 작업을 더 안전한 작은 커널로 분할하지 않고 데이터 이동, 동기화, 수치 정확성, 메모리 대역폭, 실행 순서를 관리해야 한다.### 단일 커널 실행이 왜 중요한가?모든 GPU 커널 실행에는 오버헤드가 있다. 토큰 단위 디코딩에서 반복적인 실행은 빠르게 누적될 수 있다. 단일 융합 실행은 동기화 및 스케줄링 오버헤드를 줄일 수 있으며, 이것이 중요한 이유다.Fable 5의 접근 방식은 기술적으로 의미가 있습니다.

이것이 재귀적 자기 개선의 증거인가요? 완전한 자율적 자기 개선 루프의 증거는 아닙니다. 오히려 AI 시스템이 커널 설계 및 추론 최적화와 같은 AI 인프라를 개선할 수 있는 작업을 자동화하기 시작했다는 구체적인 신호로 이해하는 것이 더 적절합니다.

이러한 AI 생성 CUDA 코드를 실제 운영 환경에서 사용할 수 있나요? 엄격한 검토 없이는 직접 사용할 수 없습니다. 성능 코드는 정확성 검사, 프로파일링, 회귀 테스트 및 하드웨어별 검증이 필요합니다. 빠른 벤치마크 결과는 유망하지만, 실제 운영 환경에 배포하려면 훨씬 더 많은 검증이 필요합니다.

이 결과를 연구하는 데 유용한 도구는 무엇인가요? KernelBench-Mega는 리더보드와 실행 결과물을 제공합니다. PyTorch 프로파일러, CUDA 도구, Hugging Face 트레이스 데이터셋 및 GPU 프로파일링 도구는 생성된 커널의 동작을 이해하는 데 유용합니다.

관련 도구

• KernelBench-Mega: 전체 블록 메가커널 결과 및 실행 결과물을 제공하는 벤치마크 페이지입니다.
• KernelBench GitHub 저장소: LLM 생성 GPU 커널을 평가하기 위한 원본 벤치마크 프레임워크입니다.
• NVIDIA CUDA 툴킷: CUDA 애플리케이션을 작성, 컴파일 및 프로파일링하기 위한 핵심 툴킷입니다.
• PyTorch 프로파일러: PyTorch 워크로드에서 실행 시간, 커널 실행 및 런타임 동작을 검사하는 데 사용되는 프로파일링 도구입니다.
• Hugging Face 데이터셋: KernelBench 실행 결과물을 포함한 데이터셋 및 벤치마크 트레이스를 호스팅하는 플랫폼입니다.
• Triton: AI 성능 엔지니어링에서 자주 사용되는 맞춤형 GPU 커널을 작성하기 위한 언어 및 컴파일러입니다.

관련 링크

• KernelBench-Mega 리더보드: 메가커널 벤치마크에 대한 공식 리더보드 및 설명입니다.
• KernelBench 결과 허브: 공개 벤치마크 결과, 트랜스크립트 뷰어 및 데이터셋입니다.
• Import AI 464: Jack Clark의 뉴스레터로, Fable, GPU 커널, AI 자동화 및 아날로그 연산에 대해 논의합니다.
• Fable 5 KernelBench-Mega 트레이스: 원본 기사에서 참조된 실행 트레이스입니다.
• KernelBench 논문 (arXiv): LLM 생성 GPU 커널을 위한 벤치마크인 KernelBench를 소개하는 연구 논문입니다.
• ScalingIntelligence KernelBench 저장소: 원본 KernelBench 프로젝트의 소스 코드 및 평가 도구입니다.
• Reddit 토론: 원본 기사에서 참조된 커뮤니티 토론입니다.

요약 이 글은 Fable 5의 KernelBench-Mega 결과가 단순한 벤치마크 승리를 넘어서는 이유를 설명합니다. 중요한 세부 사항은...단일 실행 CUDA 메가커널: 멀티 커널 솔루션보다 훨씬 적은 실행 오버헤드로 복잡한 디코드 워크로드를 처리하는 융합 경로입니다.이 결과가 중요한 또 다른 이유는 AI 시스템이 AI 개발 자체를 지원하는 성능 엔지니어링 작업에 더 능숙해지고 있음을 시사하기 때문입니다. 더 빠른 커널은 추론과 훈련을 더 효율적으로 만들 수 있으며, 이는 주목할 만한 피드백 루프를 생성합니다.동시에 AI가 생성한 저수준 코드를 기본적으로 프로덕션에 바로 사용할 수 있는 것으로 간주해서는 안 됩니다. 정확성, 프로파일링, 하드웨어 동작, 회귀 테스트는 여전히 중요합니다.진정한 교훈: Fable 5의 메가커널은 AI 지원 GPU 성능 엔지니어링이 데모 수준에서 본격적인 인프라 작업으로 이동하고 있다는 강력한 신호입니다.