카르파티의 에이전트 경고: 데모만이 아니라 먼저 모델을 구축하라

소개

지금 AI 에이전트는 어디에나 있습니다. 매주 새로운 도구가 등장해 사용자의 짧은 지시만으로 웹을 탐색하고, 컴퓨터를 제어하고, 예약을 하고, 코드를 작성하고, 워크플로를 끝낼 수 있다고 약속합니다.

그 기대감은 분명 현실입니다. 하지만 최근 안드레이 카르파티가 에이전트 개발자들에게 전한 메시지가 주목받은 이유는, 그것이 지금의 분위기에 정면으로 맞서기 때문입니다. 에이전트에게 모든 일을 시키기 전에, 개발자들은 먼저 그 밑바탕이 되는 모델을 이해하고 개선해야 한다는 것입니다.

요점은 AI 에이전트가 쓸모없다는 말이 아닙니다. 그보다 더 날카로운 지적입니다. 화려한 데모는 취약한 기반을 가릴 수 있습니다. 실제 제품은 복잡한 입력, 긴 작업, 엣지 케이스, 메모리 문제, 인터페이스 변화, 그리고 사용자 신뢰를 견뎌야 합니다. 많은 에이전트 프로젝트가 무너지는 지점이 바로 이 차이입니다.

에이전트 개발자들을 멈춰 세운 메시지

이 논의는 짧은 영상 클립과 카르파티의 견해를 요약한 널리 공유된 게시물에서 시작되었습니다. 핵심 아이디어는 단순했습니다. AI 분야는 그 기반이 되는 모델을 충분히 숙달하기도 전에 에이전트를 억지로 작동시키려 하면서 실수를 하고 있을 수 있다는 것입니다.

이 문장은 지금의 에이전트 경쟁에 이의를 제기하기 때문에 불편하게 느껴집니다. 많은 팀이 오늘날의 LLM을 가능한 한 빨리 자율적으로 일하는 작업자로 바꾸려 하고 있습니다. 그들은 모델 위에 도구, 메모리, 브라우저 제어, 파일 접근, 예약 작업, 다단계 워크플로를 덧씌웁니다.

이런 층위들은 도움이 될 수 있습니다. 하지만 근본적인 질문을 없애주지는 못합니다. 모델이 충분히 신뢰성 있게 추론할 수 있는가, 충분히 명확하게 계획할 수 있는가, 오류에서 회복할 수 있는가, 그리고 작업을 충분히 깊이 이해할 수 있는가?

만약 대답이 아니오라면, 더 많은 에이전트용 보조 구조를 추가하는 것은 데모에서는 시스템이 더 유능해 보이게 만들 수 있지만, 실제 운영 환경에서는 디버깅을 더 어렵게 만들 수 있습니다.

2016년의 교훈: World of Bits

카르파티의 경고는 단지 이론적인 것이 아닙니다. 원문은 2016년의 한 프로젝트로 거슬러 올라갑니다. 바로 World of Bits로, 에이전트가 키보드와 마우스 조작을 통해 인터넷과 상호작용할 수 있다는 아이디어를 중심으로 구축된 웹 기반 에이전트 플랫폼입니다.

당시 그 목표는 미래적으로 느껴졌습니다. 에이전트가 사람이 하듯 웹페이지를 사용해 버튼을 클릭하고, 양식을 작성하고, 페이지를 이동하며, 항공편 예약이나 음식 주문 같은 작업을 완료하는 것입니다. 이것은 오늘날 사람들이 듣는 에이전트 제품 홍보와 매우 가깝게 들립니다.

그 프로젝트는 본격적인 연구 노력으로 발전했고

ICML 2017에서 **“World of Bits: 웹 기반 에이전트를 위한 오픈 도메인 플랫폼”**으로 발표되었다. 그러나 더 큰 제품적 꿈은 당시 완전히 실현되지는 못했다.

중요한 교훈은 그 아이디어가 틀렸다는 것이 아니다. 당시 사용 가능한 도구들이 준비되어 있지 않았다는 점이다. 에이전트 분야에는 아직 오늘날의 기반 모델, 멀티모달 시스템, 도구 사용 패턴, 또는 코딩이 가능한 LLM이 없었다. 강화학습은 주요한 망치 중 하나였지만, 그 아이디어를 견고한 범용 제품으로 바꾸기에는 충분하지 않았다.

바로 이 점 때문에 지금 카르파시의 메시지가 중요하다. 기술적으로 매력적인 방향이라도 기반 역량이 충분히 강하지 않다면 너무 이르게 도착할 수 있다.

실패한 에이전트 데모에서 더 강한 기반으로

World of Bits 이야기를 읽는 유용한 방식은 그것을 타이밍에 대한 교훈으로 보는 것이다.

그 팀은 미래처럼 보이는 무언가를 만들고 있었지만, 당시의 분야는 그것을 떠받칠 기반을 아직 구축하지 못한 상태였다. 돌이켜보면, 카르파시의 주장은 에이전트를 과업에 억지로 밀어 넣는 데 집중하기보다 그 아래에 있는 언어 모델과 표현 학습을 개선하는 데 더 집중했어야 했다는 것이다.

그리고 바로 이것이 현재 시점을 흥미롭게 만든다. 도구가 달라졌다. 이제 LLM은 자연어로 추론하고, 도구를 호출하고, 코드를 작성하고, 스크린샷을 해석하며, 이전 시스템보다 더 긴 맥락을 유지할 수 있다. 에이전트 스택은 2016년보다 훨씬 더 현실성 있어졌다.

그렇다고 해서 더 강력한 도구가 제품화의 어려움을 없애 주는 것은 아니다. 그것들은 단지 경계를 앞으로 밀어낼 뿐이다.

Jim Fan과 에이전트 연구의 연속성

원문은 또한 Jim Fan 같은 연구자들을 통해 World of Bits를 이후의 체화 에이전트 연구와 연결한다. 이것이 중요한 이유는 초기 웹 에이전트 프로젝트가 주춤한 뒤에도 에이전트 서사가 사라지지 않았기 때문이다. 그것은 시뮬레이션 환경, 마인크래프트 에이전트, 개방형 학습, 체화 지능 같은 더 풍부한 연구 영역으로 진화했다.

MineDojo와 Voyager 같은 프로젝트는 “웹페이지 몇 개를 클릭해 보면서 에이전트가 잘 작동하길 기대하는” 방식과는 다른 길을 보여준다. 이들은 목표, 메모리, 행동, 기술, 피드백을 더 체계적으로 연구할 수 있는 환경에서 에이전트를 탐구한다.

그렇다고 해서 마인크래프트 에이전트가 곧바로 비즈니스 자동화를 해결한다는 뜻은 아니다. 진지한 에이전트 발전은 대개 더 나은 환경, 더 나은 평가, 더 나은 모델 행동, 그리고 더 명확한 피드백 루프에서 나온다는 뜻이다.

데모는 쉽고, 제품은 수년이 걸린다

이 글에서 가장 실용적인 요점 중 하나는 데모와 제품 사이의 격차다.

데모는 단 한 번만 작동하면 되고, 종종 준비된 조건 아래에서 이루어진다. 반면 제품은 서로 다른 사용자에게, 서로 다른 상황에서, 실패가 이해 가능하고 복구 가능하도록 하면서 반복적으로 작동해야 한다.

자율주행은 유용한 비교 대상이다. 자동차가 블록 한 바퀴를 도는 모습은 인상적으로 보일 수 있다. 하지만 실제 배포 가능한 자율주행 시스템은 드문 사건들, 좋지 않은

가시성, 이상한 도로 주행 행동, 규제 제약, 안전에 대한 기대, 그리고 수년에 걸친 반복 개선이 필요했습니다.

VR도 비슷한 패턴을 따랐습니다. 헤드셋 데모는 5분 안에 놀라울 수 있습니다. 하지만 지속 가능한 제품이 되려면 하드웨어, 소프트웨어, 콘텐츠, 인체공학, 가격, 유통, 그리고 반복적으로 체감되는 사용자 가치가 필요합니다.

에이전트도 이 범주에 속합니다. 상상하기는 쉽고 데모를 보여주기도 쉽지만, 오래 지속되는 제품으로 출시하기는 어렵습니다.

에이전트 구축자를 위한 세 가지 실용적인 교훈

1. 에이전트 래퍼를 확장하기 전에 모델을 이해하라

더 많은 도구를 추가하기 전에, 먼저 모델이 무엇을 안정적으로 할 수 있고 무엇을 할 수 없는지 물어야 합니다. 긴 지침을 따를 수 있는가? 스스로 불확실하다는 것을 알아차릴 수 있는가? API 호출이 실패한 뒤 회복할 수 있는가? 자신의 작업을 검증할 수 있는가?

모델의 중심이 약하다면, 더 많은 오케스트레이션은 시스템을 더 유용하게 만드는 것이 아니라 더 취약하게 만들 수 있습니다.

1. 데모를 끝이 아니라 시작으로 보라

좋은 데모는 방향성을 증명해 주기 때문에 가치가 있습니다. 하지만 그것이 곧 제품-시장 적합성, 신뢰성, 또는 신뢰를 의미하는 것은 아닙니다.

에이전트 제품에서 진짜 작업은 데모 이후에 시작됩니다. 로깅, 평가, 롤백, 인간 검토, 권한 설계, 메모리 경계, 그리고 실패 처리 같은 것들입니다.

1. 에이전트가 자연스럽게 나타날 수 있는 기반을 구축하라

Karpathy의 가장 강력한 제품 교훈은 에이전트 자체가 제품이 아닐 수도 있다는 점입니다. 더 근본적인 제품은 에이전트 행동을 신뢰 가능하게 만드는 모델 역량, 환경 설계, 데이터 파이프라인, 평가 시스템, 그리고 도구 인터페이스일 수 있습니다.

더 강한 기반은 많은 에이전트 행동을 가능하게 할 수 있습니다. 반대로 약한 기반은 모든 워크플로를 임시방편적인 특수 사례들의 조합으로 바꿔 버립니다.

Karpathy의 프리트레이닝으로의 복귀

이 글은 또한 Karpathy가 Anthropic의 프리트레이닝 팀으로 옮겼다는 점을 언급합니다. 이는 같은 메시지를 다시 강조한다는 점에서 중요합니다. 즉, 최전선은 여전히 근본적인 모델 작업과 깊이 연결되어 있다는 것입니다.

프리트레이닝은 에이전트보다 덜 화려하게 들릴 수 있지만, 다른 모든 것이 의존하는 원초적 역량을 형성합니다. 더 나은 모델은 추론, 언어 이해, 도구 사용, 코딩, 계획, 그리고 멀티모달 지각을 향상시킬 수 있습니다.

에이전트 구축자에게 이것이 모두가 최전선 모델을 직접 훈련해야 한다는 뜻은 아닙니다. 대부분의 팀은 그렇게 할 수 없습니다. 하지만 모델의 행동을 중심으로 설계할 수 있을 만큼은 모델을 충분히 이해해야 합니다.

에이전트를 구축하는 팀은 어떤 실패가 프롬프팅에서 오는지, 어떤 실패가 도구 설계에서 오는지, 어떤 실패가 맥락 부족에서 오는지, 그리고 어떤 실패가 모델의 근본적인 한계에서 오는지를 알아야 합니다.

뇌로부터 배우기

제품에 대한 교훈 이후, 원문은 신경과학으로 시선을 돌립니다. 보도에 따르면 Karpathy는 구축자들에게 에이전트 시스템이 뇌로부터 무엇을 배울 수 있을지 생각해 보라고 권했다고 합니다.

이 비교는 생물학을 문자 그대로 복제하자는 것이 아닙니다. 더 나은 구조적 질문을 던지자는 것입니다.

무엇이 기억의 역할을 하는가? 무엇이 선택하는가

행동은 무엇인가? 기술은 어디에 저장되는가? 어떤 생각이나 계획이 주의를 받게 될지는 무엇이 결정하는가? 장기 목표가 단기적인 잡음에 의해 덮어써지지 않도록 막는 것은 무엇인가?

이 질문들은 유용하다. 에이전트 제품이 정확히 이런 영역에서 자주 실패하기 때문이다. 맥락을 잊는다. 다음 행동을 잘못 선택한다. 관련 없는 정보에 과민하게 반응한다. 안정적인 계획을 유지하지 못한다. 조용히 실패한다.

더 성숙한 에이전트 아키텍처는 메모리, 계획, 행동, 성찰, 검색, 검증 사이의 더 명확한 분리를 필요로 할 수 있다.

왜 독립 빌더들이 여전히 중요한가

Karpathy의 메시지에서 가장 고무적인 부분은 비판이 아니다. 에이전트의 최전선이 여전히 열려 있다는 점을 상기시켜 준다는 것이다.

대형 연구소들은 최첨단 언어 모델을 훈련하는 데 깊은 경험을 갖고 있다. 그들은 대중이 보기 훨씬 전에 많은 모델 훈련 아이디어를 접해 왔다. 그 영역에서 경험 격차는 엄청나다.

에이전트 제품은 다르다. 이 분야는 아직 젊다. 최고의 워크플로, 인터페이스, 메모리 패턴, 권한 시스템, 검토 루프, 제품 카테고리는 아직 완전히 정립되지 않았다.

이것은 독립 개발자, 스타트업, 소규모 연구팀에게 실질적인 기회를 준다. 그들은 더 날카로운 아이디어를 시도하고, 사용자와 더 빠르게 대화하고, 신속하게 방향을 바꾸고, 대형 연구소가 우선시하지 않을 수 있는 제품 워크플로를 탐색할 수 있다.

그러므로 이 경고는 “에이전트를 만들지 말라”가 아니다. “기초를 건너뛰지 말라”는 뜻이다.

출처 및 이미지 관련 참고

이 글은 BAAI Hub의 공개 출처 페이지를 바탕으로 한 영어 원문의 독자적 각색본이다: https://hub.baai.ac.cn/view/56135.

출처 페이지에는 여러 이미지가 포함되어 있다. 이 Markdown 버전은 X 스크린샷, 논문 스크린샷, 연구 업데이트, 그리고 언급된 책 표지처럼 글의 의미를 뒷받침하는 이미지만 유지했다. 로고만 있는 이미지, QR 코드 이미지, 홍보 배너, 관련 없는 장식 이미지는 포함하지 않았다.

FAQ

AI 에이전트에 대한 Karpathy의 핵심 경고는 무엇인가?

핵심 경고는 빌더들이 기저 모델이 충분히 신뢰할 수 있기 전에 에이전트가 복잡한 작업을 수행하도록 너무 서둘러 만들고 있을 수 있다는 점이다. 에이전트 래퍼는 도움이 될 수 있지만, 약한 추론, 부족한 복구 능력, 피상적인 작업 이해를 완전히 보완할 수는 없다.

World of Bits란 무엇이었나?

World of Bits는 웹 기반 에이전트를 위한 연구 플랫폼으로, ICML 2017에서 발표되었다. 키보드와 마우스 입력 같은 저수준 동작을 통해 웹사이트와 상호작용하는 에이전트를 탐구했다.

에이전트에서 데모와 제품의 차이가 왜 그렇게 중요한가?

데모는 제한된 환경에서 준비하고 테스트할 수 있다. 제품은 많은 사용자, 작업, 오류, 권한, 엣지 케이스 전반에서 작동해야 한다. 그래서 에이전트 제품은 보통 신뢰성과 평가에 대한 장기적인 작업이 필요하다.

이것이 AI 에이전트는 만들 가치가 없다는 뜻인가?

아니다.

주장은 에이전트 자체를 반대하는 것이 아닙니다. 그 아래에 있는 모델, 환경, 평가 과정, 제품 제약을 이해하지 못한 채 에이전트를 만드는 것에 반대하는 것입니다.

사전학습은 왜 에이전트 제품에 중요한가?

사전학습은 기반 모델의 추론, 언어 이해, 도구 사용, 일반화 능력에 영향을 미칩니다. 더 강력한 기반 모델은 에이전트의 행동을 더 쉽게 설계하고, 평가하고, 신뢰할 수 있게 만듭니다.

에이전트 개발자는 신경과학에서 무엇을 배울 수 있는가?

신경과학은 기억, 행동 선택, 주의, 계획, 자기 모니터링에 관한 질문에 영감을 줄 수 있습니다. 에이전트 시스템은 하나의 긴 프롬프트나 하나의 범용 루프에 의존하기보다 이러한 기능을 중심으로 더 명확한 아키텍처가 필요할 수 있습니다.

소규모 팀은 에이전트 개발에서 대형 AI 연구소보다 뒤처져 있는가?

반드시 그렇지는 않습니다. 대형 연구소는 최전선 모델을 학습시키는 데 엄청난 이점이 있지만, 에이전트 제품의 패턴은 아직 정립되지 않았습니다. 소규모 팀은 빠르게 움직이며, 그것이 명백해지기 전에 유용한 워크플로를 발견할 수 있습니다.

관련 도구

• Claude: 추론, 글쓰기, 코딩, 워크플로 지원에 자주 사용되는 Anthropic의 AI 어시스턴트입니다.
• Claude API Documentation: Anthropic의 Claude 모델로 애플리케이션을 구축하기 위한 공식 문서입니다.
• World of Bits: 키보드와 마우스 동작을 수행하는 웹 기반 에이전트를 연구하기 위한 연구 플랫폼입니다.
• MineDojo: 개방형 체화 에이전트 연구를 위한 마인크래프트 기반 프레임워크입니다.
• Voyager: 마인크래프트에서 평생 학습을 수행하는 LLM 기반 체화 에이전트 프로젝트입니다.

관련 링크

• Original BAAI Hub Source: 이 영어판의 사실적 근거로 사용된 원문 기사입니다.
• World of Bits Paper: ICML 2017 논문의 공식 PMLR 페이지입니다.
• World of Bits PDF: 연구 논문의 직접 PDF 버전입니다.
• Karpathy’s Anthropic Update: Anthropic 합류에 대한 Karpathy의 공개 게시물입니다.
• Anthropic Official Site: Anthropic 및 Claude 관련 발표를 위한 공식 웹사이트입니다.
• Voyager Paper: 대규모 언어 모델을 활용한 개방형 체화 에이전트 Voyager의 arXiv 논문입니다.
• MineDojo Paper: MineDojo의 개방형 체화 에이전트 프레임워크에 대한 arXiv 논문입니다.
• Brain and Behavior: 논의에서 언급된 신경과학 서적의 Oxford University Press 페이지입니다.

요약

이 글은 현재 AI 에이전트 열풍에 대한 Karpathy의 경고를 설명합니다. 에이전트는 흥미롭지만, 기반이 약하면 쉽게 취약해진다는 것입니다. World of Bits가 주는 교훈은, 강력한 아이디어도 해당 분야가 올바른 도구를 갖추기 전에 등장할 수 있다는 점입니다.

오늘날의 개발자들에게 실질적인 길은 에이전트를 포기하는 것이 아닙니다. 모델을 이해하고, 더 강력한 평가 시스템을 구축하고, 더 안전한 행동 루프를 설계하며, 데모를 끝이 아니라 제품 작업의 시작으로 여기는 것입니다.

결승선보다 더 중요합니다.

유용한 핵심은 간단합니다. 먼저 기반을 구축하고, 그 위에서 더 나은 에이전트가 자연스럽게 나오도록 하세요.