Karpathyのエージェントへの警鐘：デモだけでなく、まずモデルを築け

はじめに

いま、AIエージェントは至るところに存在します。毎週のように、新しいツールが登場し、ウェブを閲覧したり、コンピューターを操作したり、何かを予約したり、コードを書いたり、ユーザーからの短い指示だけで一連の作業を完了したりできると約束しています。

その熱狂は本物です。しかし、Andrej Karpathyが最近エージェント開発者に向けて発したメッセージが注目を集めたのは、それが今の空気に逆らうものだったからです。エージェントにあらゆることをさせようとする前に、開発者はまず、その土台となるモデルを理解し、改善すべきだというのです。

言いたいのは、AIエージェントが無意味だということではありません。むしろ、論点はもっと鋭いものです。派手なデモは、脆弱な基盤を隠してしまうことがあります。本物の製品は、雑多な入力、長時間にわたるタスク、エッジケース、メモリの問題、インターフェースの変更、そしてユーザーの信頼に耐えなければなりません。この違いこそ、多くのエージェントプロジェクトが破綻する場所です。

エージェント開発者たちを立ち止まらせたメッセージ

この議論は、短い動画クリップと、Karpathyの見解を要約した広く共有された投稿から始まりました。核となる考えはシンプルです。AI分野は、その土台にあるモデルを十分に習得する前に、エージェントを無理に機能させようとしていることで、過ちを犯しているのかもしれないということです。

この一文が居心地の悪さを感じさせるのは、現在のエージェント開発競争に異議を唱えているからです。多くのチームは、今日のLLMをできるだけ早く自律的な働き手へと変えようとしています。モデルにツール、メモリ、ブラウザ操作、ファイルアクセス、スケジュール実行、そして多段階のワークフローを組み合わせているのです。

そうした層は役に立つことがあります。しかし、それでも根本的な問いは消えません。モデルは十分に信頼できる推論ができるのか。十分に明確に計画できるのか。エラーから立て直せるのか。そして、タスクを十分に深く理解できるのか。

もし答えがノーであれば、エージェント用の足場をいくら積み増しても、デモではより高性能に見える一方で、本番環境ではかえってデバッグが難しいシステムになってしまいます。

2016年の教訓：World of Bits

Karpathyの警告は、単なる理論ではありません。元記事では、2016年のあるプロジェクトにまで話がさかのぼっています。World of Bitsです。これは、エージェントがキーボードとマウスの操作を通じてインターネットとやり取りできるという発想を中心に構築された、ウェブベースのエージェントプラットフォームでした。

当時、その目標は未来的に感じられました。エージェントは人間と同じようにウェブページを使い、ボタンをクリックし、フォームに入力し、ページを移動し、航空券の予約や料理の注文といったタスクを完了するのです。これは、今日人々が耳にするエージェント製品の売り文句と非常によく似ています。

そのプロジェクトは本格的な研究の取り組みへと発展し、

これはICML 2017で**「World of Bits: An Open-Domain Platform for Web-Based Agents」**として発表された。しかし、より大きなプロダクトとしての夢は、その時点では十分には実現しなかった。

重要な教訓は、アイデアが間違っていたということではない。利用可能なツールがまだ整っていなかった、ということだ。エージェント分野には、今日のような基盤モデル、マルチモーダルシステム、ツール利用のパターン、あるいはコーディング可能なLLMがまだ存在していなかった。強化学習は主要な手段の一つだったが、このアイデアを堅牢で汎用的なプロダクトに変えるにはそれだけでは不十分だった。

だからこそ、今になってKarpathyのメッセージが重要になる。技術的に魅力的な方向性であっても、基盤となる能力が十分に強くなければ、登場が早すぎることはあり得る。

失敗したエージェントのデモから、より強い基盤へ

World of Bitsの物語を読むうえで有用なのは、それを「タイミングに関する教訓」として捉えることだ。

チームは未来を先取りしているように見えるものに取り組んでいたが、その分野はそれを支えるために必要な基盤をまだ築けていなかった。振り返ってみると、Karpathyの主張は、エージェントを無理にタスクへ押し込むことに注力するよりも、その土台にある言語モデルや表現学習の改善にもっと注力すべきだった、というものだ。

だからこそ、今この瞬間が興味深い。ツールは変わった。LLMは今や自然言語で推論し、ツールを呼び出し、コードを書き、スクリーンショットを解釈し、従来のシステムよりも長いコンテキストを保持できる。エージェントのスタックは、2016年当時と比べてはるかに現実味を帯びている。

それでも、ツールが強力になったからといって、プロダクト化の難しさが消えるわけではない。前線が先へ進むだけなのだ。

Jim Fanとエージェント研究の連続性

元の記事では、Jim Fanのような研究者を通じて、World of Bitsが後の具身エージェント研究へとつながっている点にも触れている。これは重要だ。というのも、初期のWebエージェント・プロジェクトが停滞した後も、エージェントの物語そのものが消えたわけではなかったからだ。それは、シミュレーション環境、Minecraftエージェント、オープンエンド学習、具身知能といった、より豊かな研究領域へと発展していった。

MineDojoやVoyagerのようなプロジェクトは、「いくつかのWebページをクリックして回り、エージェントがうまく動くことを期待する」という発想とは異なる道筋を示している。これらは、目標、記憶、行動、スキル、フィードバックをより体系的に研究できる環境の中でエージェントを探究している。

それは、Minecraftエージェントがそのままビジネスの自動化を直接解決するという意味ではない。重要なのは、本格的なエージェントの進歩は通常、より良い環境、より良い評価、より良いモデルの振る舞い、そしてより明確なフィードバックループから生まれるということだ。

デモは簡単だが、プロダクトには何年もかかる

この記事の中でも特に実践的なポイントの一つは、デモとプロダクトの間にある隔たりだ。

デモは一度動けばよく、多くの場合は事前に整えられた条件下で行われる。一方でプロダクトは、異なるユーザーに対して、異なる状況の中で、繰り返し機能しなければならず、しかも失敗が理解可能で回復可能である必要がある。

自動運転は比較対象として有用だ。車が街区を一周して走るだけでも印象的に見える。しかし、本番運用に耐える自動運転システムは、まれな事象や、劣悪な状況に対応しなければならない。

可視性、奇妙な道路上の挙動、規制上の制約、安全性への期待、そして長年にわたる試行錯誤。

VRも同様のパターンをたどりました。ヘッドセットのデモは5分で驚きを与えられます。しかし、持続可能な製品には、ハードウェア、ソフトウェア、コンテンツ、人間工学、価格設定、流通、そして繰り返し実感されるユーザー価値が必要です。

エージェントもこのカテゴリに属します。発想しやすく、デモもしやすい一方で、長く使える製品として世に出すのは難しいのです。

エージェント構築者のための3つの実践的な教訓

1. エージェントのラッパーを拡張する前に、まずモデルを理解する

ツールを増やす前に、そのモデルが何を安定してできて、何ができないのかを問いましょう。長い指示に従えるか。不確実なときにそれを判断できるか。API呼び出しが失敗した後に立て直せるか。自分の仕事を検証できるか。

中核となるモデルが弱ければ、オーケストレーションを増やしても、システムは有用になるどころか、むしろ脆くなることがあります。

1. デモをゴールではなく出発点として扱う

優れたデモには価値があります。なぜなら、それが進むべき方向性を示せるからです。しかし、それはプロダクトマーケットフィットでも、信頼性でも、信頼そのものでもありません。

エージェント製品において、本当の仕事はデモの後に始まります。ロギング、評価、ロールバック、人間によるレビュー、権限設計、メモリの境界、そして障害対応です。

1. エージェントが自然に立ち現れるような土台を築く

Karpathyの最も重要なプロダクト上の教訓は、エージェントそのものが製品ではないかもしれない、という点です。より本質的な製品は、エージェントの挙動を信頼できるものにするモデル能力、環境設計、データパイプライン、評価システム、ツールインターフェースなのかもしれません。

より強固な土台があれば、多様なエージェントの振る舞いが可能になります。土台が弱ければ、あらゆるワークフローが特例の寄せ集めになってしまいます。

Karpathyの事前学習への回帰

この記事では、KarpathyがAnthropicの事前学習チームに移ったことにも触れています。これは重要です。なぜなら、最前線はいまなお基盤モデルの研究と深く結びついている、という同じメッセージを補強しているからです。

事前学習はエージェントほど派手には聞こえないかもしれませんが、他のすべてが依存する生の能力を形づくるものです。より優れたモデルは、推論、言語理解、ツール使用、コーディング、計画、そしてマルチモーダル知覚を向上させることができます。

エージェント構築者にとって、これは誰もが最先端モデルを訓練しなければならないという意味ではありません。ほとんどのチームにはそれはできません。しかし、自分たちの設計をそれに合わせて行える程度には、モデルの振る舞いを理解しておく必要があります。

エージェントを構築するチームは、どの失敗がプロンプティングに由来するのか、どれがツール設計に由来するのか、どれがコンテキスト不足によるものなのか、そしてどれがモデル自体の根本的な限界に由来するのかを把握しているべきです。

脳から学ぶ

プロダクトに関する教訓の後、元記事は神経科学へと話を進めます。Karpathyは、エージェントシステムが脳から何を学べるかを考えるよう、構築者たちに促したと報じられています。

この比較は、生物学を文字どおり模倣することが目的ではありません。より良い構造的な問いを立てるためのものです。

何が記憶の役割を果たすのか。何が選択するのか

アクション？ スキルを保存しているのは何か？ どの思考や計画に注意を向けるかを決めているのは何か？ 長期目標が短期的なノイズによって上書きされないようにしているのは何か？

これらの問いが有用なのは、エージェント製品がしばしばまさにこうした領域で失敗するからだ。文脈を忘れる。次に取るべき行動を誤る。無関係な情報に過剰反応する。安定した計画を維持できない。しかも、黙ったまま失敗する。

より成熟したエージェント・アーキテクチャには、記憶、計画、行動、内省、検索、検証のあいだに、より明確な分離が必要になるかもしれない。

それでも独立したビルダーが重要な理由

Karpathyのメッセージでもっとも励みになる点は、批判そのものではない。エージェントのフロンティアがまだ開かれているという再確認にある。

大規模ラボは最先端の言語モデルを訓練してきた深い経験を持っている。一般に公開される何年も前から、多くのモデル訓練のアイデアを見てきた。その領域における経験格差は非常に大きい。

しかし、エージェント製品は別だ。この分野はまだ若い。最良のワークフロー、インターフェース、メモリパターン、権限システム、レビューループ、製品カテゴリは、まだ完全には定まっていない。

だからこそ、独立系開発者、スタートアップ、小規模な研究チームにも現実的な勝機がある。より鋭いアイデアを試し、より速くユーザーと対話し、素早く方向転換し、大規模ラボが優先しないかもしれない製品ワークフローを探れるからだ。

したがって、この警告は「エージェントを作るな」ではない。「基礎を飛ばすな」なのだ。

出典と画像に関する注記

この記事は、BAAI Hub の公開ソースページ https://hub.baai.ac.cn/view/56135 をもとにした、英語によるオリジナル翻案である。

元のページには複数の画像が含まれている。この Markdown 版では、X のスクリーンショット、論文のスクリーンショット、研究アップデート、参照されている書籍の表紙など、記事の意味を支える画像のみを残している。ロゴのみの画像、QRコード画像、宣伝バナー、本文と無関係な装飾画像は含めていない。

FAQ

AIエージェントについてのKarpathyの主な警告は何ですか？

主な警告は、ビルダーたちが、基盤となるモデルが十分に信頼できる段階に達する前に、エージェントに複雑なタスクを実行させようと急ぎすぎているかもしれない、ということだ。エージェントのラッパーは役立つこともあるが、推論の弱さ、回復力の低さ、タスク理解の浅さを完全に補うことはできない。

World of Bits とは何でしたか？

World of Bits は、ICML 2017 で発表された、Webベースのエージェントのための研究プラットフォームである。キーボードやマウス入力のような低レベルの操作を通じて、Webサイトと相互作用するエージェントを探究していた。

エージェントにとって、デモと製品の違いがなぜそれほど重要なのですか？

デモは限定された環境で準備し、検証できる。一方で製品は、多様なユーザー、タスク、エラー、権限、エッジケースにまたがって機能しなければならない。だからこそ、エージェント製品には通常、信頼性と評価に関する長期的な取り組みが必要になる。

これは、AIエージェントは作る価値がないという意味ですか？

いいえ。

その議論はエージェントそのものに反対しているのではない。根底にあるモデル、環境、評価プロセス、そしてプロダクト上の制約を理解しないままエージェントを構築することに反対しているのだ。

なぜ事前学習はエージェント製品にとって重要なのか？

事前学習は、ベースモデルの推論能力、言語理解、ツール使用、そして汎化能力に影響を与える。より強力なベースモデルがあれば、エージェントの挙動は設計しやすく、評価しやすく、信頼しやすくなる。

エージェント開発者は神経科学から何を学べるのか？

神経科学は、記憶、行動選択、注意、計画、自己モニタリングに関する問いに着想を与えてくれる。エージェントシステムには、1本の長いプロンプトや1つの汎用的なループに頼るのではなく、こうした機能をめぐる、より明確なアーキテクチャが必要になるかもしれない。

小規模チームはエージェント開発で大手AI研究所に後れを取っているのか？

必ずしもそうではない。大手研究所は最先端モデルの訓練において非常に大きな優位性を持っているが、エージェント製品のパターンはいまだ定まっていない。小規模チームは素早く動き、明白になる前に有用なワークフローを見つけ出せる。

関連ツール

• Claude: AnthropicのAIアシスタント。推論、文章作成、コーディング、ワークフロー支援などによく利用される。
• Claude API Documentation: AnthropicのClaudeモデルを用いたアプリケーション構築のための公式ドキュメント。
• World of Bits: キーボードやマウス操作を行うウェブベースのエージェントを研究するための研究プラットフォーム。
• MineDojo: オープンエンドな身体性エージェント研究のためのMinecraftベースのフレームワーク。
• Voyager: Minecraftにおける生涯学習のための、LLM駆動の身体性エージェントプロジェクト。

関連リンク

• Original BAAI Hub Source: この英語版記事の事実的な基盤として用いられた元記事。
• World of Bits Paper: ICML 2017論文の公式PMLRページ。
• World of Bits PDF: 研究論文のPDF直リンク版。
• Karpathy’s Anthropic Update: Anthropicへの参加についてのKarpathyの公開投稿。
• Anthropic Official Site: AnthropicおよびClaude関連の発表に関する公式ウェブサイト。
• Voyager Paper: 大規模言語モデルを用いたオープンエンドな身体性エージェントであるVoyagerのarXiv論文。
• MineDojo Paper: MineDojoのオープンエンドな身体性エージェントフレームワークに関するarXiv論文。
• Brain and Behavior: 議論の中で参照された神経科学書籍のOxford University Pressページ。

要約

この記事は、現在のAIエージェント熱に対するKarpathyの警鐘を説明している。エージェントは魅力的だが、土台が弱ければ脆いものになる。World of Bitsから得られる教訓は、優れたアイデアであっても、その分野に適切なツールがまだ整っていない段階で登場してしまうことがあるということだ。

今日の開発者にとって実践的な道は、エージェントを見限ることではない。モデルを理解し、より強力な評価システムを構築し、より安全なアクションループを設計し、デモを製品づくりの終着点ではなく出発点として扱うことだ。

ゴールラインそのものよりも。

役に立つ教訓はシンプルです。まず土台を築き、その上からより優れたエージェントが自然に生まれてくるようにすることです。