Karpathy 对智能体的警示：先打好模型基础，而不只是做演示

引言如今，AI 智能体无处不在。每周都会有新工具承诺：只需用户给出一段简短指令，它就能浏览网页、操作电脑、预订服务、编写代码，或完成一整套工作流程。这种兴奋是真实存在的。但 Andrej Karpathy 最近对智能体开发者发出的一则提醒之所以引发广泛关注，正是因为它逆着当下的风向而来：在推动智能体无所不能之前，开发者应该先理解并改进底层模型本身。重点并不是 AI 智能体毫无用处。真正的意思比这更尖锐。一个炫目的演示，可能掩盖了薄弱的基础。而一个真正的产品，必须经得住混乱输入、长任务、边缘情况、记忆问题、界面变化以及用户信任等考验。许多智能体项目，正是倒在了这种差异上。## 让智能体开发者停下来思考的信息这场讨论起于一段短视频，以及一篇被广泛传播、概括 Karpathy 观点的帖子。核心意思很简单：AI 领域可能正在犯一个错误——在还没有真正掌握底层模型之前，就强行让智能体投入工作。这句话之所以让人不舒服，是因为它挑战了当前这场智能体竞赛。许多团队都在尽可能快地把今天的大语言模型变成自主工作的执行者。他们给模型包上工具、记忆、浏览器控制、文件访问、定时任务以及多步骤工作流。这些层当然可能有帮助。但它们并没有消除那个最根本的问题：模型本身是否足够可靠地进行推理？是否能够足够清晰地制定计划？是否能从错误中恢复？是否对任务有足够深入的理解？如果答案是否定的，那么加上更多智能体脚手架，只会让系统在演示中看起来更强大，却在真正上线时变得更难调试。## 2016 年的教训：World of BitsKarpathy 的警告并不只是理论上的。原文追溯到了一个 2016 年的项目：World of Bits。这是一个基于网页的智能体平台，其核心设想是让智能体通过键盘和鼠标操作与互联网交互。在当时，这个目标显得非常超前。一个智能体会像人一样使用网页：点击按钮、填写表单、在页面间导航，并完成诸如预订航班或点餐之类的任务。这听起来与人们今天听到的智能体产品宣传非常相似。这个项目后来发展成了一项严肃的研究工作，并且曾一度发表于 ICML 2017，题为《World of Bits：面向 Web 智能体的开放领域平台》。但更宏大的产品愿景在当时并未真正实现。重要的教训并不是这个想法错了，而是当时可用的工具还没有准备好。那时的智能体领域还没有今天这样的基础模型、多模态系统、工具使用模式，或者具备编程能力的大语言模型。强化学习是主要手段之一，但它不足以把这个想法变成一个稳健的通用产品。这就是为什么 Karpathy 的信息现在如此重要。一个在技术上很有吸引力的方向，如果底层能力还不够强，也依然可能来得太早。## 从失败的智能体演示到更强的基础理解 World of Bits 这个故事的一个有用方式，是把它看作一次关于时机的教训。团队当时做的事情看起来像是未来，但这个领域尚未建立起支撑它所需的基础。回过头看，Karpathy 的观点是，更好的做法应该是少把精力放在强行让智能体完成任务上，而把更多精力放在改进底层的语言模型和表征学习上。这也是为什么当下这个时刻如此有意思。工具已经变了。大语言模型如今可以用自然语言进行推理、调用工具、编写代码、理解截图，并且能保持比早期系统更长的上下文。智能体技术栈比 2016 年时可信得多。不过，更强的工具并不会消除产品化的困难。它们只是把边界向前推进了一些。## Jim Fan 与智能体研究的延续性原文还通过 Jim Fan 等研究者，把 World of Bits 与后来的具身智能体研究联系了起来。这一点很重要，因为在早期 Web 智能体项目受阻之后，智能体这条路线并没有消失。它演化成了更丰富的研究方向：仿真环境、Minecraft 智能体、开放式学习，以及具身智能。像 MineDojo 和 Voyager 这样的项目，展示了一条不同于“在几个网页之间点来点去，然后希望智能体能起作用”的路径。它们探索的是在目标、记忆、动作、技能和反馈都能被更系统地研究的环境中的智能体。这并不意味着 Minecraft 智能体可以直接解决商业自动化问题。它的意思是，严肃的智能体进展通常来自更好的环境、更好的评估、更好的模型行为，以及更清晰的反馈闭环。## 演示很容易；产品需要数年打磨文章中一个最实际的观点，就是演示和产品之间的差距。演示只需要成功一次，而且往往是在预先准备好的条件下。产品则必须反复可用，面向不同用户，在不同情境下运行，同时还要让失败可理解、可恢复。自动驾驶是一个很有用的类比。一辆车绕着街区开一圈，看起来会很惊艳。一个可投入生产的自动驾驶系统则必须处理罕见事件、恶劣条件、糟糕的可见性、异常道路行为、监管约束、安全预期，以及多年的迭代。VR 也遵循了类似的模式。头显演示在五分钟内就能让人惊艳。但一个可持续的产品需要硬件、软件、内容、人体工学、定价、分发渠道，以及能反复为用户创造价值的能力。智能体也属于这一类。它们很容易被想象，也很容易做出演示，但很难作为耐用的产品真正落地。## 给智能体构建者的三个实用教训###

1. 在扩展智能体封装层之前，先理解模型在添加更多工具之前，先问问模型在哪些方面可靠，哪些方面不可靠。它能遵循长指令吗？它能判断自己何时不确定吗？它能在 API 调用失败后恢复吗？它能验证自己的工作吗？如果模型这个核心本身较弱，那么更多的编排只会让系统变得更脆弱，而不是更有用。###
2. 把演示当作起点，而不是终点一个好的演示很有价值，因为它证明了一个方向可行。但它并不等于产品与市场匹配、可靠性或信任。对于智能体产品来说，真正的工作是在演示之后才开始：日志记录、评估、回滚、人工审核、权限设计、记忆边界，以及故障处理。###
3. 构建能让智能体涌现的基础设施Karpathy 最重要的产品经验是，智能体本身未必是产品。更深层的产品可能是模型能力、环境设计、数据管道、评估系统，以及让智能体行为可靠的工具接口。更强的基础可以让许多智能体行为成为可能。薄弱的基础则会让每个工作流都沦为由各种特殊情况拼凑起来的补丁。## Karpathy 回归预训练文章还提到 Karpathy 转向了 Anthropic 的预训练团队。这一点很重要，因为它再次强化了同一个信息：前沿仍然与基础模型工作紧密相连。预训练听起来或许没有智能体那么炫目，但它塑造了其他一切所依赖的原始能力。更好的模型可以提升推理、语言理解、工具使用、编程、规划以及多模态感知能力。

对于智能体构建者来说，这并不意味着每个人都必须训练前沿模型。大多数团队都做不到。但他们确实需要足够了解模型行为，才能围绕它进行设计。一个构建智能体的团队应该知道，哪些失败来自提示词，哪些来自工具设计，哪些来自上下文缺失，哪些来自模型本身的底层局限。## 向大脑学习在产品层面的经验之后，原文转向了神经科学。据报道，Karpathy 鼓励构建者思考，智能体系统能够从大脑中学到什么。这种比较并不是要照字面复制生物学，而是为了提出更好的结构性问题。什么在扮演记忆的角色？什么在选择动作？什么存储技能？什么决定哪个想法或计划会获得注意力？什么防止长期目标被短期噪声覆盖？这些问题之所以有用，是因为智能体产品往往恰恰会在这些方面失败。它们会遗忘上下文。它们会选择错误的下一步行动。它们会对无关信息反应过度。它们无法维持稳定的计划。它们会悄无声息地失败。一种更成熟的智能体架构，可能需要在记忆、规划、行动、反思、检索和验证之间做出更清晰的分离。## 为什么独立构建者仍然重要Karpathy 这番话中最令人鼓舞的部分，不是批评，而是提醒我们：智能体的前沿仍然是开放的。大型实验室在训练前沿语言模型方面拥有深厚经验。许多模型训练思路，早在公众看到之前，他们就已经研究了多年。在这个领域，经验差距极其巨大。智能体产品则不同。这个领域仍然很年轻。最佳的工作流、界面、记忆模式、权限系统、审查循环以及产品类别，都还没有完全定型。这给了独立开发者、初创公司和小型研究团队真正的机会。他们可以尝试更犀利的想法，更快地与用户交流，迅速调整方向，并探索大型实验室可能不会优先考虑的产品工作流。因此，这个警告并不是“不要构建智能体”，而是“不要跳过基础”。## 来源与图片说明本文是基于 BAAI Hub 公开来源页面改写而成的原创英文版本：https://hub.baai.ac.cn/view/56135。来源页面包含多张图片。这个 Markdown 版本仅保留了支持文章含义的图片，例如 X 截图、论文截图、研究进展以及文中提到的书籍封面。仅含 Logo 的图片、二维码图片、宣传横幅以及无关的装饰性图片均未收录。## 常见问题### Karpathy 对 AI 智能体的主要警告是什么？主要警告是，构建者可能正在急于让智能体执行复杂任务，而底层模型本身还不够可靠。智能体外层封装可以提供帮助，但无法完全弥补薄弱的推理能力、糟糕的恢复能力或浅层的任务理解。### 什么是 World of Bits？World of Bits 是一个面向 Web 智能体的研究平台，发表于 ICML 2017。它探索了通过键盘和鼠标输入等低层操作与网站交互的智能体。### 为什么“演示”和“产品”之间的区别对智能体如此重要？演示可以在狭窄场景中进行准备和测试。产品则必须在大量用户、任务、错误、权限和边缘案例下都能正常工作。这就是为什么智能体产品通常需要长期投入到可靠性和评估上的原因。### 这是否意味着 AI 智能体不值得构建？不。这种论点并不是反对智能体，而是反对在不了解其底层模型、环境、评估过程和产品约束的情况下去构建智能体。### 为什么预训练对智能体产品很重要？预训练会影响基础模型的推理能力、语言理解、工具使用能力和泛化能力。更强的基础模型会让智能体行为更容易设计、评估和信任。### 智能体构建者可以从神经科学中学到什么？神经科学可以启发人们思考有关记忆、动作选择、注意力、规划和自我监控的问题。智能体系统可能需要围绕这些功能建立更清晰的架构，而不是依赖一个冗长的提示词或一个通用循环。### 小团队在智能体开发方面是否落后于大型 AI 实验室？不一定。大型实验室在训练前沿模型方面确实具有巨大优势，但智能体产品的模式仍未定型。小团队可以快速行动，并在这些模式变得显而易见之前发现有用的工作流。## 相关工具- Claude：Anthropic 的 AI 助手，常用于推理、写作、编程和工作流支持。

• Claude API Documentation：使用 Anthropic 的 Claude 模型构建应用程序的官方文档。
• World of Bits：一个用于研究基于网页、可执行键盘和鼠标操作的智能体的研究平台。
• MineDojo：一个基于《我的世界》的开放式具身智能体研究框架。
• Voyager：一个由大语言模型驱动、用于《我的世界》终身学习的具身智能体项目。## 相关链接- Original BAAI Hub Source：这篇英文改写所依据事实内容的原始文章来源。
• World of Bits Paper：ICML 2017 论文在 PMLR 上的官方页面。
• World of Bits PDF：该研究论文的 PDF 直链版本。
• Karpathy’s Anthropic Update：Karpathy 关于加入 Anthropic 的公开帖子。
• Anthropic Official Site：Anthropic 及 Claude 相关公告的官方网站。
• Voyager Paper：关于 Voyager 的 arXiv 论文，它是一个由大语言模型驱动的开放式具身智能体。
• MineDojo Paper：关于 MineDojo 开放式具身智能体框架的 arXiv 论文。
• Brain and Behavior：讨论中提到的神经科学书籍在牛津大学出版社的页面。## 总结这篇文章解释了 Karpathy 对当前 AI 智能体热潮的警示：智能体令人兴奋，但薄弱的基础会让它们变得脆弱。World of Bits 带来的启示是，一个强有力的想法也可能在该领域尚未具备合适工具之前就出现。对于今天的构建者来说，务实的路径并不是放弃智能体，而是去理解模型，建立更强的评估系统，设计更安全的行动循环，并将演示视为产品工作的起点，而不是终点。而不是终点线。一个有用的启示很简单：先打好基础，然后让更好的智能体在此基础上涌现。