115. 对OpenAI姚顺雨3小时访谈：6年Agent研究、人与系统、吞噬的边界、既单极又多元的世界

为什么你做这件事情比大部分人都早？你觉得是为什么？

我觉得有幸运的部分。就是说，我 PhD 做的第一个事情其实就是基于语言模型去做 Agent。你只有有一个 different bet，才能够超越之前的霸主，对吧？我觉得如果 OpenAI 一直做强化学习，那可能也很难超过 DeepMind。

我导师是 GPT-1 的第二作者，他当时对这个事情就有点怀疑。

传统上大家认为发生的事情是，比如大厂先做出来一个东西，然后创业公司就可以开始抄。比如说我做出来 ChatGPT，那我可以去抄 ChatGPT，或者去做一个类似的事情。但现在来看，似乎反过来也是可以成立的。

如果你成为伯克希尔·哈撒韦的 CEO，未来要拿出 500 亿美元投到 AGI 这个行业，你会怎么分配这笔钱？既能体现回报，也能体现对人类的贡献。

我觉得这个世界会有不同的 Super App，有不同的产品形态，也有不同的交互方式。如果你不相信这一点的话，这个世界就会变得很灰暗，只有 OpenAI 或者像 OpenAI 这样的公司有机会。但如果你相信这一点，就会有很多新的机会。

顺雨，先给听众朋友们打个招呼。

大家好，我叫姚顺雨，现在在 OpenAI 做 research。

广密，你也来给大家打个招呼吧。

广密

大家好，我是广密。

顺雨，我看了你的很多资料和你自己写的文字。从你的文章语言里，我整体能读到一种反叛精神，所以我对你这个人很感兴趣。你能不能先给大家做一个自我介绍，聊聊你过往的经历？

你说反叛精神？这很有意思，因为我感觉我是个非常乖的学生。我从小到大就是按部就班地学习。本科我从合肥考到清华，读姚班，然后在姚班，大家都会告诉你去美国读 PhD。于是我就去美国读 PhD，在普林斯顿读 PhD。读完 PhD 之后，感觉很自然地认为 OpenAI 是做 research 最好的地方，然后就加入了 OpenAI。

感觉我前 28 年的人生非常乖。

你是 2015 到 2019 年在清华姚班，2019 到 2024 年在普林斯顿，2024 年毕业后进的 OpenAI，对吧？你之前学的应该不是 AI。你本科的时候是怎么进入 AI 领域，继而又进入 Agent 这个领域的？

1. Theory Leads To Agents

姚班的传统是偏理论计算机科学。但是我当时觉得，重要的问题可能已经被解决了。比如把一个图算法的复杂度从 n 的 2.83 次方降到 n 的 2.82 次方，这件事情对实际已经没有什么意义了。

2016 年的时候，我在李建老师的一门课上看到了一个 multimodal Word2Vec 的 demo。当时有一个非常惊艳的例子：一个国王的 embedding 减去一个男人的 embedding，再加上一个女人的 embedding，可以得到一个王后的 embedding。

这个事情我当时觉得非常神奇。它还可以做成图片，比如一个国王图片的 embedding 减去男人的 embedding，再加上女人图片的 embedding。我当时觉得非常惊艳。

但是当时清华，至少姚班，没有什么做 deep learning 的老师或者资源。2018 年的时候，姚班有一个传统，就是每个人都要去海外做一学期 research。我去了 MIT，跟的是吴佳俊学长，从那里才真正开始系统性地做 deep learning。

当时我做得更多的是 computer vision，但是我觉得 vision 很难实现一个 general AI。我的直觉是，language 更重要，或者说更 central。后来进了 PhD 之后，就开始做 language。

那你是怎么进入 Agent 的？

这个事情也是有些机缘巧合。我的导师之前有一些 research，是在一个简单的语言游戏里面去做 Agent。大概是 2016、2017 年的工作：用一个非常简陋的 RNN，在一个非常小的文字游戏里面做动态交互。

比如你学着学着就知道，过桥之后可以去河的对岸，类似于这样非常简单的事情。

我进入 graduate school 之后，其实是被 computer vision 录取的，但当时已经不想做 computer vision 了，于是去找做 language 的人聊天，然后遇到了我现在的导师 Karthik。我们一起 brainstorm 有什么 idea。我说，现在的语言模型对吧？GPT-2 已经变得比你们当时要强很多了，那它现在玩游戏是不是也会变得更强？

他说，maybe that's a good idea。然后我们就开始做这个事情了。从那开始，我就一直在做 Agent，已经做了 6 年。

你觉得 Agent，或者说 language，最吸引你的是什么？

我觉得是它的 generality。任何事情都可以用语言表示，或者说绝大多数事情都可以用语言表示。

我当时隐隐约约有一个 intuition：如果你最终要实现 AGI，当然当时大家还没有人提 AGI，但如果你要实现一个非常 general 的 system，那你需要 build 一个 Agent。

如果回看 AI 的历史，从很久以前、从 1960 年代开始，大家一开始的想法就是想做一个 Agent。当时大家的野心非常 ambitious：我们想用一个 system 去解决 vision，用另一个 system 去解决 language，然后把这些东西拼在一起，做一个 Agent，它就比人聪明了。

包括图灵一开始的想法，大家都会很自然地想去 build 一个人，或者 build 一个 Agent。但是这个事情太难了，所以 AI 逐渐变得非常碎片化，研究的问题也越来越小。

有些人研究怎么解决 vision 的一小部分问题，有些人解决 language 的一小部分问题，或者更细一步，研究 translation 的一小部分问题。最后就变得越来越细分，越来越 vertical。

但是我觉得 2015 年以后，scaling law 的诞生，包括很多 research breakthrough 的出现，意味着我们应该从这种 vertical thinking，重新回到一种更 general 的 thinking，去试图构建一个更通用的系统。

当你进入 Agent 系统做研究的时候，意识到的最重要的几件事情是什么？当你要把语言模型让它行动起来，有什么收获？

2. GPT Beats BERT

我觉得第一年最大的收获，就是要用 GPT，不要用 BERT。

现在可能已经有很多人不知道 BERT 是什么了。当时最火的语言模型叫 BERT，它的想法是，我去学一个表示：我有一句话，然后通过某种方式学到这句话的一个表示，再通过这个表示做很多下游任务，比如做单选题，或者做一些基于选择的任务。

当时可能 95% 的人在做 BERT，只有 5% 的人在做 GPT。因为当时自然语言处理的主要任务都是这样的：我有一句话，然后判断这句话是积极的还是消极的。比如“我很讨厌这部电影”，这是一个负面的句子。

在这些事情上，BERT 确实效果更好。但是如果你要做一个 Agent，需要的不只是选择能力，而是自由地产生新的动作的能力。

当然，如果你在玩围棋或者视频游戏，选择是很有限的。比如玩《超级马里奥》，可能就是上下左右。但是如果你玩一个基于语言的游戏，动作是自由的。比如我可以用剑杀怪兽，也可以去第三个房间，或者用金色的钥匙打开第一个房间的门。

这个事情是 BERT 永远做不到的。所以我发现这个事情之后，就再也没有用过 BERT。

我觉得第二个能力是，任务或者环境非常重要。当你有一个非常差的任务时，永远不可能学到非常好的东西。

当时有很多人做现在来看很简单的任务，比如判断一个句子是正面的还是负面的，或者判断 A 这句话能不能导致 B 这句话成立。当时这些任务看上去很难，但现在看上去已经非常简单了。

首先要找一个足够有挑战的任务，这个任务还能够产生本质性的新方法。

当时如果想做 Agent 或者 language Agent，没有太多选择，可能只能做文字游戏。比如 Zork 是一个非常经典的文字游戏：你在一个基于文字的世界里，有点像互动脚本，可以往下走、往上走，可以去各个房间，也可以做各种各样的事情。

但是你会发现，这个环境还是有很多缺陷。你能学到的东西局限在这个环境里，环境还是不够大。而且如果用 RL 去学这个环境，就会像用 RL 学传统的视频游戏一样：你可以把这个游戏打通关，但对其他任何任务都没有迁移作用。

你可以把围棋下得特别好，但它对世界上其他事情没有任何价值。所以我觉得我们需要一个更好的环境。

你博士期间做了很多工作，而且知名度也很高，包括 language Agent、ReAct、Reflexion、Tree of Thoughts，还有 digital automation。这些研究的跨度大吗？它们之间的共性问题是什么？你是怎么按照自己的兴趣点，一步一步延伸的？

从我的角度看，这是一个非常自然的过程。

当我意识到环境有问题的时候，我觉得第一个比较重要的工作是 WebShop。首先要解决环境问题，因为如果没有一个好的任务或者环境，把游戏刷得再高也没有意义。

2015 年的时候，其实已经有一个很好的工作叫 World of Bits。当时的 idea 是，我们应该把电脑或者互联网作为一个环境。这个环境比游戏更 exciting。但是由于各种技术局限，这个东西当时没有做得特别好。

2021 年的时候，我和导师讨论，现在可能是一个很自然的时机重新做这件事情。当然，当时技术还没有完全成熟，大多数人还在研究 A 能不能导致 B、翻译，或者能不能从文章中回答问题。

当时想做互联网 Agent，我也觉得技术还没有完全成熟。但可能正因为技术没有成熟，所以才是一个好的时候开始做。到了 2022 年，我们做了 WebShop 这个 environment。

2022 年，GPT-3，包括后来 Chain of Thought 的出现，带来了新的方法上的机会，于是我们做了 ReAct。我现在还是觉得，我自己最喜欢的工作可能是 ReAct。

之后就是基于这两条线，很自然地去做了更多的方法和 task。我的研究一方面是怎么去做一些有价值的、更基于现实世界的任务和环境，另一方面是怎么去做一些简单并且通用的方法。

ReAct 的提出，标志着一个范式的变化吗？

这个事情可能要过 5 年或者 10 年再去看。很多时候一个东西刚提出的时候，很难看出来它的意义。

当时学术圈还不太能接受 prompting，也不太能把 prompting 作为 research。传统意义上，你需要提出一些 fancy 的东西，提出数学公式，训练一个模型，证明你做了很多理论，或者做了很多工程上的事情。

但如果你只是使用一个模型，大家会感觉这太软了。

不过从某种程度上来说，当时最有价值的事情就是研究怎么使用模型。因为如果你想训练模型，实际上已经落后 OpenAI 或者这些公司好几年了。你做的事情，很有可能几年前别人已经发现了。

如果想做一些不一样的事情，怎么使用模型可能更有价值。

为什么你做这件事情比大部分人都早？你觉得是为什么？

我觉得有幸运的部分。我的 PhD 做的第一个事情其实就是基于语言模型去做 Agent。这个事情当时做的人很少，因为它可能太难了，或者说不是一个共识性的事情。

当时共识性的事情是做问答、翻译，或者做一些已经被社区接受的任务。我一直有一个非共识的想法，就是想做 Agent。

另一个点是，我一直想做简单并且通用的东西。我不想做一个很复杂、但是只能在一个领域奏效的东西。

比如当时有很多人做问答，会设计很复杂的架构，把 retrieval，也就是怎么把上下文放到模型里面，设计成很多东西。但最后你会发现，这件事可能只能做一个任务。

我一直还是想做简单又通用的东西。

传统意义上，这很难被接受。大家已经习惯了把 AI 的问题不停细分，然后去做很多细分的方法。大家可能并没有想过要做一个简单又通用的东西，或者认为这在 2020 年之前是不可能的。

广密

今天我们的话题是 Agent 和强化学习，这也是你现在的研究方向。我们很好奇，你会怎么定义 Agent？

3. Language Agents Generalize

这是一个很好的问题。这个事情要基于你的 context，也就是基于讨论的背景。

从历史角度来说，从自然语言处理的角度看，Agent 是相对于产生文章或者产生对话的系统而言的：我能够和外界进行交互，比如使用计算器、互联网或者工具。

从自然语言处理的角度来说，Agent 不仅能够产生新的文章或者新的思考，还能够和外界交互。

但从 AI 更大的背景来说，Agent 是一个非常古老的概念。任何能够自我决策、和环境交互，并且优化 reward、让奖励变大的系统，都可以叫 Agent。

从这个角度来说，今天 Agent 这个词更多指的是，基于语言模型这样的大模型，去做能够自我决策的 Agent 系统，而不是传统的、单纯基于规则，或者在一个领域通过强化学习获得的 Agent。

Agent 这个词在不同年代有很多不同的形式。你可以说 AlphaGo 是一个 Agent，也可以说 Waymo 是一个 Agent，可以说机器人是一个 Agent。这个词很基于你的情境。

你提出的语言 Agent，和之前传统的 Agent，本质区别是什么？为什么语言 Agent 更本质？

我觉得本质区别是可以推理，因为推理才可以泛化。

我做 ReAct 的一个很强的 motivation，是在做完 WebShop，也就是我的第一个工作之后，我一直在思考：为什么我可以一下子去玩一个新的游戏，但现在这些系统或者 AI 需要几十万步、几万步，甚至几百万步的训练，才能做同样的事情？

后来我发现，好像是因为我可以思考。

我看到一个全新的环境，会思考：这个灯是黑的，那可能有危险；基于这个常识，可能会有怪兽；那我现在最重要的事情可能是点亮灯。基于之前的上下文，灯在我后面，那我应该先向后走。

如果没有这样的思考能力，直接从这样一个复杂的语言中预测“我要向后走”，这件事情很难。没有推理是做不到的。

所以我觉得最大的区别是，语言模型提供了一个足够强的先验，这个先验使得你可以推理，而推理又可以在不同环境之间泛化。核心就是推理能力，进而产生泛化。

你研究 Agent 和智能体非常早。从你的视角看，Agent 到底经历了什么样的演变历史？它是怎么一步步发展到今天的？

我可以说一下自己的理解，但可能并不完整，也可能有一些错误。

最早的 AI 被称为 Good Old-Fashioned AI，也就是符号主义。它的想法很简单：我注重推理，而推理的方式是，我怎么想，就把这些规则设计出来，让 AI 也这么做。

比如，如果温度高于 30 度，空调就应该降温。最早的很多智能体都是这样造出来的，包括最早的机器人、证明数学定理的系统，以及很多其他系统。

但很快，比如到了 1980 年代，大家发现这个东西有瓶颈。不管写多少规则，都很难概括、涵盖这个世界上所有可能发生的情况。

符号主义演变到极致，就是去做专家系统，找很多专家，把世界上所有可能的规则都写下来，然后认为这样是不是就有 AGI，或者有一个非常通用、非常有用的系统。

但最后发现，不管写多少规则，还是有很多特殊情况处理不了。而且写下来的规则只能在一个任务上管用。

比如你写了一个诊断心脏病的系统，写了很多规则，但还是无法涵盖所有可能出现的情况。人是一个会说任何事情的系统，你没有办法把所有情况都处理好。写了一个心脏病系统，也无法处理肺病。

这导致了第一次 AI 寒冬。

后来有了 neural network，也就是神经网络。我觉得第二波 AI 的兴起，是由 Deep Reinforcement Learning，也就是深度强化学习标志的。标志性事件包括 DeepMind 做视频游戏、AlphaGo，以及 OpenAI 玩机器手、Dota 等游戏。

它的核心是：我有一个可以无限次玩的虚拟环境，有一个奖励，还有一个非常通用的网络架构，然后像黑盒一样去学习如何提升 reward，让它变强。

这个事情取得了很多成功，最有名的可能是 AlphaGo。但我觉得它还是有同样的问题：做任何一个环境，都需要很多 environment-specific 的工程。

比如做 Dota，需要很多基于环境的超参数调试、工程和其他工作。但最大的问题还是无法泛化。学会下围棋的 Agent，无法去玩其他游戏；学会任何一个环境，也无法泛化到另一个环境。

而且如果所有解决的环境都是虚拟环境，或者是可以无限次玩的游戏一样的环境，就很难找到真实世界的应用。

我觉得第三波 Agent 是从大语言模型开始的。我们发现它可以推理，然后基于推理，可以去做新的环境，比如 coding、互联网以及各种数字环境。

这些数字环境的特点是，大多数情况下基于语言，而且需要推理。

所以这一次 Agent 的主要区别有两方面。一方面，在方法上，我们使用语言模型和推理去构建处理各种问题的 Agent；另一方面，Agent 的环境也发生了进化：从最早符号主义时代的数学定理证明，到下围棋、玩游戏，再到今天的互联网、coding、computer，以及这些真实世界的数字环境。

大家往往只看到方法的这条线，但会忽视任务的这条线。我觉得这两条线其实是相辅相成的。

我一直有一个很基础的疑问。OpenAI 有一个五级分级，我们都很熟悉：从聊天机器人 Level 1，到推理者 Level 2，再到代理者，也就是 Agent，Level 3，然后是创新者和组织者，Level 4 和 Level 5。

这五个分级的内在逻辑是什么？为什么是先有聊天机器人、推理者，然后再有 Agent？

逻辑是，首先要有一个语言的先验知识。基于语言先验知识，最早能做出来的应用可能是对话机器人。接下来需要能够推理，也就是 Level 2 的 reasoner。

当有了很好的语言先验知识和推理能力之后，才能去做各种各样的 Agent，或者说能泛化的 Agent。

今天 Agent 最重要的几个进步方向，一个是让它有自己的 reward，能够自己探索；另一个是 multi-agent，能够让它形成组织。

我觉得这两个事情可能是正交的，或者说可以平行发展。谁是 Level 4、谁是 Level 5，我不确定，但这两个事情显然是下一步需要做的。

所以从 Level 2 到 Level 3，就是你做的这一步：从训练模型到使用模型，这是一个很重要的跨越。也就是从单纯做推理，到把推理应用到 Agent 上，和环境交互。

目前有哪些主流架构？这件事情形成共识了吗？

我的感觉是，大多数时候大家都在用类似 ReAct 的架构：能够推理，然后产生一个 action。这是最简单的事情。

但我觉得，最简单的事情可能还是 work 得最好。基于特定任务，可能会有很多 workflow 或者更 specific 的方法，但最通用的方法还是类似 ReAct。

广密，你自己最看重提升 Agent 能力的哪些关键能力？之前有人提到 context，甚至是 long context reasoning；也有人提工具调用、指令遵循。顺雨刚才一直在提 reasoning。如果提升 Agent 能力，你最看重哪几个能力？

这是一个很好的问题。现在没有一个特别好的能力 taxonomy，或者说能力划分系统。每个人都有自己的划分方式。

比如一种划分方法，是基于工具的能力：我的 coding 能力、上网能力、使用计算机的能力。

另一种划分方法，是处理多模态的能力、处理长 context 的能力，以及 reasoning 能力。这两种划分都有道理。

对于现在来说，我最看重的可能是处理 context 的能力，或者说 memory 的能力，以及基于它去做 lifelong learning 或者 online learning 的能力。

你刚才一直在提环境。你觉得 code 是实现 AGI 最重要的环境吗？它可以做多轮 RL，反馈是闭环的，也可以验证。你感觉如果在这个环境里发展 AGI，会不会更快？

毫无疑问，这是最重要的环境之一。

4. Code Is AI's Hands

Coding 有点像人的手。它在某种程度上是 AI 最重要的 affordance。对于物理世界来说，人的 affordance 是什么？就是制造出手能够使用的工具，比如锤子、笔、筷子。

对于 AI 或者 digital Agent 来说，最重要的 affordance 可能就是 code。

其他 affordance，其实都是给人定义的。网页、小说或者其他东西，本质上都是给人定义的；只有 code，是一个很自然的、给机器定义的东西。

我在 2022 年的时候就很纳闷：很显然，做 coding Agent 是最重要的事情，为什么没有人做？

当时大家都在做这样的任务：我有一个 coding task，产生一段 code，然后去 evaluate。但我们想，为什么不把执行结果返回给模型，让它做多轮 Agent task，把它变成一个环境，而不是一个单纯的任务？

基于这个想法，后来我们又做了 InterCode、SWE-bench 和 SWE-agent。

有时候我觉得很有意思：一个东西显然非常重要，但就是没有人做。所以，如果你是一个研究员，觉得自己做的事情很重要，但没有任何人觉得重要，也没有任何人在做，那可能并不是一件坏事。它可能就是很重要，只是没有人做。

这里有一个很强的非共识。有人觉得 code 可能是这一轮技术革命最大的价值体现；但也有人觉得 Agent 可以泛化到更多任务，在整个电脑、手机和数字世界里操作，人能做到 95% 甚至 99% 的任务。

你觉得从 code 到整个数字世界，这一步跨越或者泛化，你有信心吗？

从更广义的角度来说，可以认为 API 也是 code 的一部分。任何基于 code 的接口，都是 code 环境的一部分。

这里有一个非常经典的 debate：最终的 AGI，是一个基于 API、基于 code 的系统，还是基于 GUI、基于给人定义的环境的系统，还是一个 mix？

首先，很多事情可能并没有 API，只有一个 front end，只有一个前端。你可以去为它造 API。这有点像是：你想改造你的车，让它适应所有的路，还是想改造你的路，让它适应现在这些车？

最终的结果可能是 meet in the middle，两边都会做。而且这件事情可能没有那么难。现在来看，让一个 Agent 既能使用 code，也能使用人的 screenshot 或者 front end，两者都做，可能没有那么难。

从这个角度来说，让 Agent 能够开在所有的路上的难度，低于人力去改造所有的路、让它们都变成 API 接口的难度。

所以我觉得 coding 肯定很重要，但如果去做 GUI 或者其他东西，也没有那么难。最终的 Agent 可能什么都做。

我还想问一个泛化的问题。我读你最新的文章，印象最深的是你提到“终于泛化了”。这是真的吗？你刚才也提到，很多知识已经 train 到 model 里了。有什么迹象能让你感觉到这是真的泛化，而不是 training data 里本来就包含了这些数据？

有可能，如果 pre-training 已经包含了所有事情，那 RL 只是把这些 skill 激发出来。

这让我想起可能是 Ilya 说过的一句话：maybe the ultimate generalization，就是你去 overfit the reality。如果你把世界上所有事情都做了，那再讨论它是 overfit 还是 generalize，就不重要了。

但我觉得，它还是 generalized。原因是它能够 reason。当你可以在一个环境里学到如何思考的技能，并且这个思考技能能够迁移到新的环境，我觉得这就是泛化的本质原因。

之前你可能学会的是下围棋，对这个环境或者游戏有很强的理解，但没有用一种像语言一样通用的方式去思考。现在的区别就在这里。

当然，不是说我学会了上网、学会了写代码，就真的能做世界上的所有事情了。

有可能我们很快就会看到最强的软件工程师，甚至到 2027 年，看到了能操作人类电脑、手机上几乎所有任务和指令的通用 Agent。你对这一天的幻想是什么样的？过于乐观，还是比较合理？

我觉得这件事情现在还没有 well-defined，还没有被很好地定义。

从某种程度来说，现在的模型写代码的能力已经比世界上几乎所有人都强；数学推理或者逻辑推理能力，也已经比世界上大多数人强。

但当你要说它能不能很好地使用这些环境，还是要基于一个问题：你要让它做什么任务？这个任务是不是能够被合理定义？

很多时候，人类最难的问题不是推理，而是获得 context，或者获得背景。现在模型的 bottleneck，可能不是缺少推理能力，也不是缺少写代码或者使用前端的能力，而是缺少一个完整的 context。

这个问题到底是 intelligence 的问题，还是产品问题，或者别的什么问题，我不知道。但如果你要让 AI 实现价值，就需要解决这个问题。

你在 4 月的博文《The Second Half》引起了很大反响。你是怎么想到这个关键 idea 的？当时受到了什么启发？

5. The Second Half Begins

我首先是被邀请去斯坦福的一门课做一个 talk，然后就去思考，我能讲什么？显然不能讲很多技术性的东西，只能讲一些比较哲学的东西。

我觉得这是我在 OpenAI 工作半年，包括之前 research 的一个感悟：大家往往看重训练模型、方法或者别的东西，但现在我觉得，重点已经转移到怎么定义好的任务、怎么定义好的环境。

你觉得现在是从上半场到下半场的转折点吗？

从某种角度来说，我觉得主线正在从上半场变成下半场。这里说的主线，是基于语言的智能体。

当然也可以说 audio、multimodal 或者 robot，还有很多方法问题没有解决。但从语言开始，到推理，再到 Agent 这条线上，我觉得我们终于有了一个很 general 的方法，而且这个方法是可以泛化的。

这带来了一个很本质的区别。之前就像有很多怪兽，我需要为了不同怪兽造各种各样的武器去打它们。现在我有一个通用的武器，有一把机关枪了。接下来我要思考的是，应该朝哪里开枪。

我不用再考虑这么多方法的问题，因为已经有了一个非常通用的方法。现在更需要考虑的是，要用这个方法解决什么问题。

怎么设定任务、定义问题？你在探索过程中有什么思考，可以分享吗？

不同的人有不同的 flavor，也有不同的偏好。我从很早开始就有一个偏好：我想定义一个基于结果而不是过程的 reward，而且它是基于规则、能够很清晰地算出来的，而不是基于人的偏好、模型的偏好，或者一些非常黑盒的东西。

我们做 WebShop 的时候，最困难的一点其实就是怎么定义 reward。我认为，做任何 RL task 最难的部分都是怎么定义 reward。

亚马逊或者 Facebook，工程上当然可以做出各种各样的环境，但这些事情总是可以做的。最难的部分是，怎么设计一个任务，让它既有难度，又有真实价值，还有一个很好的 reward，而且这个 reward 不是 noisy 的，是基于规则或者白盒的，而不是黑盒的。

后来事实证明，这就是现在 RL 成功的关键。

像 math 和 coding 这样的任务，最重要的一点是，首先它基于结果而不是过程；第二，它有一个非常清晰的、基于规则的 reward，而不是基于奇怪的人或者模型偏好的 reward。

答案是 3，它就是 3。只要最终答案是 3，就是对的；不是 3，就是错的。

如果做其他设计，好像都会出现 reward hacking。如果基于过程定义 reward，可能出现 hacking；如果优化人的偏好或者机器的偏好，也会出现 hacking。

你可能产生一段非常优美的代码，但它并没有解决问题。

我做的其他 task 也是这种 flavor，比如 SWE-bench，以及其他像 codie 或者其他各种各样的任务。

所以第一点是基于结果而不是过程，第二点是白盒的、基于规则的，而不是基于人或者模型偏好的。

OpenAI 对 AI 有五个分级。如果基于 Agent、基于任务定义来给产品分级，随着模型能力的溢出，Agent 可以怎么分级？你脑海中有这样的框架吗？

我现在倾向于认为，不同类型的应用会有不同的挑战。这些挑战可能是正交的，很难说谁比谁难，谁比谁简单。

人类也有类似的问题。比如洛克菲勒和爱因斯坦谁更厉害？很难定义。成为一个大公司的 CEO 和成为一个数学家，哪件事情更难？可能是不同的难，或者不同的挑战。

对于 Agent 来说，还有一点：对于人类来说很简单或者很难的事情，对 Agent 可能并没有同样的简单和困难的区分。

比如对于人来说，做客服可能比做软件工程师简单很多，工资也低很多，需要的文凭和资历也少很多。但现在反而软件工程可能比客服更简单，因为软件工程有更好的环境、更清晰的 reward，还有更多数据。

如果想做一个非常 robust、reliable 的客服，实际上会面临 reliability 的挑战。

所以我们可以把人类的工作分成很多 category，但人类面对的是很多不同方面的 challenge。对于机器或者 AI 来说，人类这些 challenge 的相对难易，也不一定能完全反映到 AI 上。

什么样的任务整体上更适合 Agent？什么样的任务适合人和 Agent 一起做？什么样的任务适合人做？

从非常 high level 的角度说，有不同的任务划分方式。

一种划分方式是，有些任务更注重 reliability，有些任务更注重 creativity。

做客服时，重要的是 100 次里 99 次甚至更多不要出错。如果 100 次里只有 85 次让用户满意，15 次没有让用户满意，可能就会被炒鱿鱼。

所以一类任务是，做简单的事情，但把它做得非常 reliable。

另一类任务，比如证明黎曼猜想、写一段很难的代码，或者创作文学剧本。我可以试 100 次，只要有 1 次做得特别好，就算成功了。这两类任务需要的挑战不一样。

还有一个划分，是任务的深度和广度。

从深度来说，Cursor 其实是一个非常短的 loop。比如把一个文件改一下，可能 3 秒钟就做好了。有些事情可能需要 30 分钟、3 个小时，甚至 3 天。这个维度需要的是长期记忆，也就是 long-term memory 的能力。

从广度来说，解决一个 bug，和从头搭建 Windows 这样一个 repo，是不同的广度。一个人能做的事情、一个团队能做的事情、一个公司能做的事情，也有区别。

从这个角度来说，我们需要 multi-agent research。

从 reliability 到 creativity，哪一类任务是 Agent 目前更好定义的？顺序和步骤应该是什么样的？

我觉得我们可以平行地做很多事情。

有一个非常简单的设计方法。比如 coding 里有一个传统指标叫 pass@k，意思是同一个代码写 k 次，至少成功一次的概率是多少。可以想象，k 越大，成功概率越大。

很多 coding benchmark 会报告 pass@100，也就是同一个任务跑 100 次，至少成功一次的概率是多少。

但我们去年做的研究 τ-bench，想法是：对于另一类任务，比如客服，需要一个正好相反的 metric。我们把它定义为 pass^k，也就是做 k 次都成功的概率，或者说一次都不失败的概率。

从某种程度上说，有些任务需要优化 pass@k，有些任务需要优化 pass^k。但现在我们往往更重视 success rate，也就是 pass@1，或者重视 pass@100。

对于 coding，我们并不特别重视简单任务的 robustness。原因是大家做 AI 还是在做 benchmark：我做一些任务，而不是做实际应用。

如果接受这个 mindset 的转变，就会很自然地发现，有些应用需要的就是这种 business metric，需要去优化这个 business。

现在大家还没有完全意识到这件事情，但如果意识到，它会带来很大的进步。

创业公司很担心模型能力的溢出会把自己做的 Agent 吞掉。长期看，像 Cursor 这样的公司，它的壁垒是什么？哪些 Agent 是模型公司必然会做的，哪些事情是创业公司的机会？边界可能在哪里？

6. The Interface Is The Moat

创业公司应该担心的，是模型没有溢出能力。那样的话，你真的什么都做不了。

有溢出能力是一个非常好的事情，意味着你有机会。

创业公司最大的机会，是设计不同的 interface，也就是人与数字世界交互的方式。

ChatGPT 和所有做模型的公司，实际上都在做类似 ChatGPT 的产品。ChatGPT 的本质是，你像和人交互一样，去和数字世界交互。

你的 chatbot 对面有一个像人一样的东西，你和它聊天，给它布置任务，让它帮你做 deep research，或者帮你写代码。它的交互方式是像人一样，或者像助手一样的交互方式。

如果你能够使用模型的通用能力，但创造出不同的交互方式，就能创造巨大的机会。

Cursor 本质上就是创造了一种新的交互方式。它不是像人一样交互，而是像 Copilot，或者说一种新的交互方式。你写代码时，它可以给你提示，或者帮你完成一些 IDE 里的事情。但没有人和人是这样交互的，这也是它的价值所在。

最终，模型的能力可能会超越 ChatGPT 这种交互方式，产生不同形态的 Super App。

创业公司最大的机会，就是探索新的交互方式，同时拥有模型能力溢出的红利，这两者缺一不可。

如果你做的是旧的 interface，只是利用新的模型，很容易被 ChatGPT 取代。如果你的交互方式很像 ChatGPT，那有什么理由不被 ChatGPT 取代？

但如果你做了新的交互方式，而模型没有继续变好，没有新的溢出能力，也很难做起来。

所以最好的机会是，做新的交互方式，同时模型不断产生新的溢出能力，让你能够赋能这些新的交互方式。

ChatGPT 也可以跟进这些新的交互方式。

拥有一个 Super App 对公司来说其实是双刃剑，因为当你已经有一种交互方式，就必然会形成路径依赖。

比如 2020 年，Google 有无限多的资源和钱，有 Transformer，也有最好的 research，但它最自然的想法肯定是，怎么用这些东西提升搜索引擎。

当你有 ChatGPT 这样的 Super App 时，很自然地，research 就会围绕这个 Super App，围绕这个交互方式。你会探索新的产品，但大部分资源还是会围绕 Super App 的交互方式。

我觉得这就是创业公司的机会。

你刚才提到交互方式。今天还是人和 code 交互、人和 text 交互。未来人和 Agent 会怎么交互？你感觉《Her》里超级助理那种形态，是一个正确的交互方式吗？如果这种方式 work，有没有机会 beat 今天 ChatGPT 的形态？

《Her》里的系统其实还是 assistant 的形态，只不过它使用语音而不是文字。

我觉得这是一个非常显然有价值的形态。人和人交互已经有几千年、几万年甚至更久，这是对人来说最自然的形态，所以它肯定是最显然的 Super App。

但这个生态位，我觉得 ChatGPT 已经站住了。很显然，这些模型公司一开始做的就是这件事。

不显然的事情是，能不能基于不像人的交互方式来做 Agent。

Cursor 是一个很好的例子。从某种程度上来说，Google 也是一个很好的例子。它当时是一个很新的方法，没有人见过，甚至很奇怪。

Yahoo 从某种程度上更像黄页，是一个让人熟悉的交互方式；Google 则是一个让人不熟悉的交互方式。

Assistant、Her，或者像人一样交互的方式，肯定是最重要的交互方式之一。但我觉得仍然会有足够多的机会，产生新的交互方式。

你脑海里有没有一些新的交互方式？既不是 ChatGPT 现在探索的形态，也不是传统互联网的交互方式。

我觉得 Canvas 是一个很好的尝试。你可以基于当前任务，在线生成一个最符合情境、个性和任务的前端，让这个东西对不同事情采用非常不同的形态。

这是一个很值得探索的方向，但显然也很难。

你感觉应用公司的数据飞轮对它们重要吗？在什么环境下才能形成？

我感觉 Chatbot 主要是偏好数据，好像没什么数据飞轮。Code 可能有思考过程的数据，那思考过程的数据代表一类能力；Canvas、Artifacts 可能也有思考过程的数据。这类数据有机会形成很强的数据飞轮效应。

大多数公司还没有形成数据飞轮。大多数公司还是依赖模型变好，然后使用模型变好的溢出能力。

如果要有数据飞轮，首先要能够自己训练模型，并且能够通过交互获得一个很好的 reward。你要有一个好的 reward，能够把好的数据和不好的数据区分开。

现在比较成功的案例可能是 Midjourney。

它有一个非常清晰的 reward：人更喜欢哪张图。这个 reward 和应用是对齐的，reward 做得越好，公司就越成功，模型也越好，一切东西都是对齐的。

在这种情况下，如果又能自己训练模型，就可以做数据飞轮。

而且你做的事情不能太主线。如果是很主线的能力，我也可以通过 pre-training、RL 或其他方式把能力提升上去，也可以通过泛化或者其他方式实现。

所以现在大多数公司好像还没有形成数据飞轮。

如果你是 Cursor 的 CEO，你会去做 pre-training 吗？

这是个好问题。我肯定会训练模型，或者尝试训练模型。但做不做 pre-training，要看情况。

Coding 是一个非常主线的任务。现在所有大厂都会把自己的模型 coding 做好，pre-training、post-training、RL 等各种事情，都会考虑这一点。

在这种情况下，要不要做 pre-training，可能取决于几个因素：闭源模型做得有多好，开源模型做得有多好，中间有多大的 gap，以及你能填补多少 gap。

当然，如果你有很多钱和资源，想把这个事情做了，我觉得也是合理的。

围绕 Agent，你脑海里的树状结构是什么样的？如果从 foundation model、reasoning 往上构建 Agent 的整个生态树，你脑海中是怎样的结构？

我觉得有两个方向。

一个方向是 fundamental research 会怎么演变，或者说方法会怎么演变；另一个方向是应用，或者说交互方式会有什么演变。

它们之间肯定有关联，但可能需要不同的人去探索不同的方面。比如 Cursor 并没有在产品或者 fundamental research 上做创新，但它做了交互方式的创新。

在 fundamental research 上，我觉得比较重要的是 memory、intrinsic reward，以及 multi-agent。

怎么让一个 Agent 具备这些能力，和 OpenAI 接下来所说的 innovator 和 organization 很像。

作为一个 innovator，首先需要 long-term memory。比如我研究一个定理研究 20 年，需要长期记忆。但有长期记忆还不够，还需要 intrinsic reward。

因为直到你证明的那一刻，你没有任何外在 reward。你没有获奖，也没有得到任何反馈，需要自己给自己 feedback。

这是所有 innovator 最重要的事情，无论你是艺术家、科学家、文学家，还是任何创作者。

另一方面，作为组织，需要解决 Agent 和 Agent 之间怎么协作，怎么让 multi-agent 形成 skill。

从某种程度上说，现在的 Agent 可能就像一个普通大学生，做一个数字化的实习生。也许这是 Level 3，或者说 AGI 可能就是一个普通大学生能够在电脑上完成的事情。

但人类社会的边界，或者说我们最崇拜什么样的人，一方面是创新的人，比如爱因斯坦、高更、梵高、贝多芬，能够创造新的东西；另一方面，是能够创造新的组织或者伟大组织的人，比如埃隆·马斯克、史蒂夫·乔布斯。

所以这两件事都很重要。

离你说的愿景实现，中间还有几个关键突破。比如长期记忆，你觉得长期记忆是短期可以预期突破的问题吗？

也许吧。当然也取决于多短的“短期”。

但我觉得它必然会突破。一件事情只要足够有价值，总会有突破。

如果你对技术乐观的话，这个问题要怎么展开？是从 context、long context 下手，还是模型架构本身会发生变化？

7. Context Is The Bottleneck

我不知道能不能分享太多，但我的 belief 是我在博客里提到的 utility 问题。

为什么现在模型推理能力这么强，考试这么强，玩游戏也这么强，但还没有创造足够的经济价值？我觉得根本原因可能是，它没有足够的 context。

在人类社会里比较 tricky 的一点是，我们当然写下了很多东西，用文字、Google Docs、Notion 记录了很多东西，但很多 context 永远只存在人的大脑里，是基于分布式维护的。

比如老板的行为习惯，或者一些很难用语言总结下来的东西。这些 context 存在人的脑海里，人永远无法把所有东西写下来。

这就导致人不可或缺，因为只有人能够进入这样的环境，获得这样的 context。

如果这个问题解决了，很多特定问题可能就能得到很大程度的解决。

世界上大多数人不是史蒂夫·乔布斯，也不是爱因斯坦。他的数学推理能力或者其他能力可能没有 o3 强，但他能够 manage context。

比如他进入一家公司 7 天之后，除了在文字上看到的东西，还会在脑子里积累一些 context。这个 context 使他比 o3 有优势。虽然他没有 o3 聪明，但他有 context，所以做得比 o3 好。

你刚才提到一个很关键的点：模型或者 Agent 要有一个内生的奖励系统。今天是不是还没有？如果要赋予它内生奖励系统，是不是在持续自主学习的过程中，它就可以改动模型权重，变得更加聪明？你感觉离这一步还有多远？

我不知道。我觉得会有这一天，但很难预测什么时候。

自我提升的方法，也许是改变自己的权重，也许是基于语言的长期记忆，也许是基于 embedding 或其他东西的长期记忆。

它会自我提升，但具体是什么方式、什么时候实现，我觉得还有不确定性。

内生奖励要怎么理解？

很多创新者为什么能在没有外在激励的情况下做很多事情？因为他有自己的内在价值观或者激励。

AI 和 neuroscience 其实已经研究这个问题很多年了。婴儿某种程度上就有这样的、基于好奇心的 self-reward。

很多婴儿会玩玩具，会用嘴咬一个东西，或者做别的事情。你说他获得什么 reward 了吗？他没有升职加薪，没有获得钱，也没有外在激励。他就是好奇：如果我做这个事情，会有什么感觉？

如果这个感觉是新的，他就可以学习。他获得了安全感。

好奇心、掌控感、安全感，都是一些内在的 motivation。否则很难从理性的角度解释，为什么他会做这些事情。

但很有意思的是，人长大之后有了另外一种理解。

当你是婴儿时，你是基于视觉、物理和物理世界来理解世界。你学习的是怎么把触觉、听觉、视觉，以及运用骨骼的各种能力结合起来。

但长大之后，你有了一个基于语言、推理和文字的世界理解：这个世界怎么运作？我怎么开一家公司？我怎么升职？我怎么做各种事情？

你玩的已经不是物理游戏，而是文字游戏了。

在这个文字游戏里，当然也有内在激励，但好像又很不一样。这是现在的一个挑战。

传统 AI 比如玩迷宫，或者做机器人的仿真，可以定义基于世界模型，或者基于婴儿时期的 motivation 的内在激励。但当你在玩一个文字游戏时，怎么做出内在激励，似乎就变得很不一样了。

在你研究 Agent 的过程中，对人类的思考或者更深层的认知，有没有什么认识？你怎么看人和 Agent 的相同与不同？

最大的感触是，我意识到人之所以能做到很多事情，是因为能推理。我觉得这是最重要的 takeaway。

2018 年我在 MIT，去了 Josh Tenenbaum 的实验室。他是认知科学领域的大佬。我学了很多认知科学。

认知科学或者计算认知科学的核心故事是：现在的 AI 虽然有很多进展，但还有很多问题。我们要去看人有哪些优势，人是怎么做这些事情的，为什么人能做到。

比如人能够从几个样本中泛化，机器不能。那为什么？我们要从人身上寻找方法，然后把它应用到 AI 上。

但后来我的认知发生了变化。现在 work 的这些 AI 系统，还是会和人很不一样。Scaling law、RL 以及很多东西，和人的学习方式都不一样。

我觉得更好的借鉴方式是：思考人能做什么、机器现在不能做什么。这是一个客观事实。但找到这个问题之后，可以基于第一性原理思考怎么解决，不一定要依赖人类解决它的方式。

比如人现在能做的一件事是，进入一家公司工作 7 天，或者当 3 个月实习生，积累这个公司的 context。即使只是一个普通大学毕业生，也能做很多 AI 现在做不了的事情。

怎么解决这个问题？认知科学或者神经科学可能会告诉你，人脑有海马体，有 episodic memory，有这样的架构。但我觉得不需要完全照抄，可以从第一性原理设计 memory 应该怎么做。

所以从人身上可以借鉴的是：哪些事情人能做而机器做不了。这是 robust、客观的事实。

但人是怎么做到的，以及在多大程度上借鉴这个方法，是一个更主观、更 noisy 的问题。

一方面，神经科学和认知科学还没有百分之百解决这些问题，只是提供了猜想。另一方面，即使是已经被确认的事情，比如人的视觉是研究得比较深的，人有 6 层 cortex，每一层有各种结构，也不意味着你必须照抄所有细节。

你可以得到的 takeaway 是，需要做这样的 neural network，但不需要照抄所有细节。

在设计 Agent 的时候，需要让它越来越像人吗？

这还是一个 utility problem。

很多问题不像人更有价值。比如下围棋，或者开车，大多数人的驾驶水平可能并不好。基于规则也许有更好的开车方式，那就不应该像人。

在围棋或者打游戏上，基于 RL 可以学到和人不一样、并且比人更好的方式，那就不应该像人。

但在公司打工、和老板搞好关系、完成各种任务上，人现在比 AI 做得更好，那就应该试图更像人。

你怎么思考人和 Agent 未来的关系？要给 Agent 发身份证吗？

我觉得这是一个交互方式的问题。

未来很可能有很多 Agent，但它长得不像人，或者和它交互的方式不像人。它可能是一个平台、页面、游戏或者其他东西。那你可能就不会把它拟人化。

当然，肯定也会有很多拟人化的 Agent。

如果 Agent 有了长期记忆，它是不是就成为你的朋友了？它是你的朋友，人和 Agent 就平等了，是不是要给它发身份证？

发身份证的目的，是它作为独立个体和我们共存。

有可能。

这些事情最终还是要从 utility 出发。如果一个事情有价值，它就可能产生。

比如很多人很孤独，需要一个朋友。如果技术能够创造这样的体验，拟人化就是一个很合理的未来。

但如果 Agent 做的是平台、推荐或者游戏，技术可能采用很多不同的交互方式，让你感觉它不像人，甚至根本感觉不到它和人有什么区别。那在这种情况下，你不会把它拟人化。

所以还是基于它的经济价值。

你提到经济价值。你觉得 AI Agent 和 crypto 未来会有结合的地方吗？

比如 crypto 的智能合约和 Agent 结合，未来 Agent 帮我完成某个任务，有一个公允的价值计量，任务完成后就按照智能合约的约定分配经济利益。这样可能探索出一种 value-based 的商业模式，只是今天还不太能衡量任务的客观公允价值。

我对 crypto 了解不多，但我觉得一个核心问题是，这项技术的演变会变得更中心化，还是去中心化。

两边都有 argument。

中心化的 argument 是，现在这种新的 Super Company，比如 OpenAI 或 Anthropic，可能变成 1 万亿美元、10 万亿美元，甚至 100 万亿美元。它们会占据绝大多数资源和 compute，创造 Super App 或 Super Platform，拥有巨大的中心化优势。

去中心化的 argument 是，个体被赋能了。现在人和人之间之所以有这么大差距，是因为信息差、认知差和智能差。如果智能变得非常便宜，像电一样，从某种程度上说，也能给大多数人赋能。

我最近的思考是，人类社会是一个网络。它有两个重要性质。

一个性质是中心化程度，或者资源分配的集中性。我们会发现，原始社会非常平均，随着技术发展，越来越中心化。你可以说是二八定律、马太效应，或者 whatever。

另一个维度是，创业成功，或者从网络边缘走到中心的可能性和速度。

过去几百年发生的事情，一方面是网络变得更中心化，贫富差距变大了；另一方面，穷人或者平民的机会可能反而更多了。

在古代的门阀制度、九品中正制、欧洲贵族制度或者印度种姓制度里，农民可能永远是农民，阶级高度固化。

技术发展的趋势似乎是两者都会加剧：一方面中心化会加剧，因为效率是根本性原因；另一方面，创造新东西的机会至少目前越来越多。

但未来的趋势不好说，也不一定会一直这样。

你在博文里提到 OpenAI 的几次尝试，很有意思。最初的计划是构建 Gym，一个用于各种游戏的标准强化学习环境；之后是 World of Bits 和 Universe 项目，但这些没有奏效，直到 GPT-2 和 GPT-3 出现，才发现缺失的是经验知识。

OpenAI 的几次尝试，能不能详细讲讲？这也是一个探索过程。

8. OpenAI Chose A Different Bet

这是我自己的总结和猜测，不代表 OpenAI 的官方观点。

OpenAI 是一个比较 bottom-up 的公司。最初的七八年，它更像一个 research lab，有各种想法和尝试，每个人的想法都不一样。

客观上来说，一开始大家 focus on 强化学习，因为当时最火的事情就是这个。DeepMind 2015 年刚成立的时候，是当时最火的 AI 公司；DeepMind 最成功的东西就是强化学习。GPT 之前，AlphaGo 可能是最成功的 AI 项目。

所以很自然地，大家会去做强化学习。

但如果要超越之前的霸主，就必须有一个 different bet。如果 OpenAI 一直做强化学习，可能也很难超过 DeepMind。即使某些任务做得比 DeepMind 更好，大家提到强化学习，还是只会想起 DeepMind。

所以从某种程度上说，想要超越之前的霸主，就要有一个 different bet。

Turns out，GPT 就是这样的一个 different bet。

当然，这在当时是一个非常非共识的事情。我可以讲个故事：我的导师是 GPT-1 的第二作者。他在 OpenAI 待了一年，然后去普林斯顿当教授。当时他对这个事情有点怀疑，因为当时的结果也不是特别好，榜单上不是最高分，花了很多卡去做。

当时 scaling law 刚出来，Ilya 对我导师说：“Karthik，你看，language 已经被我们解决了。现在我们只需要 scale up，这个事情就结束了。”

但即使你在 OpenAI，即使你在这个环境里，即使你是 GPT 的作者，也可能没有形成共识。

所以你做了一个当时非常反共识的事情。现在这个事情已经变成共识了，那就需要寻找下一个反共识的事情。

你导师说了那句话之后，内部有人给过 feedback 吗？

我说实话，当时 OpenAI 可能绝大多数人也不认为 scale up GPT 是最好的方向，或者最 promising 的方向。

每个人都在做不同的事情：有人做 robotics，有人做其他方向。

我觉得 Ilya 最大的贡献，虽然不是做 GPT-1 或者具体技术的人，但他号召大家 all in 这个方向。

Dario 最大的贡献也不是提出某个具体技术，而是作为创业公司，敢于下注，把钱都砸进去。

有人愿意做 GPT-3 是特别关键的。Dario 也好，Tom Brown 也好，他们敢于把 GPT-3 做出来，让人看到更大的希望，也证明了它能够泛化。

这件事的好处是，并不需要所有人达成共识。只要有足够多的人达成共识，就可以做这个事情。

接下来几年还会有更多 GPT-3 moment 吗？

我觉得会有新的 scaling dimension 出现。

如果有 long-term memory，test-time compute 就会用新的方式 scale；如果有 multi-agent，test-time compute 又会有另一个新的维度去 scale。

我觉得会有新的 scaling dimension 出现。但当有很多 skill dimension 之后，怎么选择，怎么基于某个应用选择不同 skill 的比重，会是一个很有意思的问题。

刚才说到，OpenAI 内部之前没有形成共识。后来强化学习是什么时候变得特别重要的？

强化学习一直都很重要。即使在做 GPT 的时候，John Schulman 他们也一直有人在做 RL。

并不是做 GPT 之后就把 RL 全部扔掉，而是公司可能 80% 或 70% 的资源做一个事情，其他事情仍然在做。

这其实很重要。后来证明，ChatGPT 的成功里 RL 也很重要。如果没有 RLHF，没有 alignment 技术，它也无法形成一个产品。

历史并不是说我走了这条路，就把这条路彻底抛弃，走另一条路，然后再返回来。它更 soft：我同时做很多事情，某件事很 promising，于是下更大的赌注，但其他东西仍然继续做。

你有一句非常 high-level 的总结：语言通过智能体中的推理实现了泛化。它的泛化是已经被证实的事情，还是一种推断？为什么语言非常独特，或者说非常好？

语言是人和人，或者说人在这个世界上完成各种事情的工具。从某种程度上说，语言也是人类发明的工具，就像火或者笔一样。

但它之所以特殊，是因为它是一个帮助你解决任何事情的、通用或者泛化性的工具。

学会攀岩，可能不能帮你做很多新的任务；但学会语言之后，几乎总能帮你做新的任务。你可以和人交流，可以学习，可以思考，可以推理。

从某种程度上说，2020 年以前，大家没有把这个事情想清楚。大家认为有语音、文字、图像、视频，这些东西其实都是数据，可能没有什么区别。

但最大的区别可能是，语言是人为了实现泛化而发明出来的工具，这一点比其他东西更本质。

这说的是语言能让它具有泛化能力。那强化学习终于具备了泛化能力，这是推断还是结论？

可以说是我的个人观点，但很多人都在讨论这个事情。

泛化与否当然是一个 spectrum，是相对的，不是非黑即白。

我之所以这么说，是因为在此之前，如果你在一个环境上训练，只能做这一个环境；但现在在一个环境下训练，可以做更多环境。我觉得这是最本质的区别。

比如 DeepSeek，大家觉得有意思的结果是，它在 math 和 coding 上做 RL，但创意写作也变强了。

AlphaGo 只能下围棋，不能下象棋。但现在学数学，也可能帮助你做创意写作，这是一个本质区别。

如果训练打某一类游戏变强了，它可以泛化到其他游戏吗？比如 Dota 打得很强，是不是所有游戏都能打得很强？

不好说。即使是推理，在不同环境下的泛化也可能不一样。

基于逻辑的推理，可能从数学迁移到 coding 会更容易；基于人情世故的推理，可能在另外一些任务上的迁移更好。

但重要的是，现在终于有了一个可能的 single model，可以去做所有 task。以前我们认为这件事情不太可能，但现在有可能了。

你可以同时在很多不同任务上做 RL，它能够 transfer 到更多任务。当然，如果只考虑 task 和 task 之间，迁移程度肯定和 task 的性质有关。

代码和数学之所以容易泛化，你想过背后的原因吗？是因为它们有过程和思考过程吗？

我觉得只是因为它们是最早开始做的事情。

之所以最早开始，是因为它比较简单，有一个很好的 reward，而且不需要一个环境，本身就是 reasoning。

现在来看，可能很多其他事情也可以泛化，只是我们一开始做的是这个，所以大家现在讨论得比较多。

有一个 Agent 创业者想问你：Agent 如何 scale up？现在的瓶颈主要是算力，Agent token 用量非常可怕。单个用户的消耗可能是 chatbot 的 500 到 1000 倍，再叠加几百万用户，你觉得 Agent 怎么 scale up？

最重要的是找到一个好的应用。

9. Applications Must Create Value

Cost 本身不是问题，问题是 cost 没有 justify performance，或者没有 justify value。

如果一个事情很有价值，花 500 美元，但可以赚 1000 美元，那就不是问题。

现在最重要的是找到有价值的应用。Cost 总会降低：模型能力会提升，价格会下降。但找到有价值的应用，是最本质的事情。

不同应用的方式也不一样。做一个简单任务，可以训练一个小模型，让它更快、更便宜、更针对这个 task。做投资或者 deep research 这种难任务，可能需要更大的 model，也需要不同的方法去平衡 cost 和 value。

但最重要的是先找到有价值的东西。找到之后，cost 总会有办法下降。

你觉得 Agent 创业者的背景里一定要有 research 出身的人吗？Researcher 有什么优势或劣势？

不好说，还是挺看人的。

很难把人分成 researcher 和非 researcher 两类，然后认为这两类有很强的区别。人与人之间差别还是很大。

最重要的还是找到 value。大家把它称为 product-market fit、产品 sense，或者其他什么都好。找到 value 最重要，技术只是手段。

目前来说，最重要的是解决问题，找到好的问题。

有很强的 research 背景，或者自然语言处理、AI 相关背景，有时候反而是坏事，因为会太执着于技术，拿着锤子找钉子。

现在最成功的应用，创业者似乎都不是 NLP 或 AI 出身。比如 Cursor 是 4 个本科生。当然，Professor 也可能是 researcher。

这还是挺看人的，和你是否做过 research 没有那么强的相关性。

你怎么看 Minus、Jazz Park 这些产品和它们的 founding team？

我试过 Minus，但还没有试过 Jazz Park。

我觉得 Manus 还是挺有意思的，给了我一些启发。他们的产品 sense 很好，有打磨产品的基因。

Manus 应该是 OpenAI 主线上的产品吧？

我基于 Manus 再讲一点。

传统上大家认为，发生的事情是大厂先做出一个东西，然后创业公司可以开始抄。比如大厂做出 ChatGPT，创业公司就去抄 ChatGPT，或者做一个类似的事情。

但现在反过来也可以成立：小厂可以先做一个事情，创造交互创新或者产品创新，做模型的公司也可以借鉴或者应用。

很多时候大家会说，模型越来越好，感觉是在给创业公司做嫁衣，因为创业公司已经把模型用好了。但反过来，如果创业公司创造了一个非常好的交互方式，却没有能力把模型能力或者底层能力做得特别好，大公司也可以借鉴它的交互方式，再加上自己的模型能力，把事情做好。

所以这个世界可能是相互抄的关系，而不是单向抄的关系。这是我个人的观点。

如果你是 Manus 的创始人兼 CEO，今天会走向垂直方向吗？

我觉得 Manus 的一个价值，是给人一个非常 general、通用的感觉。

但一个非常通用的 Agent 和一些垂直的 app 并不矛盾。

比较理想的情况是，有一种非常通用的交互方式，它的上限或者想象力足够大。

比如 Cursor 虽然是一个 IDE，如果它只做 IDE，想象空间就有上限。但如果做一个非常 general 的产品形态，比如 Manus，想象空间上限很高。

同时也不矛盾的是，每个阶段都能有一些 killer app：做 PPT 特别好，deep research 特别好，或者某个事情特别好。

很多伟大的产品都是这样。iPhone 是一个非常通用的产品形态，但它一开始有一些 killer app，支持它获得 momentum 和增长。iPad、ChatGPT，以及微信也有类似的特点。

一个足够通用、简单、低门槛的交互方式，有很大的想象空间；但在维护它、设计路径的时候，需要有各种应用让它不断增长。

你觉得 DeepSeek 在春节那一波之后，对 OpenAI 和硅谷的 AI researcher 带来了什么变化？叙事上有什么变化？

从 OpenAI 的角度来说，大家讨论的有几点。

10. DeepSeek Changes The Narrative

一点是 Chain of Thought 的 reveal。展示一条长思维链，似乎是一个很重要的产品形态突破。

很多时候，世界上有很多技术积累，已经到了像洪水达到闸口的程度，需要一个时刻让它泄洪，让普通人、让大多数人感受到这个技术。

我们会说 iPhone moment、ChatGPT moment，可能也有 DeepSeek moment。这个 moment 可能来自一种非常大的交互方式冲击。

ChatGPT 之所以产生 ChatGPT moment，是因为它的交互方式非常新，让人觉得 magical。DeepSeek 之所以火，部分原因也是它的长思维链给人一种新的交互方式和 magical 体验。

当然，DeepSeek 的成功是一个很复杂、由很多原因构成的事情。但这是其中一点。

另一点是重新思考 open source。Sam 在 Twitter 上也讲了很多，OpenAI 可能忽视了开源，但仔细想想，开源是有价值的。

我们默认认为开源会比闭源落后很多，因为造模型不像 Linux 这种操作系统。Linux 可以由 1000 个人各出一份力，让东西变得非常好，具有很好的分布式性质。

造模型更像是需要 20 个特别厉害的人和很多很多钱。只需要 20 个很强的人把事情做好，需要一个非常特殊的组织、特殊的资源集中和特殊的人才。

在这种情况下，传统开源的优势可能并不大。包括 Facebook，开源模型也没有做得那么好。在美国，大家可能习惯性地忽视了这件事。

从某种程度上说，做好开源是一个 non-trivial 的事情。首先要有足够多资源、很强的人、很好的组织文化，以及商业上的 justification。

最好的情况当然是你是一个慈善家，有几百亿美元，然后去做这个事情、造福世界。这是小概率事件，但小概率事件发生了，就有这样的人做了这件事。

DeepSeek 有很多值得反思的地方。我也会思考它的组织架构、工程和基础设施，这些方面都有很多值得称道的地方。

一个 AI 研究员想问你：他对 Agent 的想象是有限的，希望你能畅想一下。你说过，你的终极理想是打造世界上最强的 Agent。它会是什么样？

我什么时候说过？

你在智源社区的一次访谈里说过。

11. Many Super Apps Shape The Future

传统上，大多数人对 AGI 的想象是一个模型。它像世界上最聪明的人，拥有所有知识和能力，比我们都聪明，是最强的智能体。

但我现在的感觉是，不同的交互方式会有不同的好，也会有不同的强的边界。

最终智能的边界，可能由不同的交互方式决定，而不是由一个 single model 决定。

从这个角度来说，想象空间非常大。

现在大家只想象到助手这件事，但助手显然有很大的想象空间和进步空间。还有很多没有诞生的交互方式。

互联网刚诞生时，最早的 Super App 可能只是把 mail 升级成 email。Amazon 已经是非常创新的东西了。

现在有点像那个时候，我们的想象力仍然被以往的交互方式限制。未来显然会创造很多新的交互方式，改变这个世界。

你觉得最强的 Agent 应该是什么样？还是没想好？

对于不同任务和交互方式，需要不同的 Agent 系统去解决。

现在很多程度上，模型也许可以 share。但如果讨论这样的系统，它可能就像问世界上最强的互联网网站或者公司是什么，很难回答。

它是 multi-faceted，有很多不同面向。AI 也有可能变成这样。

OpenAI 可能会成为一个 Google，成为新世界里很重要的一环。但这并不代表世界会被一个单极的东西垄断。

如果世界被单极的东西垄断，就会变得很灰暗，大多数人可能没有什么价值。

你对未来 Agent 生态的构想是什么样？现在有点像当年大家创业做 App 的时候，大概 2011、2012 年。再往后推几年，你觉得世界会是什么样？

很难说，但肯定会有很多不同的交互方式，创造出不同的系统。

OpenAI 这样的公司，肯定会继续推进中心化的、助手一样的系统，有更多环境、更强能力，去做更多事情。

也会有不同的生态系统、不同的交互方式，甚至训练完全不同的模型。可能从 pre-training 开始，需要的能力和很多东西都不一样。

比如另一种交互方式，是我想造一个朋友。朋友可能不需要数学和物理特别强，数学太强反而有点假；也不一定记忆特别好，可能会出错，有感情，也不特别 rational。

创造这样的东西可能也有价值。很难说它和 ChatGPT 哪个更强，因为它们是不同应用，有不同价值。

也可能会有 Agent 组成的社会。

如果中心化的极限是 context 的 limitation，那么世界上很多人有价值，并不是因为数学或推理能力比别人强，而是因为他有别人没有的信息。

很多中间商，本质上拥有信息差。拥有信息差的人，会想维持自己的权利和资源，也许会发明出更 multi-agent、更 distributed 的网络。

比如在交易世界里，信息很重要。每个人可能只拥有信息的一小部分，那么可能每个人有自己的 Agent，再和 100 万个人交换信息、做交易，或者达成某些事情。

现在非常强的巨头、非常强的节点，有动力让事情变得更中心化。但中心化之外的力量，也有动力做去中心化的事情。

这个世界可能不会是一方超过另一方，而是两方都有自己的力量，两种力量不断博弈。

很有意思。在你脑海中的未来世界，既不是单极的，也不是完全中心化的。

我说的就是，变得更中心化和变得更多元并不矛盾。

历史演变有两个因素：一个是中心化程度，或者贫富差距的拉大；另一方面，是完成阶级跨越，从边缘到中心的速度和可能性。

可能还有第三个性质，就是网络本身的 diversity、复杂程度和多样性。这个事情从历史上看也越来越好。

虽然世界上最大的公司对经济的支配越来越强，但世界上的产业也一直越来越多。这两件事可以同时存在。

更关键的是，大模型技术没有垄断性。硅谷头三四家公司好像都能追到一定水平。如果 OpenAI 有垄断性，那会比较可怕。

暂时没有垄断性。但如果你能找到一个产品形态，让 research 优势能够转换成商业优势，就会产生壁垒。

现在对于 ChatGPT 来说，memory 可能是一个会产生壁垒的地方。

没有 memory，其实就是在比谁的模型更强；有了 memory，比的不仅是谁的模型更强，还包括用户用哪个更多、哪个粘性更强。

如果我在这里积累了更多 context，能够给用户更好的体验，就会形成粘性。这可能是一种把 research 优势转化为商业优势的方式。

现在 ChatGPT 会出现灰色提示词，说“记忆更新”。这个更新到底是什么？就是你说的增加粘性的方式吗？

我最近没有怎么用 memory 这个 feature，但好像最近做了一些提升。我猜是它产生或者使用记忆的方式变得更好。

比如能够更有效地从用户的大量对话中提炼信息，或者 retrieve 出更相关的东西。

我不是特别了解细节，但 intuitively，这可能会产生粘性或者壁垒。

你觉得 MCP 本质上也是 memory 吗？我的很多 context 在个人软件、企业软件里，MCP 本质上也是 hack 我的 context 的一种方法。

从某种程度上说，是的。

这个世界有一个 memory hierarchy。对于 Agent 来说，最外层永远是环境。

想象一台电脑，它有 memory hierarchy：从 CPU cache，到内存，再到硬盘。但最外层的 memory 永远是外部世界的环境。

比如插入或拔出 U 盘，把东西上传到互联网，或者把音乐做成光盘交给别人。外部世界永远是 memory hierarchy 最外面的一层。

前几年冬天，我读了一本冯·诺依曼去世前写的最后一本书，叫《The Brain and the Computer》。里面最让我印象深刻的一句话是：

“Essentially, environment is always the outermost part of the memory hierarchy.”

我觉得这句话很哲学。

对于人来说，你有 memory hierarchy，有 working memory，也有脑子里的 long-term memory。但最外层可能是你的笔记本、Google Docs、Notion，它们相当于最长周期的 memory，或者 memory hierarchy 最外层的部分。

Long context 和 long-term memory 是什么关系？

我觉得 long context 是实现 long-term memory 的一种方式。

如果能够实现 1 亿、1000 亿，或者无限长的 context，它就是实现 long-term memory 的一种方式。

这是一种和人非常不同的方式，但有可能实现。当然可能会有很多不同的方式，不好说哪一种最好或者最合适。

现在业界实现 long context，有 linear、sparse 或者 hybrid 的方式，你有倾向吗？

我不想评论方法，但想评论 evaluation 和 task。

至少到去年为止，大家主要做的是 Long Range Arena，或者 needle in a haystack：有一个很长的东西，在中间插入一句话，比如“姚顺雨现在在 OpenAI”，然后去问这个问题。

我觉得这是一个 necessary but not sufficient 的 task。能完成这个 task，是 long-term memory work 的前置条件，但远远不是充分条件。

它是必要条件，但现在大家有点陷入这个必要条件里，没有创造更多更难、更有价值的东西。

这是一个问题。当没有好的评估方式时，很难讨论各种方式的好坏。

你在文章里也说，大家忽视了任务本身的定义和评估标准的重要性。你觉得应该怎么定义和评估？比如怎么衡量一个 Agent？有哪些北极星指标？

还是要思考怎么创造更多现实世界的价值。

在不同领域、不同应用下，会有非常不同的任务设计、方法和各种东西。

但大的趋势是，应该更多思考实际价值，而不是那些被定义出来的、类似考试或者游戏的东西。

一旦可以定义考试或者游戏，离它被解决也不远了。

真实世界之所以很难被解决，是因为它不是一个被定义好的游戏或者考试。游戏或考试在设计时，就已经有一个设计好的 reward 或者标准答案。

当有一个设计好的 reward 或答案时，因为已经有了 general recipe，有了通用方法，离它被解决就不远了。

真实世界之所以难，是因为没有标准答案，也没有标准 reward 方程。很多时候，人做事情也没有一个理性的 reward，但人仍然可以做，这是开放的。

所以现在的主要问题不是，在一个 well-defined 的问题里怎么找到答案，而是如何处理没有标准答案和标准 reward 的真实世界。

未来还需要推翻更多基本设定吗？

我觉得需要。从某种程度上说，人类一直在做这个事情。最重要的事情，往往就是推翻最基本的假设。

我现在比较关注的一个假设是：一个东西的评估，基于 500 个任务，分别跑 500 次，再把平行数据加起来变成 reward。

但这和人完全不一样。

人去公司上班，重要的是一天、30 天、一年之后变得有多好，而不是把你放到 100 个平行宇宙里，观察你在公司第一天做得多好。

这是一个基本假设的区别。

你感觉竞赛环境和实战环境的区别是什么？有人说，有些模型公司在竞赛 benchmark 上很高，但实战不太行；有些模型公司在实战环境下更好。

我们需要更多考虑一个东西的实际价值。

大家发现刷榜实在太容易了，总有办法把榜刷得很高。但有些东西实际价值高，有些东西价值低，这是一个问题。

所以需要更好的评估方式。

你觉得 Agent 会在今年迎来大爆发吗？

我觉得会。

2024 年或者 2025 年，我们才终于有了这样一个通用的方法去做 Agent。之前很多东西还没有 ready：要有很强的语言先验、推理和强化学习。

这些东西刚刚被 unlock，刚刚被解锁，还有很多事情可以做。

好的 AI 产品经理应该长什么样？

好的 AI 产品经理，可能就是一个好的产品经理，并且能够第一性思考。

AI 是一个变化很快的事情，但相对不变的，可能是人、人性和人的需求。这些变化更慢。

你能找到一个好的需求，然后从第一性原理反推：要把这件事情做成，需要应用什么技术。我觉得这比较重要。

你听萧红的播客，有什么感觉？

我觉得挺有意思。

印象最深的是他说，VC 是一种非常贵的融资方式，不是在你不好的时候，而是在你好的时候。我觉得这句话说得挺有意思。

他有很多不一样的思考问题的角度。和 AI research 不同，所以对我来说挺新鲜、挺有意思。

你会考虑创业吗？

我觉得 OpenAI 可能大多数人都会考虑创业。

现在是一个非常 exciting 的时候，而且已经有很多 OpenAI 的人出去创业了。要做更有挑战的事情，很自然就会去创业。

但还是应该找到一个好的事情。我喜欢把事情想清楚一点再去做。

你对未来 12 到 24 个月 Agent 领域可能发生什么，有什么预期或者预测？

首先，模型公司的 chatbot 系统可能会演化成一种很自然的 Agent。比如 Grok、ChatGPT 或 Anthropic 的 Claude，它们默认的交互方式可能会变成 Agent 的交互方式。

Chat 可能还会保留，或者作为一个子集，但 Agent 会成为更重要的交互方式。

还会出现新的、类似 Cursor 的产品。Cursor 在 coding 和 IDE 环境下做了 Copilot，但未来可能在新的环境、更大的环境下出现 Copilot。

这两种大的交互方式是互补的，或者说正交的。

一个方向是基于模型，可能是 remote 的 virtual machine 或者 environment，在里面完成很多事情；另一个方向是在既有环境、既有软件和既有场景里，把 Agent 或 AI 的能力引进去。

这两个方向都会发生。类似 Devin 或者 Cursor 的事情，都会继续发展。

如果我们想推动 Agent 能力变得更强，应该在哪里做工作？是在 pre-training，还是 post-training，还是其他地方？如果我是一个应用创业者，做不了 pre-training，最多尝试一些端到端 RL 的过程，对吧？

最重要的还是想清楚价值：应用的价值是什么，痛点是什么，要解决的问题是什么。

虽然创业者可能不能做 pre-training 或者 training，但更有价值的点可能有两个。

一个是 Agent 和数字世界交互的环境是什么样的，是基于 MCP、API，还是其他东西；另一个是人和 Agent 交互的方式是什么样的。

这两个事情都可以做，而且需要很多设计、infra、工程和各种工作。现在做得还远远不够好，有很多进步空间。

还有一个重要的事情，是怎么构建生态系统，怎么积累用户的 intention 或者 context。这件事情也有很多可以做的空间。

你刚才提到 Agent 的 infra。如果两年后 Agent 已经大爆发，大量 Agent 在数字世界运行，你觉得是否需要重新设计一套新的数字化系统？

比如 Agent 需要的虚拟机、电脑、浏览器、搜索 API、身份认证、经济系统等等，这套 infra 是为 Agent 设计的，而不是完全为人设计的。

我个人感觉，两年以内，这个世界可能还不会变得这么分布式，可能还是更偏中心化。

会有一些 Super App。现在当然有很多 AI 创业公司，但做得好的就是那么几家。两年内可能还是会有一些 Super App，它们有各自的 infra、environment 和交互方式。

两个事情都可以做到极致。

一个是基于用户本地的数字环境：我有手机、电脑和软件，怎么扩充它们，让它们变得更好；另一个是从头创造新的 environment，比如 Deep Research 或 Operator，实际上就是创造新的 environment。

这两个方向都还有很多可做的空间。

两年以后呢？

没有人能看到两年以后。世界变化很大，可以有一些像科幻一样的预测、想法或者图景，但很难说。

你在 OpenAI 的一个好处，是不是可以知道哪些事情是它的主赛道、一定会做，哪些事情可能是创业公司的机会？

每个公司一旦有了自己的 Super App，所有事情都会围绕这个 Super App。

比如有了 ChatGPT 之后，训练模型的方式、组织架构和很多事情，都会围绕 ChatGPT 重构。

如果做一个和 ChatGPT 形态很不一样的东西，还是会有机会。

By the way，为什么你的文章叫《The Second Half》？为什么现在是中场？

从方法论上，我们刚刚实现了一个奇点一样的时刻：终于有了一个非常通用的方法，可以解决各种事情。

如果问一个 10 年前的 AI researcher，他会认为翻译、玩游戏、用电脑订票、做数学，是完全不同的事情。需要的方法完全不同，需要的人完全不同，属于完全不同的社区，开完全不同的会，发表完全不同的 paper。

但现在终于可以用一个方法解决这些事情了。这是一个本质性的、方法论上的奇点事件。

你说的是放在更长的人工智能历史里，并不是这一两年的事情。

我觉得是。天下大势，分久必合，合久必分。

大家已经分得太久了。一个做问答的 researcher，和一个做 coding 的 researcher，可能 5 年前完全没有任何沟通，因为这两件事完全不一样。现在它们可能变成一件事。

这是一个不太恰当的比喻，有点像物理里牛顿力学突然被提出来：人们发现世界可以用一个统一的方法理解。

现在我们意识到，世界上的很多问题可以用一个统一方法解决。这是本质上的不同。

之前有很多伟大的事情为这个事件做铺垫。Transformer 是伟大的事情，pre-training 也是伟大的事情，还有很多伟大的事情，最终导致这个事件发生。

就像牛顿之前，有开普勒，甚至亚里士多德，很多事情都很伟大，但最终导致牛顿力学诞生这样一个物理学里的奇点事件。

你觉得 pre-training 是为强化学习做铺垫，还是为 Agent 做铺垫？

Agent 才是我们想要实现的事情。Pre-training 和 RL 都是实现它所需要的技术的一部分。

当然也可以说，pre-training 为 RL 做了铺垫。因为如果没有 pre-training，很难在这些基于文字的环境里做 RL。

传统 RL 并不 care about prior，也不 care about pre-training 或者先验知识。它认为，我有一个环境，有 reward，it's a matter of time，it's a matter of samples，我理论上可以解决这个环境。

即使是互联网这样的环境，没有 pre-training，只要有足够多的 sample，也可以用暴力解决，只是可能需要 10 的 30 次方年。在宇宙年龄的意义上，它永远学不会。

所以从这个角度来说，pre-training 为基于语言的 RL 奠定了基础。没有它，理论上可能可以做，但实际上做不了。

科技公司应该重新开启 pre-training 的趋势吗？这是你上一次博客里的一个重要观点：作为一个非共识，应该重新重视 pre-training。

这里有一个 cost 和 value 的取舍。现在做的人很少，是因为 cost 非常大，但带来的 additional value 好像没有那么大。可以用开源模型或者 API，似乎是一个 cost 很高、价值增量不明显的局面。

因为做完 pre-training，还要做 post-training 和很多其他事情，才能体现 pre-training 的价值。

但如果有一天，世界上有很多不同的 Super App、很多不同的交互方式，而它们需要完全不同的模型能力，价值足够 justify pre-training 的 cost，那就合理。

我觉得这是一个 value 和 cost 的关系。

你刚才提到分久必合、合久必分。你感觉 pre-training 和 RL 未来的关系会怎样？会不会有更多先验知识放到 pre-training 里？

我的一个不成熟的想法是，不同应用可能需要不同形态的 Agent，构造方式也不一样。

如果我只要下围棋，直接做 AlphaGo 就行了，不需要 pre-training，也不需要做其他事情。

如果有一个非常垂直的领域，价值足够大，数据足够多，能够形成闭环，也许主要基于 RL 的系统就能 work。

从某种程度上说，Google 的 Ads 或 TikTok 的推荐，有点像这样的系统。找到一个足够封闭的环境，做类似 RL 的事情，就能带来足够多价值，这个事情是合理的。

但世界上很多长尾事情需要 generalization，需要搭建一个像人的东西。你不是什么都知道，但可以学习，可以通过 online learning 进入一家新公司，适应这个环境，做新的事情。

在这里，pre-training 的重要性会更高，因为需要更多泛化性。

所以基于不同应用，可能有不同技术路线。但技术路线毕竟是工具。只要 value 大于 cost，技术选择就是 flexible，没有哪一条技术路线一定会胜出。

如果你是一个全球超大型互联网或科技公司的 CEO，而公司还没有自己的模型，没有好的 research 文化，甚至没有好的 AI 战略，你会怎么做？

首先肯定会学习。作为 CEO，如果不懂这个事情，所有事情都很难。

很多时候，一个公司的 bottleneck 是 CEO 对这件事情的理解程度。如果不理解，然后说我要去招一些很好的人、做一些事情，可能会被他们忽悠。

首先自己要学习。

第二，要从创造新价值的角度思考。毕竟你不是技术专家，而是一个公司的 CEO，有一些场景、资源和优势。

从第一性原理来说，新的技术产生之后，要思考怎么用新的技术和现有资源创造新的价值。

当然可以试图去做一个和现有业务完全不同、价值非常大的东西，比如 ChatGPT。但对大多数即使很有钱、很厉害的公司来说，这可能并不 make sense。

所以第一是学习技术，第二是思考能创造什么新的价值。

如果你是伯克希尔·哈撒韦的 CEO，未来要拿出 500 亿美元投到 AGI 这个行业，你会怎么分配，既体现回报，也体现对人类的贡献？

这取决于你有多少精力，或者说资源分配的颗粒度有多细。

现在 OpenAI、Alphabet 这样的模型层公司肯定有价值，大概率来说，它们会有更大的价值。

还有一类很有价值的公司，是能够积累 user context，或者构建特殊 environment 的公司。

最终 AI 或 AGI 如果是一个 system，就需要 intelligence、environment、user context，以及对用户的理解。

现在拥有很多 user data 或 user context 的公司，有点像发明汽车之前的石油公司。可能当时已经有石油，也有一些小应用，但真正的大应用还没有出现。

从这个程度来说，微信或者其他大型平台，仍然是一个很好的、易守难攻的平台，因为它积累了大量 context。

如果 intelligence 是一个可以逐渐民主化、变得便宜和普及的东西，那么拥有平台、environment 和 context，可能会成为很强的壁垒，也可能是很好的投资。

今天顺宇当了很多公司的 CEO。我再问一个：如果你是微信的老板，会怎么在微信里做 Agent？

我可能不会急，先观望。我好像没有理由要急着做，会观察，也会学习 AI。

我会观察有没有新的交互方式很有意思，但不会急着做很多事情。

因为我有一个易守难攻的地方，为什么要急着进攻？比较危险的事情可能是颠覆性创新。

真正的危险不是一个类似微信的东西打败微信，而是一个很不一样的东西打败微信。就像微信打败 QQ，QQ 当时担心的可能不是一个类似 QQ 的东西，而是一个完全不同的产品。

所以需要警惕颠覆性创新。

但如果是 incremental 的创新，是一些小创新，那早做晚做可能区别没有那么大，也不用太担心。

大家都说微信卡位好，但今天微信还没有很激进地投入。如果未来 multi-agent 和 long-term memory 这些问题解决了，但 Agent 系统不长在微信上，那会比较恐怖。原有的网络不一定有价值。

这取决于人的网络会变成什么样。

你会有更多 Agent 朋友，还是更多人类朋友？会有更多 Agent 之间的职业交互，还是更多人类之间的职业交互？

微信上既有朋友，也有购物、咨询、律师等职业交互。

这取决于人类网络会变成什么样。但总会有一个这样的网络，基于这个网络，肯定需要基础设施和平台。

怎么保证 AGI 实现之后的安全问题？微信过去是一个比较负责任、比较安全的平台。如果未来 power 很强，很多坏人用它做坏事，甚至颠覆人类，安全问题长期会怎么解决？是不是要有 AI 宪法？

安全是一个很复杂的问题。当每个人说安全时，想的事情可能不一样。

现在大家对安全的主要分歧是：像商业公司一样正常地重视安全，是不是已经足够？还是需要承担更大的安全责任？

对于 ChatGPT 来说，如果它不安全，把用户的东西删掉，或者做出其他不安全的事情，产品就会失败，没有商业价值。

即使为了商业价值，产品也会重视安全。每个产品都是这样：会基于自己的产品和商业模式，自然而然地重视安全。

如果一个东西不安全，它就不是一个好产品，人们不会使用它，也没有价值。

现在主要的分歧是，你需不需要产品以外的、或者更意识形态上的安全。这个事情大家还没有完全定义清楚。

前者是容易解决的。如果有一个好的应用和足够大的价值，总会有办法解决安全问题。

一旦一个东西有足够大的价值，而解决安全问题又是创造价值的必要条件，那么安全问题总会被解决。

但后者有很大的不确定性，我很难评价。

你个人会担心 AGI 实现之后的安全问题吗？

我会担心，但现在最大的问题可能是 AGI 还没有实现，或者我们还没有创造足够的价值。

如果一个东西还没有创造足够价值，就担心它是不是太厉害、太强大或者太普及，好像不是特别 make sense。

如果还没有想清楚怎么把它变得有价值，把它变得很安全好像也没有意义。因为如果没有价值，它很安全似乎也没有意义。

从机器原理的角度来说，模型到底会不会产生意识？

意识是一个没有被很好定义的东西。

也许当一个系统能够处理足够复杂的 context，并且有足够大的 autonomy 或 decision-making power，客观上就可能产生意识。

之所以认为自己有意识，是因为我们以一个很高的频率处理信息，不停处理信息、做决策，脑子里闪过各种各样的想法，可以选择做很多不同的事情，而这些事情会有不同的后果。

客观上来说，如果一个系统能做到这些，是不是就可以被定义为有意识？这个事情还没有被很好地定义。

你现在说要定义任务、定义问题。你目前思考比较多的几个重要问题是什么？

我对很多问题都感兴趣，但不可能做所有问题。我会试图和很多有意思的人聊天，理解正在发生什么。

你最近思考比较多的问题是什么？过去一年有没有什么顿悟时刻？

过去一年，一个 insight 是，这个技术可能比现在的产品形态更通用，世界上可能会有更多 Super App。

这个事情是有机会的。

我觉得还有很多小的顿悟，但大的顿悟可能是：世界上会有更多交互方式上的创新，带来新的 Super App。

未来研究的边界，可能不是由一家机构定义，而是由不同的 Super App 共同定义。

你的文章真的是基于 Deep Research，再基于演讲稿写的吗？

是的。

但 introduction 基本上改得比较少，后面有些段落基本上删掉重写了。

这个东西解决的是一个 initialization 问题：它给了你一个初始化。如果这个初始化能够让你进入心流，那重新写一遍其实也不难。

重要的是，它能初始化你的 mind flow，初始化你的心流。进入心流之后，重新写和修改没有区别，甚至重新写可能更快。

你重新写了多久？

可能两个小时。

你作为 AI researcher，博士期间的很多工作就已经获得了很多关注。你觉得为什么？你做对了什么？

我想做的事情就是两条线。

一条是简单、通用的方法；另一条是不同的、有实际价值的任务。这些任务往往是在真实的数字世界里创造新的价值。

传统任务要么是在虚拟的数字世界，比如游戏或考试里创造任务，要么是在物理世界创造价值。

真实的数字世界，比如电脑、coding 或 web，还是一个处女地，是一个巨大的宝藏。我恰好挖掘了一些东西。

GPT-3 和这些模型的产生，以及推理能力的出现，又带来了一个机会，让我们能够做一些简单、通用的方法。

我觉得也有时代的原因，恰好有这样的机会，恰好这些东西是 AI 最重要的事情：一方面是简单通用的方法，另一方面是更好的任务和环境。

还需要想得足够大胆、足够通用。如果做一个上限很低的任务，即使解决了，又能怎么样？

需要做一些现在看上去很难的任务。一个重要的点，是看很多东西的交界处。

如果只做 RL，或者只做 NLP，或者只做一个学科内部的东西，可能会很难。

ReAct 之所以当时能做出来，是因为我们选了一些自然语言处理的 task，也选了一些游戏任务，需要打通自然语言处理和强化学习的边界。

很多人会陷入一个社区或者一个学科内部，这样更难做出通用的东西。

ReAct 当时在做的过程中，有什么积累或者遇到什么坎儿吗？

最难的是寻找任务。

我做的所有方法型工作，最难的事情其实都是找任务。

很显然，有一天一个既能够推理又能够做动作的智能体会很有价值。但真正难的是，在当时的环境下，比如只有 GPT-3 或者 PaLM，又没有成熟的 Agent 环境，怎么找一个任务，证明它有 promising 的 initial signal，有好的价值。

我为此尝试了很久。

做 ReAct 最难的一点也是，怎么把这样的 belief——寻找一个任务或者环境——通过实验结果表达出来。

你现在能定义的、最激进的任务，可能会是什么样？

前面的问题我补充一点。

大多数好的方法之所以被提出，是因为有一个特定任务，然后这个特定任务恰好激发出了一个非常通用的方法。

比如 PPO 可能一开始是为了解决特定事情，Transformer 一开始也是为了解决特定事情。Attention 那一类工作，其实受翻译影响很深。

如果在那个时间点恰好做翻译，就很有可能做出伟大的东西。因为当时最适合研究 Attention 的任务就是翻译：它需要自然地关注序列中不同的位置，这种关注可能不是线性的，所以需要类似 Transformer 这样的方法。

大多数时候，人们发现伟大的方法，是因为有一个任务要解决，而这个事情恰好足够通用。

但我的经历比较特殊。很多时候我先在脑子里想到一个东西，觉得它很通用、很好，但需要再去找任务证明它很通用、很好，或者未来会很有价值。

它现在可能还没有足够多的价值，但需要先找一些简单任务，证明它有价值。

这很难，就像创业需要 product-market fit，做 research 需要 method-task fit。这个事情最难。

那你先敢想。你最激进地想过、定义过的任务是什么样？

现在这个时代，再激进也不算激进。我毕业前想得比较多的，是怎么创造一个爱因斯坦，或者怎么创造一个科学家。

当时我还是一个比较 academic、比较学术圈的人。在普林斯顿，你自然会把冯·诺依曼、爱因斯坦当作偶像。

最有意思的 task，可能就是能不能发现下一个相对论，能不能发现下一个伟大的科学理论。

如果 AI 发现了大一统理论，毫无疑问就标志着人类实现了 AGI 或者 ASI。

到了硅谷、到了加州，进入公司之后，我觉得人类组织也是一个很有意思的事情。

如果能够创造一家新的公司，创造一家 1 万亿美元的 AI 公司，我觉得也是很有意思的事情。创造经济价值和发明相对论是不一样的，但同样很难。

为什么人类的组织很有意思，而不是人类的产品很有意思？

产品当然很有意思。但很多组织方式能够像一个 general method、一个通用方法，帮助创造很多不一样的伟大东西。

比如股份制、机制设计或者组织架构，它们像一个非常通用的 AI 方法，导致很多不一样的伟大事物出现。

这个事情本身也很有意思。

为什么 OpenAI 五个分级的最后是组织者？

我一开始认为 innovator 和 organization 更像是正交的、并列的。

我当时在群里问过一个问题：当一个大公司的 CEO 和当一个科学家，到底哪一个更难？

这个不好说，而且实现 research 的路径也不一样。

我觉得都很重要，不用太纠结谁是 Level 4、谁是 Level 5。两者都重要，也不一定要先实现哪一个才能实现另一个，可以同时探索。

在你的成长路上，你的 mindset 和同龄人差不多吗？还是不一样？

有一样的地方，也有不一样的地方。

我的路径其实挺按部就班的。我没有跳级，大环境下大家都去美国读博，我也去美国读博，没有做什么特别 surprising 的事情。

但我对一个东西的价值或者 taste，可能有自己的看法。

大家往往会倾向于做确定性比较高的事情，无论做 research、做公司，还是做任何事情。

但我觉得恰好在这个时代，做上限更高的事情可能更好，因为有一个巨大的机会。

如果没有这样巨大的机会，最佳路径可能是做 incremental、确定性强的事情，一步一步积累。

但恰好有一个上限非常高的事情。如果你敢想，胆子特别大，或者想象力丰富，就可能有好的事情发生。

在你的成长路上，对你启发比较大的是书、电影、音乐，还是其他东西？

看书还是挺有帮助的。我是一个喜欢看杂书的人，什么书都看。

我也什么电影都看，什么地方都想去。从小我就是一个比较 general 的人，想了解很多不同的学科，做很多不同的事情。

但后来发现，一个人即使再聪明、再有精力，能理解的知识或者能做的事情，也只是人类社会积累知识的很小一部分。

更好的事情可能是，创造一个比自己更通用、更尖端的东西。

我好像一直对通用性有一种执念或者追求。

通用性能带来什么？通用性意味着什么？

因为它可以足够简单。

我不知道具体怎么解释，但我从小就是想学习很多不同的学科，因为都很有意思。

姚班很多同学是很 deep、很 focus 的类型：我就做竞赛，把它做到极致，不停刷题，做到世界金牌。

但我好像不是这种性格。我会看很多数学，也会看很多历史，以及各种各样乱七八糟的东西。

你会刷竞赛吗？

我也搞竞赛，但没有本科同学那么厉害。最后信息学拿了全国银牌。

你还是清华说唱社的联合创始人，对吧？我昨天去翻了一下你的网易云音乐，你的歌也被我找到了。看来我也有 deep research 的能力。

你最喜欢的说唱歌手是谁？

Interesting。

我有很多喜欢的说唱歌手。说唱很有意思，因为每个人的风格都很不一样。

有点“文无第一，武无第二”的感觉。每个人都有自己独特的东西，所以它能体现很多价值。

很多人喜欢说唱，就是因为你有自己的个性、flow 和生活思考，可以创造不一样的东西。它不一定是最好的东西，但它是不一样的东西。

我觉得这点很吸引人。

说唱和你做 AI，有什么相似的地方？

GPT-3 刚出来的时候，大家都觉得很厉害。我当时第一个想到的事情，就是看它能不能生成押韵的说唱歌词，而且要有内容性。

我发现这件事情还是很难，似乎今天也仍然很难。这可能说明说唱歌手是一个被人低估的工作。

为什么难？填词不就是 predict next token 要做的事情吗？

首先，一个东西好听、flow 好、听上去舒服，是很难量化的 reward。

独特的 flow 也很难量化。很多时候，一个节奏、flow 或 style 出现太多，就不好了；独特反而是好的。这种 reward 很难量化。

第二，真正伟大的说唱歌手，对生活有很多独特的思考。这一点 AI 好像还做不到，因为它还没有生活。

有没有可能存在比语言让智能更通用的东西？

在特定领域，肯定会有比语言更好的表示。

比如围棋里，用自然语言思考可能不是最优方法。但语言诞生不是为了处理某个特定任务的效率或者交流，而是为了打通所有任务、打通人的认知能力，形成一种通用表示。

它不是为了某个特定任务的最优而优化的。你会发现，它在某个特定任务上有很多冗余，但整体上是通用的。

当然，我们可以创造一门新语言，AI 也可以创造一种新语言，它可能效率更高。

但大概率，英语或者基于英语的语言仍然会成为主流，因为人类已经有很强的 prior，有很强的先验知识，也有自己的价值取向和 motivation。

人会希望机器的语言和人更像，这样我们可以更好地理解、控制、监控、改变和操控它。所以这是一种很自然的选择。

你的内心驱动力是什么？你的愿景是什么？10 年后想成为谁？

用一个很俗的话说，我希望自己能够对这个世界创造一些不同。

探索根本性的 research，是一种创造不同的方式；创造完全不同的新产品形态，也是创造不同的方式。

大家都在做同样事情的时候，做一些不一样的事情，我觉得更有意思。

比如现在去做一家类似 xAI 或 Thinking Machines 的公司，再做一个类似 chatbot 或 assistant 的 AI 公司，商业上很可能赚很多钱，也会很成功。

但如果做一个形态很不一样的东西，哪怕失败了，至少探索了一种不同的东西，我觉得会更有意思。

我还想补充一点。

我导师对我影响最深的一句话是，我们会讨论学术圈经常发生的事情：你有一个想法，别人做了，你会很烦。

他说：

“If someone else can do it, then it's okay to let them do it.”

如果你从人类全局的角度来说，如果这件事情很多人都能做，那别人做可能也没有什么区别。对这个社会或者对这个整体来说，似乎没有什么变化。

当然，我记得我提到过这件事情，然后有人说这非常假，因为最终你会发现，没有什么事情是不可替代的。相对论即使没有被提出，也会有人提出。没有什么事情是你不在了，另一个人就不能提出的。

但是我觉得这句话还是有道理的。如果你很清楚地看到别人就在做这件事情，或者别人就在做类似的事情，那你可以选择去和他卷。如果你要和他去卷，并且认为自己会更有效率，或者能把这件事情做得更好，我觉得这也是合理的。

但你也可以去做一些不一样的事情、去探索。我觉得最终你要对这个社会产生价值。这个时代我觉得很幸运的一点，就是这个技术非常通用，也非常伟大，有足够多探索的空间。

比如说，coding 是一个非常显然大家都在做的事情。也许我的价值就是说，我把这个最初始的 initial signal 展示出来。如果别人能做，我觉得别人做也是 OK 的。

另一点可能是，你想要让自己的生活变得更有趣、更有意思，或者更快乐，那你就去做一些让自己喜欢的事情。但这件事情很难用语言解释，就是一个 taste 或者 preference 的问题。

你会对 Agent 创业者有什么建议吗？

这个我已经说了很多遍，可能有点老套，但是我觉得就是想清楚你的价值是什么。技术是个工具，当然理解技术、理解技术的趋势很重要，但是我觉得创造价值是最重要的，或者说，想清楚你为你的用户带来了什么样的增量价值，这是最重要的。

你最近坚持了自己的 taste，做的一件 bet 是什么？

希望你们能看到吧。I’m doing something，yeah。

最后几个快问快答。一个全球范围内你喜欢的食物。

我喜欢椰子。

一个全球范围内你喜欢的地点。

我很喜欢伊斯坦布尔。

一个少有人知道、但是必须知道的知识点。

我挺建议大家去看《智能简史》这本书的，我觉得里面有很多很有意思的知识点。比如说，为什么大多数动物都是左右两侧对称，并且有一个像嘴一样的食物入口，还有一个像肛门一样的食物出口？为什么气体是同一个口，而食物和水是两个口？

这个事情很有意思，它是有一些本质原因的。

比如说，如果你要做 navigation，要在这个世界中移动，左右对称的结构是最优的。你会发现，世界上所有交通工具都是左右对称的，因为你可以沿着一个方向前进、后退，沿着另一个方向向左转、向右转。

车和飞机是左右对称的结构，这和它是类似的。至于食物、气体，还有别的原因。

就你所有读过的书，推荐两本必读书。

我觉得《智能简史》这本书很有意思，我去年读了，我觉得很有意思。然后我会推荐各种各样的自传。我觉得传记很有意思，好像是在读别人的生活，在体验别人的生活。

你心目中影响 AI 进程的几篇论文？

我觉得有很多。如果一定要说最重要的，我觉得没有所谓的“最”。这些东西都是一个积累的过程。

Backprop，然后 Transformer、GPT，我觉得都是一个积累的过程。我觉得没有哪一个是最伟大的工作。

基于你当下的认知，一个最关键、最重要的 bet 是什么？

Bet on different super app 的产品形态，有不同的交互方式。

如果你不相信这一点，那这个世界就变得很灰暗，只有 OpenAI 或者 Anthropic 有机会。但如果你相信这一点，就会有很多新的机会。

你的 MBTI 是什么？

我想说 INFP，但我不太确定。我不太记得这些字母的意思。

你之前听过我们的播客吗？

我就听到你和小红那一期的前半部分，我觉得还挺有意思的。

好了，今天的节目就是这样。